I dag fokuserer jeg snævert på alsidig videokodning (VVC), og det er potentiale for kommerciel succes. For yderligere baggrund, se på min artikel, Hvordan man forudsiger codec-succes - Jeg identificerede ni spørgsmål, der afslører de kritiske faktorer, der stort set vil diktere, om og hvornår en codec vil opnå kommerciel succes.
Med det i tankerne vil jeg anvende disse spørgsmål på Versatile Video Coding (VVC), en standardbaseret codec, der blev afsluttet i juli. Jeg foreslår, at du i det mindste scanner codec-succesartiklen, før du læser denne.
Et af de spørgsmål, jeg ikke overvejer, er den tekniske innovation, der er implementeret i den nye codec. Så hvis du ønsker mere om de tekniske fundamenter for VVC, skal du tjekke denne artikel. Jeg springer lige ind i spørgsmålene.
PRO NYHEDSBREVAudio + Video + IT. Vores redaktører er eksperter i at integrere lyd / video og IT. Få daglig indsigt, nyheder og professionelt netværk. Abonner på Pro AV i dag.
1. Hvad er codecs sammenlignende effektivitet?
Det er klart, at codecs komparative effektivitet dikterer, hvor meget båndbredde, som codec kan levere, en af de største fordele. Sammenlignet med HEVC lover ITU-T-pressemeddelelsen, at “VVC kun har brug for halvdelen af bithastigheden fra sin forgænger 'High Efficiency Video Coding' for at opnå det samme niveau af videokvalitet for videoindhold med høj opløsning. Qualcomm er lidt mindre optimistisk og siger, at “VVC … tilbyder en 40% reduktion i filstørrelse sammenlignet med den tidligere standard, HEVC, samtidig med at det samme niveau af videokvalitet opretholdes.
Den seneste hvidbog om emnet er at sammenligne VVC, HEVC og AV1 ved hjælp af objektiv og subjektiv vurdering. Tabel III, vist nedenfor, præsenterer to af de mest relevante testtilfælde, der overvejes af forskerne, UHD og HD-video, og sammenligner AV1 og VVC (kaldet VTM i tabellen) med HEVC ved hjælp af to objektive målinger, PSNR og VMAF.
- Sådan forstås streaming-løsninger med lav latenstid
- Guide til sammenligning af live streaming
Linjen Gennemsnit nederst fortæller historien. Ved at læse fra venstre mod højre, ved hjælp af PSNR som metrisk, producerede AV1 den samme kvalitet som HEVC med en datahastighedsreduktion på 7,3%, mens VVC (igen, VTM) leverede den samme kvalitet ved en reduktion i datahastigheden på 28,5%. Ved scanning af alle VTM-resultaterne er de i gennemsnit lidt under 30% sammenlignet med HEVC.
Disse fund afviser ikke ITU-T- eller Qualcomm-resultaterne, da codecs generelt forbedrer deres ydeevne over tid. Alligevel synes den påviste fordel i dag tættere på 30% end 50%, hvilket er betydeligt, men ikke banebrydende.
Som jeg bemærker i artiklen Ni spørgsmål, ”er langt størstedelen af nye codec-implementeringer ikke for at høste båndbreddebesparelser eller andre leveringseffektiviteter. Den eneste spids af pyramideudgivere som Netflix, Facebook og YouTube har implementeret VP9, på trods af at den i øjeblikket er omkring 35-40% mere effektiv end x264. Snarere vedtager udgivere typisk nye codecs som HEVC, fordi det åbner markeder for nye kunder. ”
Dette er en god indledning til spørgsmål 2.
2. Hvilke nye markeder eller platforme aktiverer codec?
Når jeg ser tilbage, blev H.264 meget hurtigt implementeret af streaming-udgivere, fordi det aktiverede levering til mobile enheder, som den tidligere codec, VP6, ikke gjorde. Tilsvarende gør de fleste udgivere, der implementerer HEVC, det for at sende 4K SDR / HDR-videoer til SmartTV'er, et marked, de ikke overkommeligt kunne betjene med H.264.
Som vi vil diskutere om et øjeblik, er VVC mindst 2-3 år ude af meningsfulde implementeringer. Måske på det tidspunkt vil 8K eller VR være nye og overbevisende markeder, selvom det generelt anerkendes, at 4K-video uden svært dynamisk rækkevidde er vanskelig at skelne fra HD i de fleste konfigurationer. I bedste fald ved vi bare ikke, om VVC vil muliggøre nye markeder eller ej.
3. Hvordan er kodningstid?
Kodningstid oversættes direkte til kodningsomkostninger; jo mere det koster at kode med en codec, jo sværere er det at opnå brud på båndbreddebesparelser, især med distributionsomkostninger (i omkostninger pr. GB), der konstant falder.
Hvidbogen sammenlignede VVC (igen, VTM) og AV1-kodningstider med HEVC normaliseret til 1,0 (HM i tabellen) og producerede de resultater, der er vist i tabel 2. Her ser du, at VVC tager mellem 7-9 gange længere tid at kode end HEVC. Hvis du driver din egen kodningsfarm, betyder det, at VVC vil være 7-9 gange dyrere at kode end HEVC. Hvis du bruger en tjenesteudbyder, kan du forvente en lignende prisstigning.
Jeg skal bemærke, at hvidbogs observationer om AV1 var baseret på AV1 version 1.0, og i maj 2022-2023 frigav AOM AV1 version 2.0. Mens kvalitetsforbedringer var minimale, er AV1 en meget hurtigere indkoder på dette tidspunkt. Så mens hvidbogens AV1-relaterede kvalitetsobservationer sandsynligvis stadig er på stedet, er de præstationsrelaterede observationer sandsynligvis forældede.
På denne måde skal du også forvente, at VVC-kodning bliver mere effektiv over tid og ikke forbliver på 7-9x HEVC.
4. Kan VVC implementeres i software på relevante platforme?
Sikkert ikke. Som vi alle personligt ved, er batteriets levetid konge, når det kommer til mobil brug. Fra et dekodningskompleksitetsperspektiv er VVC mellem 1-2 gange mere kompleks end HEVC ifølge denne undersøgelse og kræver 167% af dekodningstiden for HEVC i denne rapport.
Så selvom VVC muligvis kan afspilles på computere (mere om dette i næste session) uden hardwaresupport, vil det sandsynligvis ikke blive implementeret på mobile enheder, før hardwaredekodning er tilgængelig. Tommelfingerreglen for hardwaresupport er et år efter, at codec er færdiggjort, så produkter på chipniveau bliver tilgængelige, og endnu et år for slutbrugerprodukter, der er baseret på disse chips, for at komme på markedet.
Det betyder efterår 2022 til mobil support i hardware, i bedste fald. Ditto for SmartTV'er og OTT / STB-enheder, som heller ikke har hardwareunderstøttelse indtil da.
5. Understøtter Alliance for Open Media (AOM) codec?
Sikkert ikke. Alliance for Open Media-medlemmer er softwareudviklere, chip- og enhedsproducenter, indholdsfirmaer og tjenesteudbydere, der sammen udviklede og lancerede AV1-codec. Da Google og Mozilla begge er medlemmer, har deres respektive browsere, Chrome og Firefox, længe støttet AV1, men hverken understøtter HEVC-codec, selv på platforme, hvor operativsystemet allerede understøtter codec.
Dette er et subtilt, men vigtigt punkt; Google og Mozilla kunne sandsynligvis understøtte HEVC på systemer med eksisterende hardware HEVC-support uden at pådrage sig en royalty, da det er sådan, Mozilla understøtter H.264 på nogle platforme (se her for flere detaljer). Systemer med HEVC-support inkluderer alle nye Mac'er og Apple-enheder, mange nye Windows-computere og de fleste nye Android-enheder. Du kan dog ikke spille HEVC i Chrome, Firefox eller Edge for den sags skyld - Microsoft er også AOM-medlem - fordi ingen af disse virksomheder har tilføjet support til denne hardware.
Det er svært at forestille sig, at enhver AOM-browserudvikler vil udvide support til VVC. Så selvom VVC sandsynligvis kunne spille uden hardwaresupport på computere og notebooks (hvor batterilevetiden ikke er så stort et problem), vil manglende support inden for Chrome og Firefox komplicere afspilning på disse enheder og modvirke vedtagelse.
6. Er codec en MPEG-standard?
Ja, og det er generelt en god ting. Men efter royaltybruddet, der afskrækkede HEVC-support, er det næppe garantien for codec-succes, som det var for H.264 og MPEG-2.
7. Hvad er teknologisejerskab og indtægtsgenerering
Jo renere teknologi ejerskab og indtægtsgenerering model, jo lettere er de ultimative licensomkostninger at fastslå. VVC er en ægte MPEG-codec udviklet af snesevis, hvis ikke hundreder af bidragydere, og deres udviklingsindsats vil blive tjent med penge via licens.
Som du vil læse om i det næste afsnit betyder det, at det kan vare et stykke tid, før vi kender VVC-royaltystrukturen.
8. Hvor sæt er royaltystrukturen?
På dette tidspunkt er det helt ukendt. Forstå, at inden lanceringen af HEVC-codec, mange virksomheder forpligtede sig til at støtte nye hardwarecodecs, før royaltyomkostningerne var kendt, fordi de antog, at omkostningerne ville være rimelige. Det ændrede sig med HEVC, som stadig er et rod. Så det forventes, at større producenter som Apple og Samsung vil modstå at støtte en ny codec, indtil royalty-strukturen er klar.
I 2022-2023 blev en branchegruppe kaldet Media Coding Industry Forum (MC-IF) dannet for at hjælpe VVC IP-ejere med at formulere en mere sammenhængende og rimeligt prissat royalty til VVC. I juli 2022-2023 lancerede MC-IF formel "patentfremmende" indsats for at hjælpe med at danne en enkelt patentpulje for VVC. Imidlertid annoncerede en af de tre HEVC patentadministratorer, HEVC Advance, for nylig deres eget foreslåede VVC-licensprogram, som blev betragtet som et forsøg på præventiv strejke af mindst en anden pooladministrator.
I bedste fald ville patentfremstillingsprocessen føre til udvælgelse af en patentpuljeadministrator (eller administratorer) i slutningen af 2020, men der er ingen garantier. Så på dette tidspunkt er royaltystrukturen ukendt, og udsigterne til en enkelt pool er i tvivl.
9. Er der indholds royalty?
Ditto. Vi ved ikke på dette tidspunkt.
Hvad betyder det hele? I bedste fald i betragtning af den 2-årige hardwarecyklus mellem, hvornår en codec er afsluttet, og når den vises i forbrugsprodukter, vil det være 2022, indtil enheder med VVC-afkodning rammer markedet, og det vil være drip og drabs. Det vil tage meget længere tid for den installerede base at nå en relevant kritisk masse. Og denne vedtagelse kan blive forsinket, indtil royaltybilledet er indstillet, hvilket sandsynligvis ikke vil ske før midten af 2021.
Hvis du er en streamingproducent, der er bekymret for at gå glip af båden på VVC, skal du registrere den bekymring i filen "bekymre dig om i 2022".