Codec-landskabet er under forandring med seks nye codecs ved udgangen af 2021. I begyndelsen af 2022-2023 kodede de fleste streamingvideoproducenter udelukkende med H.264-codec, som debuterede i 2003. Nogle større udgivere som Netflix, Amazon, YouTube , og Facebook, implementerede også H.264s standardbaserede efterfølger, HEVC-codec og / eller Googles VP9-codec. Et drys af producenter eksperimenterede med Alliance for Open Medias AV1-codec. Ud over disse fire eksisterende codecs lancerer MPEG i 2022-2023 tre nye codecs, alsidig videokodning (VVC), essentiel videokodning (EVC) og lavkompleksforbedring videokodning (LCEVC).
Med seks nye codecs at overveje inden udgangen af 2022-2023 er det værd at gennemgå faktorer, der bidrager til en codecs vellykkede adoption. I denne artikel gennemgår jeg disse faktorer ved hjælp af H.264 og HEVC og opretter en analyseramme, som jeg vil bruge i fremtidige artikler til at hindre den potentielle succes for AV1 og de tre nye MPEG-codecs.
Bemærk, at jeg primært skriver fra udgiverperspektivet; ikke fra afspillerens eller koderselskabens perspektiv.
- Forståelse af streaming med lav latens
- Bedste PTZ-kameraer, capture- og streaming-enheder
1. Hvad er codecs sammenlignende effektivitet?
En codecs mest vigtige rolle er at reducere størrelsen på den stream, der kræves for at levere video til vores seere. I mange tilfælde måles effektiviteten mod H.264. Du ser dette i figur 1 fra HEVC-sammenligningsrapporten fra 2015 fra Moscow State University (MSU). Som forklaring præsenterer MSU altid sine data ved hjælp af x264, en af flere H.264-codecs, i 100% kvalitet. Derefter viser den for hinanden codec den procentvise reduktion eller stigning i datahastighed, der er nødvendig for at producere den samme kvalitet som x264.
For eksempel i diagrammet kan x265-codec levere den samme kvalitet som x264 ved 74% af bithastigheden eller en besparelse på ca. 26%. VP9-codec er ikke så langt bagud, på 77% eller en besparelse på ca. 23% i forhold til x264.
Denne besparelse udgør en primær monetær fordel ved de nyere codecs. Implementering af x265 tilbage i 2015 ville have reduceret båndbreddens omkostninger til levering af video af samme kvalitet til HEVC-kompatible afspillere med 26%. VP9 ville have reduceret båndbreddens omkostninger med 23%.
Tænk på codec-tilpasning som en break-even-analyse. Der er to kilder til tilstrømning; besparelser til levering til eksisterende kunder, som vi lige har dækket, og yderligere indtægter til kunder på nye markeder, som jeg vil dække i det næste afsnit. Der er flere omkostninger forbundet med implementering af codec. Du leverer H.264-kodet video i en overskuelig fremtid, så kodnings- og lageromkostninger til de nye codecs er begge additiver. Du bliver også nødt til at opdatere din afspiller og udføre et vist mål for test og QC.
Båndbreddebesparelser vedrører naturligvis antallet af seere for hver video. Her er et simpelt eksempel. Antag, at det kostede $ 20,00 at kode til en HEVC-kodningsstige, og at du gemte $ 0,01 i båndbreddepriser pr. Seer. Når 2.000 seere ser videoen, har du kompenseret for den pris. Hvis 2 millioner seere ser videoen, har du sparet 20.000 $ i båndbreddekostnader. Derfor er det lettere for store virksomheder som Netflix, YouTube, Amazon og Facebook at implementere nye koder.
Uanset størrelse er det økonomisk fornuftigt at implementere en ny codec, når besparelser eller nye indtægter forbundet med den nye codec overstiger implementeringen og andre omkostninger. Jo større komprimeringseffektiviteten i forhold til den eksisterende løsning er, jo større båndbreddebesparelser.
Alt dette til side er langt størstedelen af nye codec-implementeringer ikke for at høste båndbreddebesparelser eller andre leveringseffektiviteter. Den eneste spids af pyramideudgivere som Netflix, Facebook og YouTube har implementeret VP9, på trods af at den i øjeblikket er omkring 35-40% mere effektiv end x264. Snarere vedtager udgivere typisk nye codecs som HEVC, fordi det åbner markeder for nye kunder.
Dette fører til det næste spørgsmål.
PRO NYHEDSBREVAudio + Video + IT. Vores redaktører er eksperter i at integrere lyd / video og IT. Få daglig indsigt, nyheder og professionelt netværk. Abonner på Pro AV i dag.
2. Hvilke nye markeder eller platforme aktiverer codec?
Da Adobe tilføjede H.264-afspilning til Flash i 2007, var H.264 kun ca. 15% mere effektiv end VP6-codec, som var den mest anvendte Flash-codec før H.264. På trods af disse ringe besparelser, hvorfor konverterede de fleste udgivere hurtigt og fuldstændigt til H.264? For mens VP6 ikke spillede på iPods, iPhones eller andre mobile enheder, gjorde H.264 det. Med H.264 i både Flash og den dominerende codec på mobile enheder kunne udgivere droppe VP6 og nå to markeder med en enkelt codec, en total no-brainer.
Tilsvarende har de fleste udgivere implementeret HEVC til at levere 4K og / eller HDR-videoer (high dynamic range) til smart-tv, set-top-bokse og OTT-enheder. For eksempel rapporterede encoding.com i deres Global Media Format Report fra 2022-2023, der rapporterede om deres 2022-2023-produktion, at “vi forventer en meget betydelig stigning i volumen i 2022-2023 drevet af UHD HDR-indhold, da både premium HDR-standarder Dolby Vision og HDR + kortlægger til HEVC-videoformatet. ” Desværre har encoding.com ikke opdateret denne rapport til 2022-2023-resultater.
Til sidst begyndte Apple endelig at støtte enten VP9 eller AV1 på deres 4K AppleTV-enheder, så deres seere kunne se 4K-videoer på YouTube. Dette presiserer den betydning, som Alliance for Open Media-leverandører som Facebook, Netflix, YouTube og Amazon vil have ved AV1-adoption.
Pointen er, at hvis codec ikke muliggør nye markeder, er båndbreddebesparelser den eneste fordel. Som sagt, uanset årsag, uden for de største videoudgivere, har få andre fundet disse besparelser tilstrækkelig motivation til at implementere nye codecs.
3. Hvordan er kodningstid?
Vi har talt om breakeven-analysen. Jeg stiller dette spørgsmål, fordi kodningstid oversættes direkte til kodningsomkostninger, og jo højere omkostningerne er, jo sværere er det at opnå breakeven.
Som et eksempel opkræver AWS Elemental MediaConvert $ 0,024 pr. Minut for H.264-kodning, $ 0,048 pr. Minut for HEVC-kodning og $ 0,864 pr. Minut for AV1-kodning. Heldigvis er AV1-kodningstider faldet meget markant i løbet af de sidste par måneder, og jeg er sikker på, at elementær prisfastsættelse følger. Stadig når kodningstider er så glaciale som AV1'er, har du brug for millioner af visninger for at akkumulere den båndbreddebesparelse, der er nødvendig for at opnå breakeven.
4. Kan det implementeres i software på relevante platforme?
Dette spørgsmål taler om, hvor hurtigt en codec kan implementeres på platforme, der er relevante for din tjeneste. Tilbage i 2007, da Adobe tilføjede H.264 til Flash, var afspilning næsten universel på alle computere og mobile enheder. I modsætning hertil, med HEVC, var hardwaresupport på mobile enheder nødvendigt for batterieffektiv afspilning, og dedikeret HEVC-afkodningshardware var nødvendig på de fleste smarte tv'er, set-top-bokse og OTT-enheder.
Over tid begyndte flere og flere enheder at understøtte HEVC, og nu er det næsten allestedsnærværende i nuværende generations produkter, med VP9 kun lidt bagud. Men nye codecs, der kræver hardware til effektiv afspilning, starter fra bunden.
Som en tommelfingerregel tager det cirka to år, før de første forbrugsenheder med hardwaresupport vises. Som eksempel kan nævnes, at AV1-specifikationen blev afsluttet i midten af 2018, og de første smarte tv'er med AV1-support blev sendt i midten af 2020. Det betyder åbenbart ikke noget, hvor effektiv en codec er, når den startes; det bliver kun relevant, når afspilning er tilgængelig på et stort antal platforme, som du leverer til.
Hvilket fører til det næste spørgsmål.
5. Understøtter Alliance for Open Media codec?
Mens det tager to år for hardwaresupport, kan afspilning i en browser eller et mobilt operativsystem tage nogle uger, hvis afspilningskravene er beskedne. Alliance for Open Media-medlemmer Microsoft, Google, Mozilla og Apple kontrollerer dog de fleste browsere og operativsystemer og de formater, de understøtter. Dette er grunden til, at hele syv år efter lanceringen understøttes HEVC kun i 16,99% af alle browsere og mobile operativsystemer sporet af www.caniuse.com (figur 2).
Det sammenlignelige antal for AV1, som blev lanceret fem år senere? 36,56%. Hvad med VP9, der blev lanceret omkring samme tid som HEVC? 94,52%.
Hvis et betydeligt antal af dine seere ser på browsere og mobile enheder, gør platformssupport en enorm forskel i økonomien. Dette gælder især fordi softwaresupport kan opnås så hurtigt.
På dette tidspunkt synes det usandsynligt, at AOM-medlemmer vil understøtte nogen MPEG-codec, hvad enten det er HEVC, VVC, EVC eller LCEVC. Så hvor standardbaserede codecs som H.264 og MPEG-2 engang havde overhånden, er MPEG-codecs nu en tydelig ulempe på traditionelle computer- og mobilmarkeder.
6. Er codec en MPEG-standard?
Motion Pictures Experts Group, eller MPEG, oprettede og promoverede flere lyd- og videokodecs, der hjalp med at overføre analog video til digital. På et tidspunkt havde MPEG-standarder som MPEG-2 og H.264 meget tydeligere veje til succes end proprietære codecs som VP9. I dag har denne dynamik ændret sig, så selvom standardiseringsprocessen giver visse teknologier troværdighed, er det ikke en garanti for succes?
Hvad er ændret? Næsten alt. Tilbage, da H.264 blev lanceret i 2003, var udsendelsen konge, og streaming var ikke hundens hale, det var en negle. Nu er streaming helt klart hunden og sender halen, og virksomheder, der styrer implementering af codec i browsere og mobile OS'er og indholdsfirmaer som Netflix og YouTube, har en utrolig indflydelse på implementering af codec.
Som jeg vil tale om mere i øjeblikket, med MPEG-2 og H.264, var der en klar og sammenhængende royaltypolitik, der gik ud af vinduet med HEVC, som har tre patentpuljer. To af puljerne har offentliggjort priser, og de årlige lofter springer fra omkring $ 10 millioner for H.264 til over $ 60 millioner for HEVC. Den anden pool offentliggør ikke sine priser, og mere end syv år efter HEVC's frigivelse har den stadig ikke oplyst, om de vil opkræve gebyrer for royalties på indhold.
I betragtning af den to-årige udviklingscyklus for implementering af codec besluttede mange hardwarefirmaer at implementere H.264 og HEVC inden royaltypolitikken var klar. Efter HEVC kan store virksomheder som Apple og Samsung udsætte teknologiaftagelsen, indtil royaltybilledet er klarere, hvilket kan tilføje yderligere 24 måneder til vedtagelsescyklussen.
Endelig har MPEG set fra et videokodec-perspektiv kontraheret fra omkring en ti-årig cyklus mellem MPEG-2, H.264 og HEVC til en syv-årig cyklus for yderligere tre videokodecs, der skal afsluttes i 2022-2023. Bestemt hver codec tilbyder et andet udvalg af funktioner, ydeevne og andre egenskaber, og det er usandsynligt, at alle opnår den samme kommercielle anvendelse.
7. Hvad er teknologisejerskab og indtægtsgenerering
De fleste codecs er resultatet af et samarbejde mellem flere parter. Med nogle codecs resulterer dette i en eller flere patentpuljer, der giver virksomheder mulighed for at dække omkostningerne ved deres F & U-investeringer. I modsætning hertil blev VP9 udelukkende udviklet af Google, mens AV1 blev udviklet af Alliance for Open Media-virksomheder, der alle bidrog med deres patenter til AOM på en royaltyfri basis.
Men bare fordi en virksomhed eller en organisation hævder at eje alle rettigheder til en teknologi, gør det ikke det. Selvom Google hævder, at VP9 er open source, ligesom Alliance for Open Media til AV1, har patentpooladministrator Sisvel lanceret patentpuljer til både VP9 og AV1, idet de siger, at disse codecs bruger opfindelser, der er dækket af patentejere i deres puljer (bemærk at forfatteren rådfører sig med Sisvel angående disse puljer).
Selvfølgelig er både H.264 og HEVC royalty-bærende for både kodere og dekodere og nogle indholdstyper, så den blotte eksistens af en royalty dømmer ikke en teknologi. Snarere bekymrer potentielle licensgivere sig om gruppens sammenhængskraft, klarheden i deres licensbetingelser og hvor hurtigt de er tilgængelige.
8. Hvor sæt er royaltystrukturen?
I 2017 oprettede Jonathan Samuelsson, administrerende direktør for codec-udvikleren Divideon, grafikken vist i figur 3, som blev plakatbarnet for den dysfunktionalitet, der er repræsenteret af ejere af HEVC-relaterede patenter. Du ser de tre puljer og flere yderligere virksomheder, nogle meget vigtige, ikke i nogen pool. Bemærk, at dette er den originale grafik designet af Samuelsson; ejerskabsbilledet har ændret sig noget siden da.
Det er klart, at hvis du er en potentiel licensgiver, foretrækker du en enkelt pool, der inkluderer alle kendte teknologibidragydere, hvilket faktisk kan ske for EVC og LCEVC. Når det er sagt, har de fleste større standarder mere end en pulje; hvad licensgivere ønsker er en rettidig og kendt struktur for alle større bidragydere. Det er vigtigt, at selvom VVC-standarden blev afsluttet i juli 2022-2023, er det usandsynligt, at licensvilkår vil være kendt indtil midten af 2021. Hvis de ligner det, du ser i figur 3, kommer VVC muligvis aldrig fra jorden.
9. Er der indholds royalty?
Hvis du er en streamingudgiver, dikterer spørgsmål 4-8, hvor hurtigt en codec kan vedtages af hardware- og softwareudviklere, som styrer, hvor hurtigt du kan begynde at bruge codec til at levere til dine seere. Dette spørgsmål bestemmer, hvor meget det vil koste dig som streamingudgiver at implementere indhold med den codec.
Igen er indholdsroyalties ikke uhørt og dømmer ikke en codec til fiasko; både HEVC og H.264 har nogle royalties på indholdet. Det er klart, at disse omkostninger dog skal indsættes i breakeven-modellen for at bestemme, hvornår og om det giver økonomisk mening at implementere den nye codec.
Ser tilbage og fremad
Når jeg ser tilbage, er det let at se, hvorfor H.264 var (er) en sådan succes: det tilbød beskedne båndbreddebesparelser, men spillede straks på computere takket være Flash og tilbød adgang til et nyt marked (mobil). Licensering blev kontrolleret af en enkelt patentpulje, der indeholdt et flertal af de tilknyttede patenter, og selvom hardwareafspilning var påkrævet for H.264-afspilning på mobile enheder, var hardwaresupport næsten universel til at begynde med og blev snart allestedsnærværende.
I modsætning hertil debuterede HEVC med en meget usammenhængende licensstruktur, der afskrækkede vedtagelse af teknologi. Selvom HEVC-support er næsten universel på mobile enheder, Smart TV'er og de nyeste generationer af OTT-enheder, reducerer manglen på browserstøtte det samlede investeringsafkast, mens manglen på klarhed omkring indholdsroyalties er en stor bekymring for mange udgivere. Som et resultat er HEVC primært implementeret af udgivere, der distribuerer 4K- og HDR-videoer til stuen.
