AV1 - Het begin van een nieuw tijdperk in video-codecs

In september 2015 was de toonaangevende videocodec in termen van compressie-efficiëntie HEVC (Hoogrenderende videocodering, of H.265). De specificatie werd in april 2013 goedgekeurd door ITU-T en er waren al implementaties beschikbaar, zowel softwarematig als hardwarematig. Het leek erop dat de video-industrie klaar was voor de overgang van H.264/AVC naar deze nieuwe codec, net als vele jaren eerder met MPEG-2.

Helaas waren er, ingegeven door het grote succes van eerdere patentlicentieprogramma's met betrekking tot videocodecs, al twee patentpools actief en werd er een derde aangekondigd. Elk van hen moest fungeren als een one-stop shop voor het verkrijgen van patentrechten om de standaard te implementeren. Erger nog, waar eerdere licentieprogramma's plafonds aanboden voor royaltybetalingen (d.w.z. een maximale betaling per bedrijf voor de specifieke technologie), gold dit niet langer voor sommige van de pools. Dit zorgde voor ernstige problemen, vooral voor webgebaseerde videobedrijven, die kosten per stream moesten betalen.

De reactie van de internetvideo-industrie was om het heft in eigen handen te nemen. Videocontentbedrijven Amazon, Netflix en YouTube/Google gingen samenwerken met softwaretechnologieontwikkelaars Cisco, Google, IBM, Microsoft en Mozilla en chipontwikkelaars ARM, Intel en NVIDIA en richtten de Alliantie voor Open Media. Het doel van de alliantie is om een open-source, royalty-vrije videocodec te ontwikkelen die beter presteert dan HEVC. Het project ging van start in september 2015 en omvatte het lopende werk aan vrije videocodecs van individuele bedrijven (VP9/VP10 van Google, Daala van Mozilla en Thor van Cisco). Het doel was om niet alleen een technische specificatie te produceren, maar ook open-source software om deze te implementeren.

Vidyo werd in februari 2016 uitgenodigd om lid te worden van de groep en ik werd uitgenodigd om als medevoorzitter van de Real-Time Communications Subgroup (RTC SG) te fungeren. De belangrijkste focus van het overkoepelende orgaan, de Codec Working Group (Codec WG), is compressie-efficiëntie voor de levering van video (d.w.z. HLS- of DASH-streaming). De RTC SG richt zich op de specifieke vereisten van real-time toepassingen, waaronder codering met een lage vertraging, foutbestendigheid en ondersteuning voor temporele en ruimtelijke schaalbaarheid.

De afgelopen 18 maanden waren een periode van intense activiteit. In augustus 2017 kregen we goedkeuring voor ons voorstel voor de syntaxis op hoog niveau van de codec, gebaseerd op wat "open bitstream units" (OBU's) worden genoemd. De syntaxis op hoog niveau beschrijft hoe de verschillende videodata-componenten worden verpakt in "bins", zodat ze transparant kunnen worden verwerkt door toepassingen.

In december 2017 hebben we ook goedkeuring gekregen voor ons voorstel over hoe we ruimtelijke (en temporele) schaalbaarheid kunnen ondersteunen in AV1, zoals de codec nu bekend staat. Het ontwerp bootst het werk na dat we eerder met Google hebben gedaan aan ruimtelijke schaalbaarheid in de VP9-videocodec. Ondersteuning voor ruimtelijke schaalbaarheid is essentieel voor het gebruik van AV1 in onze hoogwaardige SFU-gebaseerde VidyoCloud, op precies dezelfde manier als dat het geval was met H.264/AVC en VP9. Op deze manier kunnen we alle innovaties gebruiken die in ons systeem zijn ontworpen en genieten van de verbeterde coderingsefficiëntie die AV1 biedt.

Hoewel het enige tijd zal duren voordat commerciële implementaties die de mogelijkheden van AV1 volledig benutten beschikbaar zijn op de markt, verwachten we dat AV1 binnen 12 tot 18 maanden een belangrijke concurrent zal zijn. Het feit dat Apple en Facebook zich de afgelopen maanden bij de alliantie hebben aangesloten, is nog een indicatie dat AV1 de wind in de zeilen heeft. Chips die AV1 ondersteunen zouden eind 2019 moeten arriveren, zo niet eerder. Een deel van de uitdaging bij het implementeren van een nieuwe codec zit in de optimalisaties die gebruikt worden in het encodergedeelte, vooral wanneer realtime prestaties vereist zijn.

Dit is de eerste keer in de geschiedenis van videocodecs dat een industriealliantie van een dergelijke omvang zich achter een industrieforum schaart om te concurreren met officiële standaarden van internationale standaardenorganisaties uit Genève. Dit is echt het begin van een nieuw tijdperk.

De situatie wordt heel goed beschreven in een blogpost, "Een crisis, de oorzaken en een oplossingdoor Leonardo Chiariglione, de voorzitter (formeel "Convenor") van MPEG (Motion Pictures Experts Group), een van de twee comités die deze standaarden ontwikkelen en onderdeel van de in Genève gevestigde Internationale organisatie voor standaarden. Dr. Chiariglione stelt:

"AOM zal zeker de broodnodige stabiliteit geven aan de videocodecmarkt, maar dit zal ten koste gaan van een verminderde, zo niet volledig stopgezette, technische vooruitgang."

De veronderstelling is dat een gebrek aan royalty's op patenten ertoe zal leiden dat bedrijven en academische/onderzoeksorganisaties niet meer zullen investeren in nieuwe videocodec-technologie, waardoor de vooruitgang zal vertragen of zelfs stoppen.

Ik kan het argument zeker zien. Merk op dat verschillende van de innovaties die de basis vormden voor H.264/AVC eigenlijk afkomstig waren van academische en onderzoeksorganisaties die geen producten maken. Enig rendement op hun investering kan alleen komen van royalty's op patenten.

Tegenover deze verontrustende situatie staat echter het feit dat alle browserfabrikanten - Apple, Google, Microsoft en Mozilla - nu voor het eerst deel uitmaken van dezelfde organisatie voor de ontwikkeling van videocodecs. Hoewel er geen specifieke aankondiging is gedaan, is het waarschijnlijk dat we eindelijk ondersteuning krijgen voor dezelfde high-end codec in alle grote browsers, wat een enorme mijlpaal zou zijn voor WebRTC. Als implementaties niet beperkt blijven tot alleen streaming decoders, hebben we misschien eindelijk de heilige graal van interoperabiliteit voor real-time toepassingen.

Vidyo heeft een systeemarchitectuur die naadloze, native WebRTC-video-ondersteuning biedt in de gehele VidyoCloud-infrastructuur. De mogelijkheid om één codec te gebruiken voor alle systemen, van telefoons en tablets tot desktops en kamersystemen, zou enorme prestatie- en kwaliteitsvoordelen bieden voor onze klanten, vooral in de gezondheidszorg en de financiële dienstverlening, waar browsergebaseerde toepassingen veel worden gebruikt. Als AV1's potentieel voor universele interoperabiliteit wordt waargemaakt, zal dat zeker het begin zijn van een nieuw tijdperk in de videocommunicatie-industrie.