Wat is MLVC (Machine Learning Video Codec)?

MLVC staat voor Machine Learning Video Codec. Microsoft bracht hem in juli 2026 als open source uit onder de MIT-licentie. Het is de productversie van de onderzoekslijn DCVC (Deep Contextual Video Compression) die Microsoft Research sinds 2021 publiceert.

Een klassieke codec zoals H.264 of H.265 is opgebouwd uit met de hand ontworpen onderdelen: bewegingsschatting, een transformatie, een entropiemodel en een flinke stapel encoderheuristieken. MLVC vervangt dat allemaal door één neuraal netwerk dat end-to-end is getraind op een rate-distortiondoel.

Dat heeft een ongebruikelijk gevolg. Er is geen bitstreamspecificatie om te implementeren, want de getrainde gewichten zijn het formaat. Encoder en decoder moeten hetzelfde model draaien en het bijna bit voor bit eens zijn over de rekenkunde ervan, en dat is precies het probleem waaraan het MLVC-paper de meeste pagina's besteedt.

Waar hij draait. MLVC mikt op de NPU's die al in laptops en telefoons zitten, dus de Apple Neural Engine en de NPU's van Intel en Qualcomm, in plaats van op speciale codecchips. Het volledige model telt 18,3 miljoen parameters, een lichtere variant MLVC-S 5,4 miljoen. Microsoft meldt realtime 540p op 30 beelden per seconde bij alle drie de fabrikanten, met hoogstens de helft van de NPU.

Wat hij bespaart. Op Microsofts videovergadertestset, beoordeeld door menselijke kijkers volgens ITU-T P.910, heeft MLVC op 360p 87,8% minder bitrate nodig dan H.264 en 75,5% minder dan H.265 in hardware. Op 540p is dat 82,7% en 65,4%. Praktisch gezien kost video op 360p die in H.264 1 Mbps vraagt, in MLVC ongeveer 122 kbps bij gelijke kwaliteit.

De adder onder het gras. Die resultaten komen van pratende hoofden op lage resolutie, gemeten tegen hardware-encoders, en afspelen vereist een apparaat dat het model kan draaien. Geen enkele tv, settopbox of browser decodeert vandaag MLVC. Microsoft rolt hem uit in Microsoft Teams voor peer-to-peer-gesprekken, precies het geval waarin het bedrijf beide uiteinden van de verbinding beheert. Voor streamingdistributie is het een signaal om in de gaten te houden, geen optie om uit te rollen.

We namen het paper, de metingen en de repository hier uitgebreid door: Microsoft brengt een neurale videocodec als open source uit, en wat dat echt betekent voor streaming.