Hvad er MLVC (Machine Learning Video Codec)?

MLVC står for Machine Learning Video Codec. Microsoft frigav den som open source i juli 2026 under MIT-licens. Den er produktudgaven af forskningslinjen DCVC (Deep Contextual Video Compression), som Microsoft Research har publiceret siden 2021.

En klassisk codec som H.264 eller H.265 er sat sammen af håndbyggede dele: bevægelsesestimering, en transformation, en entropimodel og en stor bunke encoder-heuristikker. MLVC erstatter det hele med ét neuralt netværk trænet fra ende til anden mod et rate-distortion-mål.

Det har en usædvanlig konsekvens. Der findes ingen bitstrømsspecifikation at implementere, for de trænede vægte er formatet. Encoder og decoder skal køre den samme model og være enige om dens aritmetik næsten bit for bit, og det er netop det problem, MLVC-artiklen bruger størstedelen af sine sider på.

Hvor den kører. MLVC sigter mod de NPU'er, der allerede sidder i bærbare og telefoner, altså Apple Neural Engine og NPU'erne fra Intel og Qualcomm, frem for dedikeret codec-silicium. Den fulde model har 18,3 millioner parametre, og en lettere variant, MLVC-S, har 5,4 millioner. Microsoft angiver realtids-540p ved 30 billeder i sekundet hos alle tre producenter, med højst halvdelen af NPU'en i brug.

Hvad den sparer. På Microsofts testsæt for videomøder, bedømt af menneskelige seere efter ITU-T P.910, kræver MLVC 87,8 % lavere bitrate end H.264 og 75,5 % lavere end H.265 i hardware ved 360p. Ved 540p er tallene 82,7 % og 65,4 %. I praksis koster 360p-video, der kræver 1 Mbps i H.264, omkring 122 kbps i MLVC ved tilsvarende kvalitet.

Forbeholdet. Resultaterne stammer fra talende hoveder i lav opløsning, målt mod hardware-encodere, og afspilning kræver en enhed, der kan køre modellen. Intet fjernsyn, ingen set-top-boks og ingen browser afkoder MLVC i dag. Microsoft ruller den ud i Microsoft Teams til peer-to-peer-opkald, netop det tilfælde hvor virksomheden styrer begge ender af forbindelsen. Til streamingdistribution er det et signal værd at holde øje med, ikke noget der kan sættes i produktion.

Vi gennemgik artiklen, målingerne og repositoriet her: Microsoft frigav en neural videocodec som open source, og hvad det egentlig betyder for streaming.