Hva er MLVC (Machine Learning Video Codec)?

MLVC står for Machine Learning Video Codec. Microsoft slapp den som åpen kildekode i juli 2026 under MIT-lisens. Den er produktversjonen av forskningslinjen DCVC (Deep Contextual Video Compression) som Microsoft Research har publisert siden 2021.

En klassisk kodek som H.264 eller H.265 er satt sammen av håndlagde deler: bevegelsesestimering, en transform, en entropimodell og en solid haug med koderheuristikker. MLVC erstatter alt dette med ett enkelt nevralt nettverk trent ende til ende mot et rate-distortion-mål.

Det får en uvanlig konsekvens. Det finnes ingen bitstrømsspesifikasjon å implementere, for de trente vektene er formatet. Koder og dekoder må kjøre samme modell og være enige om aritmetikken nærmest bit for bit, og det er nettopp det problemet MLVC-artikkelen bruker mesteparten av sidene sine på.

Hvor den kjører. MLVC sikter mot NPU-ene som allerede sitter i bærbare maskiner og telefoner, altså Apple Neural Engine og NPU-ene fra Intel og Qualcomm, framfor dedikert kodek-silisium. Den fulle modellen har 18,3 millioner parametre, og en lettere variant, MLVC-S, har 5,4 millioner. Microsoft oppgir sanntids-540p ved 30 bilder i sekundet hos alle tre produsenter, med høyst halve NPU-en i bruk.

Hva den sparer. På Microsofts testsett for videomøter, vurdert av menneskelige seere etter ITU-T P.910, krever MLVC 87,8 % lavere bitrate enn H.264 og 75,5 % lavere enn H.265 i maskinvare ved 360p. Ved 540p er tallene 82,7 % og 65,4 %. I praksis koster 360p-video som krever 1 Mbps i H.264, rundt 122 kbps i MLVC ved tilsvarende kvalitet.

Forbeholdet. Resultatene kommer fra pratende hoder i lav oppløsning, målt mot maskinvarekodere, og avspilling krever en enhet som kan kjøre modellen. Ingen TV, dekoder eller nettleser dekoder MLVC i dag. Microsoft ruller den ut i Microsoft Teams for peer-to-peer-samtaler, nettopp det tilfellet der selskapet styrer begge ender av forbindelsen. For strømmedistribusjon er det et signal verdt å følge med på, ikke noe som kan settes i produksjon.

Vi gikk gjennom artikkelen, målingene og repositoriet her: Microsoft slapp en nevral videokodek som åpen kildekode, og hva det egentlig betyr for strømming.