Vad är MLVC (Machine Learning Video Codec)?

MLVC står för Machine Learning Video Codec. Microsoft släppte den som öppen källkod i juli 2026 under MIT-licens. Den är produktversionen av forskningslinjen DCVC (Deep Contextual Video Compression) som Microsoft Research publicerat sedan 2021.

En klassisk kodek som H.264 eller H.265 är byggd av handkonstruerade delar: rörelseestimering, en transform, en entropimodell och en rejäl hög med kodarheuristiker. MLVC ersätter alltihop med ett enda neuralt nätverk tränat från början till slut mot ett rate-distortion-mål.

Det får en ovanlig konsekvens. Det finns ingen bitströmsspecifikation att implementera, eftersom de tränade vikterna är formatet. Kodare och avkodare måste köra samma modell och vara överens om dess aritmetik nästan bit för bit, och det är just det problem som MLVC-artikeln ägnar merparten av sina sidor åt.

Var den körs. MLVC riktar in sig på de NPU:er som redan sitter i bärbara datorer och telefoner, alltså Apple Neural Engine samt NPU:erna från Intel och Qualcomm, i stället för dedikerat kodekkisel. Den fullständiga modellen har 18,3 miljoner parametrar, och en lättare variant, MLVC-S, har 5,4 miljoner. Microsoft anger realtids-540p vid 30 bilder per sekund hos alla tre tillverkare, med som mest halva NPU:n i anspråk.

Vad den sparar. På Microsofts testuppsättning för videomöten, bedömd av mänskliga tittare enligt ITU-T P.910, kräver MLVC 87,8 % lägre bitrate än H.264 och 75,5 % lägre än H.265 i hårdvara vid 360p. Vid 540p är siffrorna 82,7 % och 65,4 %. I praktiken kostar 360p-video som kräver 1 Mbps i H.264 omkring 122 kbps i MLVC vid likvärdig kvalitet.

Haken. Resultaten kommer från talande huvuden i låg upplösning, mätta mot hårdvarukodare, och uppspelning kräver en enhet som kan köra modellen. Ingen tv, digitalbox eller webbläsare avkodar MLVC i dag. Microsoft rullar ut den i Microsoft Teams för peer-to-peer-samtal, precis det fall där företaget styr båda ändarna av länken. För streamingdistribution är det en signal värd att bevaka, inte något som går att sätta i produktion.

Vi gick igenom artikeln, mätningarna och repositoriet här: Microsoft släppte en neural videokodek med öppen källkod, och vad det egentligen betyder för streaming.