Was ist MLVC (Machine Learning Video Codec)?

MLVC steht für Machine Learning Video Codec. Microsoft hat ihn im Juli 2026 unter der MIT-Lizenz als Open Source veröffentlicht. Er ist die Produktversion der Forschungslinie DCVC (Deep Contextual Video Compression), die Microsoft Research seit 2021 publiziert.

Ein klassischer Codec wie H.264 oder H.265 setzt sich aus handgebauten Bausteinen zusammen: Bewegungsschätzung, Transformation, Entropiemodell und ein großer Stapel an Encoder-Heuristiken. MLVC ersetzt all das durch ein einziges neuronales Netz, das durchgängig gegen ein Rate-Distortion-Ziel trainiert wurde.

Das hat eine ungewöhnliche Folge. Es gibt keine Bitstrom-Spezifikation zum Implementieren, denn die trainierten Gewichte sind das Format. Encoder und Decoder müssen dasselbe Modell ausführen und sich über dessen Arithmetik nahezu bitgenau einig sein, und genau diesem Problem widmet das MLVC-Paper den größten Teil seiner Seiten.

Wo er läuft. MLVC zielt auf die NPUs, die ohnehin in Notebooks und Telefonen stecken, also Apple Neural Engine sowie die NPUs von Intel und Qualcomm, statt auf dedizierte Codec-Hardware. Das vollständige Modell hat 18,3 Millionen Parameter, eine leichtere Variante namens MLVC-S 5,4 Millionen. Microsoft meldet Echtzeit-540p mit 30 Bildern pro Sekunde bei allen drei Herstellern, bei höchstens der Hälfte der NPU-Auslastung.

Was er spart. Auf Microsofts Videokonferenz-Testsatz, bewertet von menschlichen Betrachtern nach ITU-T P.910, benötigt MLVC bei 360p 87,8 % weniger Bitrate als H.264 und 75,5 % weniger als H.265 in Hardware. Bei 540p sind es 82,7 % und 65,4 %. Praktisch heißt das: Ein 360p-Video, das in H.264 1 Mbps kostet, kostet in MLVC bei vergleichbarer Qualität rund 122 kbps.

Der Haken. Diese Ergebnisse stammen von sprechenden Köpfen in niedriger Auflösung, gemessen gegen Hardware-Encoder, und die Wiedergabe verlangt ein Gerät, das das Modell ausführen kann. Kein Fernseher, keine Set-Top-Box und kein Browser decodiert heute MLVC. Microsoft rollt ihn in Microsoft Teams für Peer-to-Peer-Anrufe aus, also genau dort, wo das Unternehmen beide Enden der Verbindung kontrolliert. Für die Streaming-Auslieferung ist er ein beobachtenswertes Signal, aber nichts, was sich ausliefern lässt.

Wir haben Paper, Messwerte und Repository hier ausführlich behandelt: Microsoft veröffentlicht einen neuronalen Videocodec als Open Source, und was das für Streaming wirklich bedeutet.