Che cos'è MLVC (Machine Learning Video Codec)?

MLVC sta per Machine Learning Video Codec. Microsoft lo ha rilasciato in open source nel luglio 2026 con licenza MIT. È la versione di prodotto della linea di ricerca DCVC (Deep Contextual Video Compression) che Microsoft Research pubblica dal 2021.

Un codec classico come H.264 o H.265 è assemblato con parti progettate a mano: stima del movimento, una trasformata, un modello entropico e una lunga serie di euristiche di codifica. MLVC sostituisce tutto questo con un'unica rete neurale addestrata end-to-end su un obiettivo di tasso-distorsione.

Ne deriva una conseguenza insolita. Non esiste alcuna specifica di bitstream da implementare, perché i pesi addestrati sono il formato. Codificatore e decodificatore devono eseguire lo stesso modello e concordare sulla sua aritmetica quasi bit per bit, ed è proprio il problema a cui il paper di MLVC dedica la maggior parte delle sue pagine.

Dove gira. MLVC punta alle NPU già presenti in portatili e telefoni, cioè l'Apple Neural Engine e le NPU di Intel e Qualcomm, anziché a silicio dedicato ai codec. Il modello completo ha 18,3 milioni di parametri, mentre una variante più leggera, MLVC-S, ne ha 5,4 milioni. Microsoft dichiara 540p a 30 fotogrammi al secondo in tempo reale su tutti e tre i produttori, usando al massimo metà della NPU.

Quanto fa risparmiare. Sul set di test per videoconferenza di Microsoft, valutato da spettatori umani secondo ITU-T P.910, MLVC richiede l'87,8% di bitrate in meno rispetto a H.264 e il 75,5% in meno rispetto a H.265 in hardware a 360p. A 540p i valori sono 82,7% e 65,4%. In pratica, un video a 360p che costa 1 Mbps in H.264 costa circa 122 kbps in MLVC a parità di qualità.

Il rovescio della medaglia. Quei risultati derivano da contenuti con busti parlanti a bassa risoluzione, misurati contro encoder hardware, e la riproduzione richiede un dispositivo in grado di eseguire il modello. Oggi nessun televisore, decoder o browser decodifica MLVC. Microsoft lo sta distribuendo in Microsoft Teams per le chiamate peer-to-peer, esattamente il caso in cui controlla entrambe le estremità del collegamento. Per la distribuzione in streaming è un segnale da tenere d'occhio, non qualcosa che si possa mettere in produzione.

Abbiamo analizzato il paper, le misurazioni e il repository qui: Microsoft rilascia in open source un codec video neurale, e cosa significa davvero per lo streaming.