O que é o MLVC (Machine Learning Video Codec)?

MLVC significa Machine Learning Video Codec. A Microsoft publicou-o em código aberto em julho de 2026 sob licença MIT. É a versão de produto da linha de investigação DCVC (Deep Contextual Video Compression) que a Microsoft Research publica desde 2021.

Um codec clássico como o H.264 ou o H.265 é montado a partir de peças desenhadas à mão: estimativa de movimento, uma transformada, um modelo entrópico e uma boa pilha de heurísticas de codificação. O MLVC substitui tudo isso por uma única rede neural treinada de ponta a ponta contra um objetivo de taxa-distorção.

Isso tem uma consequência invulgar. Não existe qualquer especificação de fluxo para implementar, porque os pesos treinados são o formato. O codificador e o descodificador têm de executar o mesmo modelo e concordar na sua aritmética quase bit a bit, que é o problema a que o artigo do MLVC dedica a maior parte das suas páginas.

Onde corre. O MLVC visa as NPU que já vêm em portáteis e telemóveis, ou seja, o Apple Neural Engine e as NPU da Intel e da Qualcomm, em vez de silício dedicado a codecs. O modelo completo tem 18,3 milhões de parâmetros e uma variante mais leve, o MLVC-S, tem 5,4 milhões. A Microsoft indica 540p a 30 imagens por segundo em tempo real nos três fabricantes, usando no máximo metade da NPU.

O que poupa. No conjunto de testes de videoconferência da Microsoft, avaliado por espectadores humanos segundo a ITU-T P.910, o MLVC precisa de menos 87,8% de bitrate do que o H.264 e menos 75,5% do que o H.265 em hardware a 360p. A 540p os valores são 82,7% e 65,4%. Na prática, vídeo a 360p que custa 1 Mbps em H.264 custa cerca de 122 kbps em MLVC com qualidade equivalente.

O senão. Estes resultados vêm de conteúdo de bustos falantes em baixa resolução, medidos face a codificadores por hardware, e a reprodução exige um dispositivo capaz de executar o modelo. Hoje nenhuma televisão, set-top box ou navegador descodifica MLVC. A Microsoft está a implementá-lo no Microsoft Teams para chamadas ponto a ponto, precisamente o caso em que controla ambas as pontas da ligação. Para entrega em streaming é um sinal a acompanhar, não algo que se possa colocar em produção.

Analisámos o artigo, as medições e o repositório aqui: a Microsoft abriu o código de um codec de vídeo neural, e o que isso significa realmente para o streaming.