MLVC(Machine Learning Video Codec)란?

MLVC는 Machine Learning Video Codec의 약자입니다. 마이크로소프트가 2026년 7월 MIT 라이선스로 오픈소스로 공개했습니다. 마이크로소프트 리서치가 2021년부터 발표해 온 연구 계열 DCVC(Deep Contextual Video Compression)의 제품화 버전입니다.

H.264나 H.265 같은 기존 코덱은 사람이 설계한 부품들로 조립되어 있습니다. 움직임 추정, 변환, 엔트로피 모델, 그리고 상당한 양의 인코더 휴리스틱이 그것입니다. MLVC는 이 모두를 율-왜곡 목표에 대해 종단 간으로 학습시킨 단일 신경망으로 대체합니다.

여기에는 흔치 않은 결과가 따릅니다. 구현해야 할 비트스트림 규격이 존재하지 않는다는 점입니다. 학습된 가중치 자체가 곧 포맷이기 때문입니다. 인코더와 디코더는 같은 모델을 실행하면서 그 연산을 사실상 비트 단위로 일치시켜야 하며, MLVC 논문이 지면의 대부분을 할애하는 것이 바로 이 문제입니다.

어디서 동작하는가. MLVC는 코덱 전용 실리콘이 아니라 이미 노트북과 휴대폰에 들어 있는 NPU, 즉 애플 뉴럴 엔진과 인텔 및 퀄컴의 NPU를 겨냥합니다. 전체 모델의 파라미터는 1830만 개이고 경량 버전 MLVC-S는 540만 개입니다. 마이크로소프트는 세 제조사 하드웨어 모두에서 NPU 사용률 절반 이하로 실시간 540p 30fps를 달성했다고 밝혔습니다.

얼마나 절감되는가. 마이크로소프트의 화상회의 테스트 세트에서 ITU-T P.910에 따라 사람이 평가한 결과, MLVC는 360p에서 H.264 대비 87.8%, 하드웨어 H.265 대비 75.5% 낮은 비트레이트로 처리됩니다. 540p에서는 각각 82.7%와 65.4%입니다. 실질적으로는 H.264에서 1 Mbps가 드는 360p 영상이 MLVC에서는 동등한 화질로 약 122 kbps에 처리됩니다.

유의할 점. 이 결과는 저해상도 토킹헤드 영상에서 나왔고 비교 대상은 하드웨어 인코더입니다. 또한 재생하려면 모델을 실행할 수 있는 기기가 필요합니다. 현재 MLVC를 복호할 수 있는 TV나 셋톱박스, 브라우저는 없습니다. 마이크로소프트는 Microsoft Teams의 P2P 통화에 배포하고 있는데, 이는 회사가 회선 양쪽 끝을 모두 통제할 수 있는 바로 그 조건입니다. 스트리밍 전송의 관점에서는 당장 투입할 선택지가 아니라 지켜볼 신호에 가깝습니다.

논문과 측정치, 저장소는 여기에서 자세히 다뤘습니다: 마이크로소프트가 뉴럴 비디오 코덱을 오픈소스로 공개했다, 그것이 스트리밍에 실제로 의미하는 것.