MLVC（Machine Learning Video Codec）とは？

MLVCはMachine Learning Video Codecの略です。Microsoftが2026年7月にMITライセンスでオープンソース化しました。Microsoft Researchが2021年から発表してきた研究系列DCVC（Deep Contextual Video Compression）の製品版にあたります。

H.264やH.265のような従来型コーデックは、動き推定、変換、エントロピーモデル、そして大量の符号化ヒューリスティクスといった、人の手で設計された部品を組み合わせて作られています。MLVCはそれらすべてを、レート歪み目標に対して端から端まで学習させた単一のニューラルネットワークで置き換えます。

これは珍しい帰結をもたらします。実装すべきビットストリーム仕様が存在しないのです。学習済みの重みそのものがフォーマットだからです。エンコーダーとデコーダーは同じモデルを実行し、その演算をほぼビット単位で一致させる必要があります。MLVCの論文がページの大半を割いているのは、まさにこの問題です。

動作環境。 MLVCはコーデック専用のシリコンではなく、すでにノートPCやスマートフォンに搭載されているNPU、すなわちApple Neural EngineおよびIntelとQualcommのNPUを対象としています。フルモデルのパラメータ数は1830万、軽量版のMLVC-Sは540万です。Microsoftは3社すべてのハードウェアで、NPU使用率を半分以下に抑えたままリアルタイム540p・30fpsを達成したとしています。

削減効果。 Microsoftのビデオ会議テストセットにおいて、ITU-T P.910に基づき人間の視聴者が評価した結果、MLVCは360pでH.264比87.8%、ハードウェアH.265比75.5%少ないビットレートで済みます。540pではそれぞれ82.7%と65.4%です。実際的に言えば、H.264で1 Mbpsを要する360p映像が、MLVCでは同等画質で約122 kbpsになります。

注意点。 これらの結果は低解像度のトーキングヘッド映像から得られたもので、比較対象はハードウェアエンコーダーです。また再生にはモデルを実行できる端末が必要です。現時点でMLVCを復号できるテレビ、セットトップボックス、ブラウザは存在しません。MicrosoftはMicrosoft Teamsのピアツーピア通話に展開していますが、これは同社が回線の両端を管理できる、まさにその条件が揃った場面です。ストリーミング配信にとっては、投入できる選択肢ではなく、注視すべき兆候という位置づけになります。

論文、測定結果、リポジトリについてはこちらで詳しく扱っています: Microsoftがニューラル動画コーデックをオープンソース化、それがストリーミングにとって実際に何を意味するのか。