Þann 24. júlí 2026 tilkynnti Microsoft á Linux and Open Source-bloggi sínu að MLVC, ML Video Codec, yrði gefinn út sem opinn hugbúnaður. Kóðinn er á github.com/microsoft/mlvc undir MIT-leyfi, ásamt þjálfuðum þyngdum, þjálfunarskriftum og umbreytingartólunum fyrir mismunandi NPU-kubba.
Greinin að baki, MLVC: Multi-platform Learned Video Codec for Real-World Deployment, birtist á arXiv mánuði fyrr.
Þetta er ekki rannsóknarsýning sem keyrði einu sinni á skjákorti í tilraunastofu. MLVC er vöruútgáfan af DCVC-línunni sem Microsoft Research hefur birt frá 2021, og Microsoft segir hana þegar í dreifingu í Microsoft Teams fyrir jafningjasímtöl, með rauntímamælingum, A/B-prófunum og afturhvarfi í hefðbundna kóðara þegar vélbúnaðurinn eða netið ræður ekki við það.
Fullyrðingin er nógu stór til að verðskulda alvöru skoðun, og það er einmitt það sem þessi grein gerir: tölurnar, hvað þær mæla í raun, hvað er raunverulega í geymslunni, og hvort eitthvað af þessu snerti streymiskeðju á þessu ári.
Viljirðu stutta útgáfu fyrst höldum við einfalda skilgreiningu á hvað MLVC er í streymisorðasafninu okkar.
Tölurnar úr tilkynningunni
Samanburður Microsoft sjálfs, við sambærileg huglæg gæði:
| Upplausn | Sparaður bitahraði á móti H.264 | Sparaður bitahraði á móti H.265 |
|---|---|---|
| 360p | 87,8 % | 75,5 % |
| 540p | 82,7 % | 65,4 % |
Áþreifanlega útgáfan er auðveldari að muna. Símtal í 360p á 30 römmum á sekúndu sem þarf 1 Mbps í H.264 þarf um 122 kbps í MLVC. Gróflega áttundi hluti bitanna, í rauntíma, á NPU-kubbi í fartölvu.
Þá að smáa letrinu, því það skiptir talsverðu máli.
Þetta eru mannlegar einkunnir, ekki PSNR
Prósentutölurnar eru MOS-byggðar, úr huglægu ITU-T P.910-prófi þar sem áhorfendur gáfu myndskeiðunum einkunn. Efniviðurinn er Video Conferencing Dataset, sem Microsoft byggði og opnaði einnig. Þetta er því fólk fyrir framan vefmyndavél, í 360p og 540p, metið með auganu.
Mælirðu sama kóðara með PSNR yfir breiðara prófunarsafn greinarinnar lendir BD-rate-ávinningurinn frekar nálægt 52 %. Enn mjög há tala. En ekki 87,8 %.
Viðmiðið er veikasti H.265 sem hægt er að kaupa
Samanburðarpunkturinn er H.265 í vélbúnaði á Intel Quick Sync, ekki vel stilltur x265 á hægum forstillingum. Vélbúnaðarkóðarar sem bundnir eru við fundarseinkun eru gólfið á því sem H.265 getur, ekki loftið.
Þá er hvergi í greininni samanburður við AV1 eða VVC. Höfundarnir útskýra hvers vegna: þeir sleppa VTM og ECM af því að þeir eiga sér engar útfærslur í almennum vélbúnaði, svo það er ekkert til að mæla á móti í rauntíma. Verjandi sem rannsóknarákvörðun, en það þýðir að enginn hefur enn sýnt MLVC á móti nútímalegum AV1-kóðara.
Raunverulega afrekið er nákvæmni, ekki þjöppun
Þetta er hlutinn sem grófst undir bitahraðatölunum, og hann er áhugaverðari verkfræðisagan.
Taugakóðarar hafa slegið hefðbundnum kóðurum við í kóðunarnýtni um nokkurt skeið. Þeir voru ónothæfir í dreifingu, því ekki tókst að afkóða þá áreiðanlega á annarri vél en þeirri sem kóðaði.
Entrópíukóðun krefst þess að kóðari og afkóðari reikni út sömu líkindi. Keyrðu sama netið á Apple Neural Engine og á Qualcomm Hexagon og þú færð ekki sömu fleytitöluniðurstöður, því þýðendurnir velja aðra kjarna, sameina virkja á annan hátt og námunda öðruvísi. Bitastraumurinn afkóðast þá í rugl.
Greinin setur tölu á þetta. DCVC-RT nær án takmarkana um 69,6 % BD-rate-bata þegar kóðari og afkóðari sitja á sama vettvangi. Þvert á vettvanga er BD-rate hans óendanlegt, sem er kurteisa leiðin til að segja að myndbandið afkóðist alls ekki.
Hvernig þeir leystu þetta
MLVC hættir að biðja endana tvo um að vera sammála fyrir tilviljun. Hann sendir kvarðabreytur entrópíulíkansins beint í gegnum hyperprior, þannig að báðir endar lesa sömu gildin úr bitastraumnum í stað þess að reikna þau hvor í sínu lagi.
Í kringum það fjarlægði teymið allt annað sem víkur í sundur. Framandi virkjunarföll eru horfin í þágu ReLU og LeakyReLU með ReGLU-hliðun. INT8-þrepun er hafnað alfarið, því INT8-földun er ekki endurtakanleg milli framleiðenda og eldri Apple-kubbar herma hana hvort eð er í FP16. Allt keyrir í FP16.
Þessi agi kostar raunverulega þjöppun. DCVC-RT þjálfaður á skynjunarforsendum nær 81,9 % þar sem MLVC nær 75,5 %. Microsoft gaf eftir um sex BD-rate-stig til að fá kóðara sem afkóðar á vélbúnaði sem fyrirtækið á ekki.
Fyrir hvern þann sem hefur sett myndband í rekstur er þetta augljóslega réttu skiptin, og það er í fyrsta sinn sem lærður kóðari nær þeim.
Hvað er raunverulega í geymslunni
Þess virði að skoða beint, því geymslan segir aðeins aðra sögu en tilkynningin.
Geymslan var stofnuð 28. janúar 2026 og innihélt í sex mánuði ekkert nema leyfi, README-drög og hefðbundnar stjórnskipulagsskrár Microsoft. Sjálfur kóðinn lenti 22. júlí í einni einustu innsendingu sem hét "Hello MLVC", frá Tanel Pärnamaa, fyrsta höfundi greinarinnar. Þegar þetta er skrifað eru þar 8 innsendingar, 189 stjörnur, 10 afleiður og engar merktar útgáfur.
Þetta er sem sagt kóði afhentur í einu lagi, ekki verkefni þróað fyrir opnum tjöldum. Það er ekki gagnrýni, bara réttu væntingarnar. Öll fjögur opnu málin eru Dependabot-uppfærslur fyrir transformers, jupyterlab og cryptography. Eina utanaðkomandi framlagið sem hefur verið sameinað hingað til er einnar línu lagfæring sem bætir #include <cstdint> við EntropyCoder.h svo C++-entrópíukóðarinn byggist á GCC 13 og nýrri Clang. Smátt, en gott merki: einhver utan Microsoft reyndi að þýða hann innan fárra daga, og Microsoft tók lagfæringuna inn.
Hvað þú færð
- Fjóra vistpunkta. Fullan MLVC með 18,3 milljónir breyta og léttari MLVC-S með 5,4 milljónir, hvorn um sig í PSNR-bestaðri og skynjunarbestaðri útgáfu. Skynjunarútgáfurnar eru þjálfaðar með LPIPS og andlitsgreiningarmaska, sem segir nákvæmlega til um hvað þær voru smíðaðar fyrir.
- Alla þjálfunarkeðjuna, fyrir bæði mynda- og myndbandslíkanið, stýrða með YAML-stillingum. Microsoft skjalfesti einnig hvernig þjálfunargögnum var safnað, sem er meira en flestar útgáfur gera.
- Útflutningstól sem umbreyta líkani í CoreML fyrir Apple, ONNX fyrir Intel og OpenVINO, og QNN fyrir Qualcomm, við fastar inntaksstærðir. Studd keyrsluumhverfi eru ONNX Runtime á örgjörva og skjákorti, ONNX Runtime QNN, OpenVINO og Windows ML.
- rANS-entrópíukóðara í C++ í
packages/msrtc_ransmeð Python-tengingum, auk viðmiðunartóla sem reikna BD-rate, MS-SSIM, LPIPS, VIF og DeQA.
Það sem þú færð ekki er C++-safn sem hægt er að tengja inn í forrit. Microsoft segir það koma í síðari útgáfu. Í dag er nothæfa yfirborðið Python, og þú þarft Python 3.12 eða 3.13 og uv til að setja það upp.
Hvar rammahraðinn lendir í raun
Hraðinn er ástæðan fyrir því að þetta er áhugavert, svo upplausnarstiginn skiptir máli. Kóðunarafköst úr greininni:
| Upplausn | MLVC, Apple M3 Pro | MLVC, meðaltal 3 framleiðenda | MLVC-S, Apple M3 Pro |
|---|---|---|---|
| 360p | 129,5 r/s | 103 r/s | ekki birt |
| 540p | 65,7 r/s | 49 r/s | ekki birt |
| 720p | 33,8 r/s | ekki birt | 83,8 r/s |
| 1080p | 15,6 r/s | ekki birt | 39,5 r/s |
Afkóðun gengur nokkrum römmum á sekúndu hægar en kóðun alla leið. Á Intel Lunar Lake er 1080p-talan 10,5 r/s, og framleiðendurnir þrír sem prófaðir voru eru Apple M3 og M4, Intel Lunar Lake og Qualcomm Snapdragon X Elite.
Heiðarlega samantektin: 540p á 30 römmum á sekúndu er það sem hægt er að afhenda, hjá öllum þremur framleiðendum, með innan við helming NPU-kubbsins. Rauntíma 1080p er aðeins til á léttari líkaninu, á Apple, í aðra áttina. Greinin bendir einnig á að samtímis kóðun og afkóðun á einu tæki í 1080p og hærra sé enn vandamál, og það er einmitt það sem tvíátta símtal þarf.
Vegvísir Microsoft fylgir því: fyrst að stöðugleikaprófa 540p og bæta þol gegn pakkatapi, síðan 1080p og víðtækari streymissviðsmyndir.
Hvers vegna þú getur ekki sett þetta í streymisstiga
Þjöppunarnýtni hefur aldrei ráðið örlögum kóðara í streymi. Afkóðarar gera það.
Við skrifuðum heila grein um hvernig HEVC varð aldrei sú framtíð sem honum var lofað, og ástæðan voru leyfisgjöld og tækjastuðningur, ekki kóðunartól. AV1 fór fyrst að skipta máli fyrir raunverulega dreifingu þegar símar fengu vélbúnaðarafkóðara fyrir hann.
Sniðið eru þyngdirnar
MLVC glímir við harðari útgáfu þess vanda. Það er enginn MLVC-bitastraumsstaðall, því þjálfuðu þyngdirnar eru sniðið. Straumur er aðeins afkóðanlegur af tæki sem hefur nákvæmlega það líkan sem kóðaði hann, og keyrir það nógu líkt til að endurskapa reikninginn.
Engir samræmisstraumar. Engin MIME-gerð. Engin pökkunarsaga, engin DRM-saga, og ekkert í snjallsjónvarpi, myndlykli eða vafra sem getur spilað hann. Efnisveitan þín getur flutt hann, og í hinum endanum er ekkert sem getur opnað hann.
Efnið er ekki þitt efni
Áhrifamiklu tölurnar koma frá kyrrstæðum talandi höfðum í lágri upplausn, með líkani þjálfuðu á andlitum í gegnum áhugasvæðismaska. Íþróttir, filmukorn, hraðar sveiflur og mikil hreyfing eru einmitt þar sem hefðbundnir kóðarar vinna fyrir vísireglum sínum, og greinin fullyrðir ekkert um það.
Hún setur meira að segja tölu á einn veikleika: langtímaviðmiðunarbúnaðurinn kostar um 2 prósentustig í BD-rate við snögg atriðaskipti, mildað með skiptigreiningu í rekstri. Og kvikmynd er að mestu leyti atriðaskipti.
Og enginn hefur mælt orkunotkunina
Það er lokatakmörkunin sem greinin sjálf nefnir. Rauntími er leystur, segja höfundarnir, svo orkunotkun er næsta víglína. Að keyra tauganet á NPU-kubbi fyrir hvern ramma í tveggja klukkustunda kvikmynd er á rafhlöðutæki allt annað en fastvirkur afkóðari sem hefur verið bestaður í heilan áratug.
Hvar þetta á við í dag
Alls staðar þar sem báðir endar eru tölvur sem þú stýrir, og þar sem netið er takmörkunin frekar en kísillinn.
Það er fjarfundir fyrst og fremst, og þess vegna er Teams kynningarvagninn. Það eru líka aðflutningstengingar yfir lélegar upptengingar, fjarframleiðsla, drónar, vélmenni og eftirlitstengingar, sem og skýjaleikir og fjarmyndgerð. Microsoft biður sérstaklega um aðstoð á öllum þessum sviðum í tilkynningunni, auk streymis og myndefnis eftir pöntun, og einnig um yfirfærslur sem breikka NPU-þekjuna.
Ef þú smíðar eitthvað í rauntíma og jafningi við jafningja á nýlegum vélbúnaði er þetta eftirmiðdagsins virði strax núna. Ef þú rekur OTT-þjónustu er það ekki.
Hlutinn sem ætti í raun að valda kóðarafólki áhyggjum
Ekki 75 prósentin. Hallinn.
Microsoft fullyrðir að kóðunarnýtni MLVC batni með stærð líkansins og þjálfunarreikningi, eins og öll önnur vélnámskerfi hafa gert undanfarin ár.
Hefðbundnir kóðarar batna um það bil 30 til 50 % milli kynslóða, og hver kynslóð krefst mestallan áratug í staðlavinnu, síðan ára biðar eftir vélbúnaði, síðan deilu um einkaleyfasjóði. Ef lærður kóðari heldur áfram að batna í hvert sinn sem einhver beinir meiri reiknigetu að honum, og hann keyrir á NPU-kubbum sem eru hvort eð er í öllu, breytist form þeirrar samkeppni.
Hann er undir MIT-leyfi, sem fjarlægir hljóðlega hinn þáttinn sem drap HEVC. Og hann verður að venjulegu verkfræðivandamáli: þú gefur út líkanútgáfu, þú semur um hana eins og þú semur um kóðara, og þú fellur til baka þegar hinn endinn ræður ekki við hana.
Ekkert af þessu gerist á þessu ári. Bilið milli "keyrir í 540p á M3-vélinni minni" og "spilast á fimm ára gömlu sjónvarpi í stofu" er sama bilið og hver einasti kóðari hefur þurft fimmtán ár til að brúa. En það er nokkuð langt síðan þjöppun varð nógu áhugaverð til að lesa um hana grein, og þessi er klukkustundarinnar virði.
Hvað ber að gera
Ekkert breytist í kóðunarstiganum þínum. Haltu áfram að afhenda H.264 fyrir útbreiðslu, HEVC og AV1 þar sem tækin ráða við það, og líttu aftur á þetta þegar þrennt gerist:
- Rauntíma 1080p á fulla líkaninu, ekki bara MLVC-S á Apple.
- C++-safn sem raunverulega má tengja inn í vöru.
- Einhver afkóðari utan vara Microsoft sjálfs.
Afritaðu geymsluna ef þú ert forvitinn, því þjálfunarkeðjan og greiningin þvert á vettvanga eru lærdómsríkar hvort sem þú gefur einhvern tímann út taugakóðara eða ekki. Viðaukinn um hvers vegna INT8-þrepun víkur í sundur milli framleiðenda er þjöppuð skýring á vanda sem tekur venjulega mun meira pláss.
Algengar spurningar
Er MLVC ókeypis í notkun?
Já. Microsoft gaf hann út undir MIT-leyfi, sem nær yfir frumkóða líkansins, þjálfuðu þyngdirnar og þjálfunarskriftirnar. Enginn einkaleyfasjóður fylgir, sem er umtalsverður munur frá HEVC.
Get ég streymt MLVC í snjallsjónvarp eða vafra?
Nei. Afkóðun krefst tækis sem getur keyrt tauganetið, og nákvæmlega þess líkans sem kóðaði strauminn. Ekkert sjónvarp, myndlykill, sími eða vafri er með MLVC-afkóðara í dag, og það er enginn bitastraumsstaðall sem þau gætu útfært.
Hversu mikla bandbreidd sparar MLVC í raun?
Microsoft tilgreinir 87,8 % lægri bitahraða en H.264 og 75,5 % lægri en H.265 í vélbúnaði í 360p, metið af áhorfendum samkvæmt ITU-T P.910. Mælt með PSNR yfir breiðara prófunarsafn er sparnaðurinn nær 52 %. Báðar tölur eru á móti vélbúnaðarkóðurum á fjarfundaefni.
Hvaða vélbúnað krefst MLVC?
NPU-kubbs. Microsoft prófaði Apple Neural Engine á M3 og M4, Intel Lunar Lake og Qualcomm Snapdragon X Elite, og tilgreinir rauntíma 540p á 30 römmum á sekúndu á öllum þremur, með innan við helming afkastagetu NPU-kubbsins.
Er MLVC betri en AV1?
Enginn hefur birt þann samanburð. Greinin mælir aðeins á móti H.264 og H.265, og sleppir AV1, VVC og ECM af því að þeir eiga sér engar útfærslur í almennum vélbúnaði til að bera saman við í rauntíma.
Hver er munurinn á MLVC og DCVC?
DCVC er línan af taugakóðurum sem Microsoft Research hefur birt frá 2021. MLVC er vöruútgáfan, sem skiptir um það bil sex stigum í þjöppunarnýtni fyrir getuna til að afkóða áreiðanlega á NPU-kubbum frá ólíkum framleiðendum.
Þarftu aðstoð við að meta hvað þetta þýðir fyrir kerfið þitt?
Ákvarðanir um kóðara verða dýrar þegar þær fara úrskeiðis, og megnið af kostnaðinum kemur fram árum síðar í tækjastuðningi og leyfisgjöldum, ekki í bitahraða. Streymis- og útsendingarsérfræðingarnir okkar hafa komið kóðurum, kóðunarstigum og dreifikeðjum í rekstur í stórum stíl, og þú getur lagt vandann sem þú stendur raunverulega frammi fyrir beint fyrir einn þeirra.