Microsoft-ov izveštaj o MAI-Base-2 meri predtreniranje, a ne objavljeni model

Microsoft AI navodi da je završio predtreniranje MAI-Base-2, modela mešavine eksperata sa 80 milijardi aktivnih i ukupno 2,8 biliona parametara. Njegov tehnički izveštaj od 15. oktobra opisuje treniranje od 38 dana na 16.000 GB200 GPU jedinica tokom avgusta i septembra 2026. Za inženjere koji procenjuju rezultat korisno pitanje je uže od rangiranja modela: šta izveštaj meri pre naknadnog treniranja i javnog pristupa?

Odgovor ima dva dela. Microsoft prijavljuje niži broj bitova po bajtu (BPB) u četiri kategorije izdvojene evaluacije nego kod kontrolnih tačaka koje je testirao. Odvojeno procenjuje da je njegovom receptu treniranja potrebno 4,2–12,3 puta manje FLOPs treniranja nego DeepSeek-V4-Pro-Base da dostigne isti BPB, koristeći krive prilagođene sopstvenoj lestvici skaliranja. To su različiti nalazi sa različitim ograničenjima.

Velika promena

• Šta se promenilo: Microsoft je izvestio o završenom treniranju osnovnog modela velikih razmera, uz evaluacije izdvojenog teksta i detaljan opis recepta treniranja. MAI-Base-2 je i dalje u naknadnom treniranju.
• Zašto je važno: Inženjeri mogu da ispitaju kako Microsoft povezuje kvalitet modela sa računarskim radom pri treniranju i za koje odluke o podacima, arhitekturi i infrastrukturi navodi da su doprinele. Dokazi se odnose na gubitak pri predtreniranju i Microsoft-ova interna merenja; ne postoji javna MAI-Base-2 usluga inferencije niti objavljena kontrolna tačka koja bi mogla da se proveri na konkretnom opterećenju.
• Na šta obratiti pažnju: Rezultati naknadnog treniranja i uslovi pristupa odrediće da li ova osnova postaje korisna u proizvodima ili spoljnim timovima. Microsoft-ov najavljeni plan da licencira težine kroz Foundry predstavlja buduću ponudu, a ne sadašnju dostupnost.

Šta govori poređenje na izdvojenim podacima

Microsoft ocenjuje predtrenirane modele na izdvojenom tekstu pomoću BPB, koji izražava gubitak predviđanja po bajtu i izbegava rezultat zavisan od tokenizatora. Izveštaj navodi evaluacije koda, STEM oblasti, matematike i pitanja i odgovora. Kaže da skup koda dolazi iz sopstvene MAI baze koda, dok je Microsoft ostale skupove naručio od dobavljača; Microsoft navodi da je sva četiri očistio od preklapanja sa podacima za treniranje. To su zaštitne mere koje opisuje ocenjivač, a ne nezavisno ponovljena revizija podataka.

Microsoft prijavljuje da na tim skupovima MAI-Base-2 ima niži BPB od svakog modela koji je testirao. Razlika između kontrolnih tačaka je važna. DeepSeek-V4-Pro-Base je objavljeni osnovni model koji Microsoft koristi kao referencu za svoj recept. Microsoft kaže da su za Kimi K3, Qwen3.8-2.4T-A95B i MiMo-V2.6-Pro-RL bile dostupne samo naknadno trenirane kontrolne tačke i priznaje da naknadno treniranje može da utiče na ove evaluacije. BPB grafikon osnovnog naspram naknadno treniranih modela zato nije kontrolisano poređenje recepata predtreniranja sva četiri konkurenta. Izveštaj ne navodi testiranje OpenAI kontrolne tačke, pa ne daje osnov da se tvrdi da MAI-Base-2 nadmašuje OpenAI model.

BPB takođe odgovara na drugačije pitanje od korisnosti asistenta. Meri gubitak na izabranom izdvojenom materijalu, a ne praćenje uputstava, zaključivanje posle naknadnog treniranja, latenciju, bezbednost ili operativni trošak aplikacije. Microsoft kaže da MAI-Base-2 još prolazi kroz naknadno treniranje; izveštaj ne nudi javne težine, krajnju tačku za inferenciju, cene ili rezultate kod korisnika.

Odakle potiče raspon računarske efikasnosti

Tvrdnja o 4,2–12,3× potiče iz prilagođenih krivih skaliranja. Microsoft je za svaku od četiri evaluacije prilagodio zasebnu krivu odnosa BPB i FLOPs treniranja, koristeći svoju lestvicu skaliranja i poznati završni rezultat MAI-Base-2. Zatim je procenio koliko bi računarskog rada njegov recept zahtevao da dostigne BPB modela DeepSeek-V4-Pro-Base i tu procenu uporedio sa prijavljenim računarskim radom pri treniranju referentnog modela. Microsoft kaže da tačke podudaranja leže unutar raspona prilagođenog modela, umesto da se ekstrapoliraju van njega.

Taj raspon predstavlja procenu pri jednakom gubitku za Microsoft-ov recept na tim evaluacijama. Nije izmereno smanjenje stvarnog računa za treniranje MAI-Base-2, ubrzanje inferencije niti dokaz da bi druga laboratorija dobila isti rezultat. Microsoft takođe prijavljuje procenjeno poboljšanje efikasnosti u FLOPs od 6,3–12,7× u odnosu na sopstveni MAI-Base-1. U oba slučaja čitaocu su za tumačenje broja potrebni izabrana referenca, evaluacioni skup i metod prilagođavanja.

Microsoft daje još jedan par brojeva za produkciono treniranje: prosečnu iskorišćenost FLOPs modela (MFU) od 21% i goodput od 89%, pri čemu je goodput udeo vremena tokom kog je treniranje napredovalo. Izveštaj normalizuje MFU prema teorijskih 2,5 PFLOPS po GB200 u BF16 i isključuje FLOPs rematerijalizacije i optimizatora. MFU se odnosi na to koliko je teorijskog računarskog kapaciteta koristilo računanje pri treniranju; goodput na prekide i napredak tokom proteklog vremena. Nijedno nije odnos efikasnosti u FLOPs pri istom BPB. Microsoft izričito razlikuje dobitke merene u FLOPs treniranja od dobitaka merenih stvarno proteklim vremenom kada ocenjuje projektne odluke.

Recept za koji Microsoft kaže da je proizveo rezultat

Izveštaj daje uverljive mehanizme uz ograničenja dokaza. Njegova lestvica skaliranja ograničava jedinstvene uzorke u manjim treniranjima kako bi se skupovi podataka ponavljali isti broj puta kao u punom treniranju. Microsoft kaže da je to sprečilo male eksperimente da daju prednost izborima koji bi doveli do preprilagođavanja na većoj skali. Opisuje i empirijska pravila skaliranja stope učenja, opadanja težina i dropout-a, proverena na modelu srednje veličine pre punog treniranja.

U retkom modelu Microsoft navodi da su promene u rutiranju eksperata, fiksnom memorijskom kapacitetu i grupisanoj komunikaciji podigle MFU njegovih MoE slojeva sa 24% na 35%, što je omogućilo MoE u svakom sloju. To je interno merenje na nivou komponente, a ne prosečni MFU od 21% za celo treniranje od 38 dana. Izveštaj opisuje rad na optimizatoru koji je doveo Muon na 165 milisekundi, odnosno 2,1% prosečne iteracije treniranja, uz odsecanje gradijenata aktivacija radi stabilizacije treniranja. Odeljak o podacima navodi da je korpus jedinstvenih tokena porastao oko 36% u odnosu na MAI-Base-1. Prijavljuje 4,5 biliona jedinstvenih vizuelno-jezičkih tokena; uz ponavljanje, vizuelno-jezički podaci činili su 18% mešavine za treniranje od 50 biliona tokena.

Ovi detalji čine rad korisnim inženjerskim prikazom Microsoft-ovog pristupa velikim razmerama. Oni ne izdvajaju uzročni doprinos svake promene kroz nezavisno ponovljena treniranja. Microsoft pripisuje rezultat kvalitetu podataka i izborima u modelovanju; spoljni timovi ne mogu da utvrde te efekte samo na osnovu izveštaja. Neposredni dokazi su završen osnovni model, Microsoft-ovi izabrani gubici na izdvojenim podacima i analiza efikasnosti recepta zasnovana na prilagođenim krivama. Performanse proizvoda ostaju zasebno merenje za kasniju kontrolnu tačku.

Izvori i dodatna literatura

• Microsoft AI, „Granično predtreniranje u Microsoft AI“, 15. oktobar 2026. Tehnički izveštaj samog proizvođača o arhitekturi, treniranju, BPB poređenjima na izdvojenim podacima, prilagođenim rasponima računarske efikasnosti, iskorišćenosti, podacima i navedenoj fazi objavljivanja. Sva merenja i efekti implementacije ovde su prema Microsoft-ovim navodima; BIG CHANGE nije ponovio treniranje niti ocenio MAI-Base-2.