Markdown edition

AI-translated from English; not yet reviewed by a fluent editor.

# Pretraining ang sinusukat ng ulat ng Microsoft sa MAI-Base-2, hindi isang inilabas na modelo

> Iniulat ng Microsoft ang resulta ng MAI-Base-2 sa tekstong ibinukod para sa pagsusuri at mga pagtataya sa husay ng pagsasanay mula sa itinugmang mga kurba. Nasa post-training pa ang batayang modelo, at walang pampublikong checkpoint na masusubukan.

By BIG CHANGE Editorial

Published: 2026-10-16T16:13:14.938Z
Updated: 2026-10-16T16:13:14.938Z
Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report

![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result.

Ayon sa Microsoft AI, natapos nito ang pretraining ng MAI-Base-2, isang mixture-of-experts na modelo na may 80 bilyong aktibong parameter at 2.8 trilyong kabuuang parameter. Ang [teknikal na ulat nito noong Oktubre 15](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) ay naglalarawan ng 38 araw na pagsasanay sa 16,000 GB200 GPU noong Agosto at Setyembre 2026. Para sa mga inhinyerong sumusuri sa resulta, mas tiyak kaysa pagraranggo ng modelo ang kapaki-pakinabang na tanong: ano ang sinusukat ng ulat bago ang post-training at pampublikong access?

May dalawang bahagi ang sagot. Iniulat ng Microsoft ang mas mababang bits per byte (BPB) sa apat na kategorya ng pagsusuri sa ibinukod na datos kaysa sa mga checkpoint na sinubukan nito. Hiwalay nitong tinatayang kailangan ng pamamaraan nito ng 4.2–12.3 beses na mas kaunting FLOPs sa pagsasanay kaysa sa DeepSeek-V4-Pro-Base upang maabot ang parehong BPB, gamit ang mga kurbang itinugma sa sarili nitong serye ng pagsubok sa iba't ibang laki. Magkaiba ang mga natuklasang ito at magkaiba rin ang kanilang mga limitasyon.

## Ang malaking pagbabago

- **Ano ang nagbago:** Iniulat ng Microsoft ang natapos na malakihang pagsasanay ng batayang modelo, kasama ang pagsusuri sa ibinukod na teksto at detalyadong paliwanag ng paraan ng pagsasanay. Nasa post-training pa rin ang MAI-Base-2.
- **Bakit ito mahalaga:** Maaaring suriin ng mga inhinyero kung paano iniuugnay ng Microsoft ang kalidad ng modelo sa komputasyong pangsanay, at kung aling mga pasya sa datos, arkitektura at imprastraktura ang sinasabi nitong nakatulong. Tungkol sa loss ng pretraining at panloob na pagsukat ng Microsoft ang ebidensiya; walang pampublikong inference service ng MAI-Base-2 o inilabas na checkpoint na masusubukan sa isang workload.
- **Ano ang dapat bantayan:** Ang resulta ng post-training at mga tuntunin ng access ang magtatakda kung magiging kapaki-pakinabang sa mga produkto o panlabas na team ang pundasyong ito. Ang ipinahayag na plano ng Microsoft na maglisensiya ng mga weight sa pamamagitan ng Foundry ay alok sa hinaharap, hindi kasalukuyang availability.

## Ano ang sinasabi ng paghahambing sa ibinukod na datos

Sinusuri ng Microsoft ang mga pre-trained na modelo sa ibinukod na teksto gamit ang BPB, na nagpapahayag ng prediction loss sa bawat byte at umiiwas sa score na nakadepende sa tokenizer. Binabanggit ng ulat ang pagsusuri sa code, STEM, matematika at tanong-sagot. Ayon dito, mula sa sariling codebase ng MAI ang set ng code, habang ipinagawa ng Microsoft sa mga vendor ang ibang set; sinasabi ng Microsoft na inalis nito ang kontaminasyon ng apat na set kaugnay ng datos nito sa pagsasanay. Mga pag-iingat itong inilalarawan ng nagsusuri, hindi isang pag-audit sa datos na malayang naulit ng iba.

Sa mga set na iyon, iniulat ng Microsoft na mas mababa ang BPB ng MAI-Base-2 kaysa sa bawat modelong sinubukan nito. Mahalaga ang pagkakaiba ng mga checkpoint. Ang DeepSeek-V4-Pro-Base ang inilabas na *batayang* modelo na ginagamit ng Microsoft bilang sanggunian ng pamamaraan nito. Ayon sa Microsoft, mga checkpoint lamang na *dumaan sa post-training* ang magagamit para sa Kimi K3, Qwen3.8-2.4T-A95B at MiMo-V2.6-Pro-RL, at kinikilala nitong maaaring makaapekto ang post-training sa mga pagsusuring ito. Kaya ang BPB chart ng batayan laban sa post-trained na modelo ay hindi kontroladong paghahambing ng mga paraan ng pretraining ng lahat ng apat na karibal. Walang pagsubok ng OpenAI checkpoint sa ulat, kaya wala itong batayan para sabihing nahihigitan ng MAI-Base-2 ang isang modelo ng OpenAI.

Iba rin ang tanong na sinasagot ng BPB sa pagiging kapaki-pakinabang ng assistant. Sinusukat nito ang loss sa piniling ibinukod na materyal, hindi ang pagsunod sa tagubilin, pangangatwiran pagkatapos ng post-training, latency, kaligtasan o gastos sa pagpapatakbo ng isang application. Ayon sa Microsoft, nagpapatuloy pa ang post-training ng MAI-Base-2; walang pampublikong weight, inference endpoint, presyo o resulta ng customer na ibinibigay ang ulat.

## Saan nanggaling ang saklaw ng husay sa komputasyon

Mula sa itinugmang scaling curve ang pahayag na 4.2–12.3×. Nagtugma ang Microsoft ng hiwalay na kurba ng BPB laban sa FLOPs ng pagsasanay para sa bawat isa sa apat na pagsusuri, gamit ang serye nito sa iba't ibang laki at ang alam nang huling resulta ng MAI-Base-2. Pagkatapos ay tinaya nito kung gaanong komputasyon ang kailangan ng pamamaraan nito upang pantayan ang BPB ng DeepSeek-V4-Pro-Base, at inihambing ang pagtataya sa iniulat na komputasyong pangsanay ng modelong sanggunian. Ayon sa Microsoft, nasa loob ng saklaw ng itinugmang modelo ang mga puntong magkapantay, sa halip na mga extrapolation lampas dito.

Ang saklaw ay isang *pagtataya sa parehong loss* para sa pamamaraan ng Microsoft sa mga pagsusuring iyon. Hindi ito nasukat na pagbawas sa aktuwal na bayarin sa pagsasanay ng MAI-Base-2, pagpapabilis ng inference o patunay na makukuha ng ibang laboratoryo ang parehong resulta. Iniulat din ng Microsoft ang tinatayang 6.3–12.7× na pagbuti sa husay ng FLOPs kumpara sa sarili nitong MAI-Base-1. Sa parehong kaso, kailangan ng mambabasa ang napiling sanggunian, set ng pagsusuri at paraan ng pagtutugma upang maunawaan ang numero.

May isa pang pares ng numero ang Microsoft para sa pangunahing pagsasanay: average model FLOPs utilization (MFU) na 21% at goodput na 89%, kung saan ang goodput ay bahagi ng oras na umuusad ang pagsasanay. Ininormalisa ng ulat ang MFU batay sa teoretikal na 2.5 PFLOPS sa bawat GB200 sa BF16 at hindi isinama ang FLOPs ng rematerialization at optimizer. Tungkol ang MFU sa gaanong bahagi ng teoretikal na kapasidad ang ginamit ng komputasyon sa pagsasanay; tungkol naman ang goodput sa pagkaantala at pag-usad sa lumipas na oras. Hindi ang alinman sa mga ito ang ratio ng husay ng FLOPs sa parehong BPB. Tahasang inihihiwalay ng Microsoft ang pagbuting sinusukat sa FLOPs ng pagsasanay sa pagbuting sinusukat sa aktuwal na lumipas na oras kapag sinusuri nito ang mga pasya sa disenyo.

## Ang paraang sinasabi ng Microsoft na nagbunga ng resulta

Nagbibigay ang ulat ng mga mekanismong makatwiran, kasama ang mga limitasyon ng ebidensiya. Nililimitahan ng serye nito sa iba't ibang laki ang mga natatanging sample sa mas maliliit na pagsasanay upang maulit ang mga dataset nang kasindaming beses ng sa buong pagsasanay. Ayon sa Microsoft, pinigilan nito ang maliliit na eksperimento na paboran ang mga pagpiling mag-o-overfit sa mas malaking laki. Inilalarawan din nito ang mga empirikal na tuntunin sa pag-scale ng learning rate, weight decay at dropout, na sinuri sa modelong katamtaman ang laki bago ang buong pagsasanay.

Sa sparse na modelo, ayon sa Microsoft, itinaas ng mga pagbabago sa expert routing, nakapirming kapasidad ng memorya at nakagrupong komunikasyon ang MFU ng mga MoE layer mula 24% tungong 35%, kaya nagamit ang MoE sa bawat layer. Panloob na pagsukat ito sa antas ng bahagi, hindi ang 21% na average MFU ng buong 38 araw na pagsasanay. Inilalarawan ng ulat ang trabaho sa optimizer na nagdala sa Muon sa 165 millisecond, o 2.1% ng average na training iteration, pati activation-gradient clipping upang patatagin ang pagsasanay. Ayon sa seksiyon ng datos, lumaki nang humigit-kumulang 36% mula sa MAI-Base-1 ang corpus ng natatanging token. Iniulat nito ang 4.5 trilyong natatanging vision-language token; kasama ang pag-uulit, bumuo ang vision-language data ng 18% ng 50 trilyong token na halo para sa pagsasanay.

Dahil sa mga detalyeng ito, kapaki-pakinabang ang papel bilang ulat na pang-inhinyeriya ng paraan ng Microsoft sa malaking sukat. Hindi nito natutukoy nang hiwalay kung gaano kalaki ang naidulot ng bawat pagbabago sa pamamagitan ng mga pagsasanay na malayang naulit ng iba. Iniuugnay ng Microsoft ang resulta sa kalidad ng datos at mga pasya sa pagmomodelo; hindi mapatutunayan ng mga panlabas na team ang mga epektong iyon mula lamang sa ulat. Ang agarang ebidensiya ay isang natapos na batayang modelo, ang piniling loss ng Microsoft sa ibinukod na datos, at pagsusuri nito sa husay ng pamamaraan gamit ang itinugmang mga kurba. Hiwalay na pagsukat para sa susunod na checkpoint ang pagganap bilang produkto.

## Mga sanggunian at karagdagang babasahin

- [Microsoft AI, “Pretraining sa Hangganan ng Kakayahan sa Microsoft AI”](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/), Oktubre 15, 2026. Teknikal na ulat mismo ng kompanya para sa arkitektura, pagsasanay, paghahambing ng BPB sa ibinukod na datos, itinugmang mga saklaw ng husay sa komputasyon, utilization, datos at ipinahayag na yugto ng paglabas. Microsoft ang nag-ulat ng lahat ng pagsukat at epekto ng implementasyon dito; hindi inulit ng BIG CHANGE ang pagsasanay o sinuri ang MAI-Base-2.

## Sources

- [Microsoft AI: Pretraining sa Hangganan ng Kakayahan sa Microsoft AI](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — Teknikal na ulat mismo ng kompanya; pinagmulan ng lahat ng kuwantitatibong pahayag at paglalarawan ng implementasyon. Microsoft ang nag-ulat ng pagganap at mga mekanismo; hindi malayang naulit ang mga ito ng iba.