Markdown издање

AI-translated from English; not yet reviewed by a fluent editor.

# Microsoft-ов извештај о MAI-Base-2 мери предтренирање, а не објављени модел

> Microsoft износи резултате MAI-Base-2 на издвојеном тексту и процене ефикасности тренирања добијене прилагођавањем кривих. Основни модел је и даље у накнадном тренирању, без јавне контролне тачке за тестирање.

By BIG CHANGE Editorial

Published: 2026-10-16T16:13:14.938Z
Updated: 2026-10-16T16:13:14.938Z
Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report

![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result.

Microsoft AI наводи да је завршио предтренирање MAI-Base-2, модела мешавине експерата са 80 милијарди активних и укупно 2,8 билиона параметара. Његов [технички извештај од 15. октобра](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) описује тренирање од 38 дана на 16.000 GB200 GPU јединица током августа и септембра 2026. За инжењере који процењују резултат корисно питање је уже од рангирања модела: шта извештај мери пре накнадног тренирања и јавног приступа?

Одговор има два дела. Microsoft пријављује нижи број битова по бајту (BPB) у четири категорије издвојене евалуације него код контролних тачака које је тестирао. Одвојено процењује да је његовом рецепту тренирања потребно 4,2–12,3 пута мање FLOPs тренирања него DeepSeek-V4-Pro-Base да достигне исти BPB, користећи криве прилагођене сопственој лествици скалирања. То су различити налази са различитим ограничењима.

## Велика промена

- **Шта се променило:** Microsoft је известио о завршеном тренирању основног модела великих размера, уз евалуације издвојеног текста и детаљан опис рецепта тренирања. MAI-Base-2 је и даље у накнадном тренирању.
- **Зашто је важно:** Инжењери могу да испитају како Microsoft повезује квалитет модела са рачунарским радом при тренирању и за које одлуке о подацима, архитектури и инфраструктури наводи да су допринеле. Докази се односе на губитак при предтренирању и Microsoft-ова интерна мерења; не постоји јавна MAI-Base-2 услуга инференције нити објављена контролна тачка која би могла да се провери на конкретном оптерећењу.
- **На шта обратити пажњу:** Резултати накнадног тренирања и услови приступа одредиће да ли ова основа постаје корисна у производима или спољним тимовима. Microsoft-ов најављени план да лиценцира тежине кроз Foundry представља будућу понуду, а не садашњу доступност.

## Шта говори поређење на издвојеним подацима

Microsoft оцењује предтрениране моделе на издвојеном тексту помоћу BPB, који изражава губитак предвиђања по бајту и избегава резултат зависан од токенизатора. Извештај наводи евалуације кода, STEM области, математике и питања и одговора. Каже да скуп кода долази из сопствене MAI базе кода, док је Microsoft остале скупове наручио од добављача; Microsoft наводи да је сва четири очистио од преклапања са подацима за тренирање. То су заштитне мере које описује оцењивач, а не независно поновљена ревизија података.

Microsoft пријављује да на тим скуповима MAI-Base-2 има нижи BPB од сваког модела који је тестирао. Разлика између контролних тачака је важна. DeepSeek-V4-Pro-Base је објављени *основни* модел који Microsoft користи као референцу за свој рецепт. Microsoft каже да су за Kimi K3, Qwen3.8-2.4T-A95B и MiMo-V2.6-Pro-RL биле доступне само *накнадно трениране* контролне тачке и признаје да накнадно тренирање може да утиче на ове евалуације. BPB графикон основног наспрам накнадно тренираних модела зато није контролисано поређење рецепата предтренирања сва четири конкурента. Извештај не наводи тестирање OpenAI контролне тачке, па не даје основ да се тврди да MAI-Base-2 надмашује OpenAI модел.

BPB такође одговара на другачије питање од корисности асистента. Мери губитак на изабраном издвојеном материјалу, а не праћење упутстава, закључивање после накнадног тренирања, латенцију, безбедност или оперативни трошак апликације. Microsoft каже да MAI-Base-2 још пролази кроз накнадно тренирање; извештај не нуди јавне тежине, крајњу тачку за инференцију, цене или резултате код корисника.

## Одакле потиче распон рачунарске ефикасности

Тврдња о 4,2–12,3× потиче из прилагођених кривих скалирања. Microsoft је за сваку од четири евалуације прилагодио засебну криву односа BPB и FLOPs тренирања, користећи своју лествицу скалирања и познати завршни резултат MAI-Base-2. Затим је проценио колико би рачунарског рада његов рецепт захтевао да достигне BPB модела DeepSeek-V4-Pro-Base и ту процену упоредио са пријављеним рачунарским радом при тренирању референтног модела. Microsoft каже да тачке подударања леже унутар распона прилагођеног модела, уместо да се екстраполирају ван њега.

Тај распон представља *процену при једнаком губитку* за Microsoft-ов рецепт на тим евалуацијама. Није измерено смањење стварног рачуна за тренирање MAI-Base-2, убрзање инференције нити доказ да би друга лабораторија добила исти резултат. Microsoft такође пријављује процењено побољшање ефикасности у FLOPs од 6,3–12,7× у односу на сопствени MAI-Base-1. У оба случаја читаоцу су за тумачење броја потребни изабрана референца, евалуациони скуп и метод прилагођавања.

Microsoft даје још један пар бројева за продукционо тренирање: просечну искоришћеност FLOPs модела (MFU) од 21% и goodput од 89%, при чему је goodput удео времена током ког је тренирање напредовало. Извештај нормализује MFU према теоријских 2,5 PFLOPS по GB200 у BF16 и искључује FLOPs рематеријализације и оптимизатора. MFU се односи на то колико је теоријског рачунарског капацитета користило рачунање при тренирању; goodput на прекиде и напредак током протеклог времена. Ниједно није однос ефикасности у FLOPs при истом BPB. Microsoft изричито разликује добитке мерене у FLOPs тренирања од добитака мерених стварно протеклим временом када оцењује пројектне одлуке.

## Рецепт за који Microsoft каже да је произвео резултат

Извештај даје уверљиве механизме уз ограничења доказа. Његова лествица скалирања ограничава јединствене узорке у мањим тренирањима како би се скупови података понављали исти број пута као у пуном тренирању. Microsoft каже да је то спречило мале експерименте да дају предност изборима који би довели до преприлагођавања на већој скали. Описује и емпиријска правила скалирања стопе учења, опадања тежина и dropout-а, проверена на моделу средње величине пре пуног тренирања.

У ретком моделу Microsoft наводи да су промене у рутирању експерата, фиксном меморијском капацитету и груписаној комуникацији подигле MFU његових MoE слојева са 24% на 35%, што је омогућило MoE у сваком слоју. То је интерно мерење на нивоу компоненте, а не просечни MFU од 21% за цело тренирање од 38 дана. Извештај описује рад на оптимизатору који је довео Muon на 165 милисекунди, односно 2,1% просечне итерације тренирања, уз одсецање градијената активација ради стабилизације тренирања. Одељак о подацима наводи да је корпус јединствених токена порастао око 36% у односу на MAI-Base-1. Пријављује 4,5 билиона јединствених визуелно-језичких токена; уз понављање, визуелно-језички подаци чинили су 18% мешавине за тренирање од 50 билиона токена.

Ови детаљи чине рад корисним инжењерским приказом Microsoft-овог приступа великим размерама. Они не издвајају узрочни допринос сваке промене кроз независно поновљена тренирања. Microsoft приписује резултат квалитету података и изборима у моделовању; спољни тимови не могу да утврде те ефекте само на основу извештаја. Непосредни докази су завршен основни модел, Microsoft-ови изабрани губици на издвојеним подацима и анализа ефикасности рецепта заснована на прилагођеним кривама. Перформансе производа остају засебно мерење за каснију контролну тачку.

## Извори и додатна литература

- [Microsoft AI, „Гранично предтренирање у Microsoft AI“](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/), 15. октобар 2026. Технички извештај самог произвођача о архитектури, тренирању, BPB поређењима на издвојеним подацима, прилагођеним распонима рачунарске ефикасности, искоришћености, подацима и наведеној фази објављивања. Сва мерења и ефекти имплементације овде су према Microsoft-овим наводима; BIG CHANGE није поновио тренирање нити оценио MAI-Base-2.

## Sources

- [Microsoft AI: Гранично предтренирање у Microsoft AI](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — Технички извештај самог произвођача; извор свих квантитативних тврдњи и описа имплементације. Перформансе и механизми су према Microsoft-овим наводима, без независног понављања.