80 బిలియన్ క్రియాశీల పారామీటర్లు, మొత్తం 2.8 ట్రిలియన్ పారామీటర్లు ఉన్న mixture-of-experts మోడల్ MAI-Base-2 ప్రీట్రైనింగ్ పూర్తయిందని Microsoft AI చెబుతోంది. దాని అక్టోబర్ 15 సాంకేతిక నివేదిక 2026 ఆగస్టు, సెప్టెంబర్ నెలల్లో 16,000 GB200 GPUలపై సాగిన 38 రోజుల శిక్షణను వివరిస్తోంది. ఫలితాన్ని పరిశీలించే ఇంజినీర్లకు మోడల్ ర్యాంకింగ్ కంటే నిర్దిష్టమైన ప్రశ్న ఉపయోగకరం: పోస్ట్-ట్రైనింగ్, బహిరంగ ప్రాప్యతకు ముందు ఈ నివేదిక ఏం కొలుస్తోంది?

సమాధానానికి రెండు భాగాలున్నాయి. పరీక్షించిన చెక్‌పాయింట్లతో పోలిస్తే, పక్కన ఉంచిన నాలుగు మూల్యాంకన విభాగాల్లో ఒక్కో బైట్‌కు బిట్లు (BPB) తక్కువగా ఉన్నాయని Microsoft నివేదిస్తోంది. వేరుగా, తన పరిమాణాలవారీ ప్రయోగశ్రేణికి సరిపోల్చిన వక్రరేఖలను ఉపయోగించి, సమాన BPB చేరుకోవడానికి తన శిక్షణ పద్ధతికి DeepSeek-V4-Pro-Base కంటే 4.2–12.3 రెట్లు తక్కువ శిక్షణ FLOPs అవసరమని అంచనా వేస్తోంది. ఇవి వేర్వేరు నిర్ధారణలు; వాటి పరిమితులూ వేరు.

పెద్ద మార్పు

  • ఏం మారింది: భారీ స్థాయి బేస్ మోడల్ శిక్షణ పూర్తయిందని Microsoft నివేదించింది. పక్కన ఉంచిన పాఠ్యంపై మూల్యాంకనాలు, శిక్షణ పద్ధతి గురించి వివరాలు ఇచ్చింది. MAI-Base-2 ఇంకా పోస్ట్-ట్రైనింగ్‌లో ఉంది.
  • ఇది ఎందుకు ముఖ్యం: మోడల్ నాణ్యతను Microsoft శిక్షణ గణనతో ఎలా ముడిపెడుతోందో, ఏ డేటా, నిర్మాణం, మౌలిక సదుపాయాల ఎంపికలు తోడ్పడ్డాయని చెబుతోందో ఇంజినీర్లు పరిశీలించవచ్చు. ఆధారాలు ప్రీట్రైనింగ్ లాస్, Microsoft అంతర్గత కొలతలకు సంబంధించినవి; నిర్దిష్ట పనిభారంపై పరీక్షించడానికి బహిరంగ MAI-Base-2 ఇన్‌ఫరెన్స్ సేవ లేదా విడుదలైన చెక్‌పాయింట్ లేదు.
  • ఏం గమనించాలి: పోస్ట్-ట్రైనింగ్ ఫలితాలు, ప్రాప్యత నిబంధనలు ఈ పునాది ఉత్పత్తుల్లో లేదా బయటి బృందాలకు ఉపయోగపడుతుందో లేదో నిర్ణయిస్తాయి. Foundry ద్వారా వెయిట్లను లైసెన్స్ ఇవ్వాలన్న Microsoft ప్రకటించిన ప్రణాళిక భవిష్యత్ అందుబాటు; ప్రస్తుతం లభిస్తోందని కాదు.

పక్కన ఉంచిన మూల్యాంకన డేటా పోలిక ఏం చెబుతోంది

Microsoft ముందుగా శిక్షణ పొందిన మోడళ్లను పక్కన ఉంచిన పాఠ్యంపై BPBతో మూల్యాంకనం చేస్తోంది. ఇది ఒక్కో బైట్‌కు అంచనా లాస్‌ను తెలియజేస్తూ, టోకెనైజర్‌పై ఆధారపడే స్కోరును నివారిస్తుంది. నివేదిక కోడ్, STEM, గణితం, ప్రశ్నోత్తరాల మూల్యాంకనాలను పేర్కొంటోంది. కోడ్ సెట్ MAI సొంత కోడ్‌బేస్ నుంచి వచ్చిందని, మిగిలిన సెట్‌లను Microsoft సరఫరాదారులతో తయారు చేయించిందని చెబుతోంది. నాలుగు సెట్‌లలో తన శిక్షణ డేటాతో కలుషితాన్ని తొలగించామని Microsoft చెబుతోంది. ఇవి మూల్యాంకనం చేసేవారు వివరించిన రక్షణ చర్యలే; స్వతంత్రంగా పునరావృతం చేసిన డేటా ఆడిట్ కాదు.

ఈ సెట్‌లపై పరీక్షించిన ప్రతి మోడల్ కంటే MAI-Base-2కు తక్కువ BPB ఉందని Microsoft నివేదిస్తోంది. చెక్‌పాయింట్ల మధ్య తేడా ముఖ్యం. తన శిక్షణ పద్ధతికి సూచనగా Microsoft ఉపయోగించే DeepSeek-V4-Pro-Base విడుదలైన బేస్ మోడల్. కేవలం పోస్ట్-ట్రైనింగ్ చేసిన చెక్‌పాయింట్లు మాత్రమే Kimi K3, Qwen3.8-2.4T-A95B, MiMo-V2.6-Pro-RL కోసం అందుబాటులో ఉన్నాయని Microsoft చెబుతోంది; పోస్ట్-ట్రైనింగ్ ఈ మూల్యాంకనాలపై ప్రభావం చూపవచ్చని అంగీకరిస్తోంది. కాబట్టి బేస్, పోస్ట్-ట్రైనింగ్ మోడళ్ల BPB చార్ట్ నాలుగు ప్రత్యర్థుల ప్రీట్రైనింగ్ పద్ధతులపై నియంత్రిత పోలిక కాదు. నివేదిక OpenAI చెక్‌పాయింట్ పరీక్షను ఇవ్వడం లేదు; అందువల్ల MAI-Base-2 ఒక OpenAI మోడల్‌ను మించిందనే వాదనకు ఆధారం కాదు.

BPB సమాధానం ఇచ్చే ప్రశ్న అసిస్టెంట్ ఉపయోగకరతకు భిన్నమైనది. అది ఎంచుకున్న పక్కన ఉంచిన సమాచారంపై లాస్‌ను కొలుస్తుంది; సూచనల పాటింపు, పోస్ట్-ట్రైనింగ్ తరువాత తర్కం, ఆలస్యం, భద్రత లేదా అప్లికేషన్ నిర్వహణ ఖర్చును కాదు. MAI-Base-2 ఇంకా పోస్ట్-ట్రైనింగ్‌లో ఉందని Microsoft చెబుతోంది; నివేదిక బహిరంగ వెయిట్లు, ఇన్‌ఫరెన్స్ ఎండ్‌పాయింట్, ధరలు లేదా కస్టమర్ ఫలితాలను అందించడం లేదు.

గణన సామర్థ్య పరిధి ఎక్కడి నుంచి వచ్చింది

4.2–12.3× వాదన సరిపోల్చిన స్కేలింగ్ వక్రరేఖల నుంచి వచ్చింది. తన పరిమాణాలవారీ ప్రయోగశ్రేణి, తెలిసిన తుది MAI-Base-2 ఫలితాన్ని ఉపయోగించి, Microsoft నాలుగు మూల్యాంకనాల్లో ప్రతిదానికి BPB వర్సెస్ శిక్షణ FLOPs వక్రరేఖను విడిగా సరిపోల్చింది. తరువాత DeepSeek-V4-Pro-Base BPBతో సమాన స్థాయికి రావడానికి తన పద్ధతికి ఎంత గణన అవసరమో అంచనా వేసి, దాన్ని సూచన మోడల్ నివేదించిన శిక్షణ గణనతో పోల్చింది. సమాన స్థాయి బిందువులు తన సరిపోల్చిన మోడల్ పరిధిలోనే ఉన్నాయని, దాని వెలుపలికి విస్తరించిన అంచనాలు కావని Microsoft చెబుతోంది.

ఈ పరిధి ఆ మూల్యాంకనాల్లో Microsoft పద్ధతికి సంబంధించిన సమాన లాస్ ఆధారిత అంచనా మాత్రమే. అది MAI-Base-2 అసలు శిక్షణ బిల్లులో కొలిచిన తగ్గింపు కాదు, ఇన్‌ఫరెన్స్ వేగం పెరుగుదల కాదు, మరో ప్రయోగశాలకు అదే ఫలితం వస్తుందనే రుజువూ కాదు. తన MAI-Base-1తో పోలిస్తే 6.3–12.7× FLOPs సామర్థ్య మెరుగుదలను కూడా Microsoft అంచనా వేసి నివేదిస్తోంది. రెండు సందర్భాల్లోనూ సంఖ్యను అర్థం చేసుకోవడానికి ఎంచుకున్న సూచన, మూల్యాంకన సెట్, వక్రరేఖ సరిపోల్చిన విధానం పాఠకుడికి అవసరం.

ప్రధాన శిక్షణ నిర్వహణ కోసం Microsoft మరో రెండు సంఖ్యలను ఇస్తోంది: సగటు మోడల్ FLOPs వినియోగం (MFU) 21%, goodput 89%. ఇక్కడ goodput అంటే శిక్షణ ముందుకు సాగిన సమయపు వాటా. నివేదిక BF16లో ఒక్కో GB200కు సైద్ధాంతిక 2.5 PFLOPSను ఆధారంగా తీసుకుని MFUను సాధారణీకరిస్తోంది; రీమటీరియలైజేషన్, ఆప్టిమైజర్ FLOPsను మినహాయిస్తోంది. MFU అంటే ఆ సైద్ధాంతిక గణన సామర్థ్యంలో శిక్షణ గణన ఎంత ఉపయోగించిందన్నది; goodput అంటే గడిచిన సమయంలో అంతరాయాలు, పురోగతి. రెండింటిలో ఏదీ సమాన BPB వద్ద FLOPs సామర్థ్య నిష్పత్తి కాదు. రూపకల్పన ఎంపికలను పరీక్షించేటప్పుడు శిక్షణ FLOPsతో కొలిచిన లాభాలు, వాస్తవంగా గడిచిన సమయంతో కొలిచిన లాభాలను Microsoft స్పష్టంగా వేరు చేస్తోంది.

ఫలితాన్ని ఇచ్చిందని Microsoft చెబుతున్న పద్ధతి

నివేదిక సాధ్యంగా అనిపించే యంత్రాంగాలతో పాటు ఆధారాల పరిమితులను వివరిస్తోంది. పరిమాణాలవారీ ప్రయోగశ్రేణిలో చిన్న శిక్షణల్లోని ప్రత్యేక నమూనాలను పరిమితం చేసి, పూర్తి శిక్షణలో ఉన్నన్ని సార్లే డేటాసెట్‌లు పునరావృతమయ్యేలా చేస్తోంది. పెద్ద స్థాయిలో ఓవర్‌ఫిట్ అయ్యే ఎంపికలకు చిన్న ప్రయోగాలు ప్రాధాన్యం ఇవ్వకుండా ఇది నిరోధించిందని Microsoft చెబుతోంది. లెర్నింగ్ రేట్, వెయిట్ డికే, డ్రాపౌట్‌కు అనుభవాధారిత స్కేలింగ్ నియమాలను కూడా వివరిస్తూ, పూర్తి శిక్షణకు ముందు మధ్యస్థ మోడల్ పరిమాణంలో పరీక్షించినట్లు చెబుతోంది.

స్పార్స్ మోడల్‌లో నిపుణుల రూటింగ్, స్థిర మెమరీ సామర్థ్యం, సమూహ కమ్యూనికేషన్‌లో మార్పులు MoE పొరల MFUను 24% నుంచి 35%కు పెంచి, ప్రతి పొరలో MoE వాడటానికి వీలు కల్పించాయని Microsoft చెబుతోంది. ఇది భాగస్థాయి అంతర్గత కొలత; మొత్తం 38 రోజుల శిక్షణకు ఉన్న 21% సగటు MFUను సూచించేది కాదు. ఆప్టిమైజర్ పనితో Muonకు 165 మిల్లీసెకండ్లు, అంటే సగటు శిక్షణ పునరావృతంలో 2.1% సమయం పట్టిందని, శిక్షణ స్థిరీకరణకు యాక్టివేషన్-గ్రేడియంట్ క్లిప్పింగ్ వాడినట్లు నివేదిక వివరిస్తోంది. ప్రత్యేక టోకెన్ల కార్పస్ MAI-Base-1తో పోలిస్తే సుమారు 36% పెరిగిందని డేటా విభాగం చెబుతోంది. 4.5 ట్రిలియన్ ప్రత్యేక విజన్-లాంగ్వేజ్ టోకెన్లను నివేదిస్తోంది; పునరావృతంతో కలిపి విజన్-లాంగ్వేజ్ డేటా 50 ట్రిలియన్ టోకెన్ల శిక్షణ మిశ్రమంలో 18%గా ఉంది.

ఈ వివరాలు Microsoft భారీ స్థాయిని ఎలా ఎదుర్కొందో తెలిపే ఉపయోగకరమైన ఇంజినీరింగ్ వివరణగా పత్రాన్ని నిలుపుతున్నాయి. స్వతంత్రంగా పునరావృతం చేసిన శిక్షణల ద్వారా ప్రతి మార్పు కారణాత్మక తోడ్పాటును అవి విడదీయడం లేదు. ఫలితానికి డేటా నాణ్యత, మోడలింగ్ ఎంపికలను Microsoft కారణాలుగా చెబుతోంది; బయటి బృందాలు నివేదిక ఒక్కటితోనే ఆ ప్రభావాలను నిర్ధారించలేవు. తక్షణ ఆధారాలు పూర్తయిన బేస్ మోడల్, Microsoft ఎంచుకున్న పక్కన ఉంచిన డేటాపై లాస్‌లు, వక్రరేఖల ఆధారిత పద్ధతి సామర్థ్య విశ్లేషణ. ఉత్పత్తి పనితీరు తరువాతి చెక్‌పాయింట్‌లో విడిగా కొలవాల్సిన అంశంగానే ఉంటుంది.

మూలాలు, మరింత చదవడానికి

  • Microsoft AI, ‘Microsoft AIలో అత్యాధునిక ప్రీట్రైనింగ్’, అక్టోబర్ 15, 2026. నిర్మాణం, శిక్షణ నిర్వహణ, పక్కన ఉంచిన డేటాపై BPB పోలికలు, వక్రరేఖల ఆధారిత గణన సామర్థ్య పరిధులు, వినియోగం, డేటా, ప్రకటించిన విడుదల దశకు సంస్థ సొంత సాంకేతిక నివేదిక. ఇక్కడి కొలతలు, అమలు ప్రభావాలన్నీ Microsoft నివేదించినవే; BIG CHANGE శిక్షణను పునరావృతం చేయలేదు లేదా MAI-Base-2ను మూల్యాంకనం చేయలేదు.