Microsoft AI सांगते की 80 अब्ज सक्रिय आणि एकूण 2.8 ट्रिलियन पॅरामीटर्स असलेल्या mixture-of-experts मॉडेल MAI-Base-2 चे पूर्वप्रशिक्षण पूर्ण झाले आहे. त्याचा 15 ऑक्टोबरचा तांत्रिक अहवाल ऑगस्ट आणि सप्टेंबर 2026 मध्ये 16,000 GB200 GPU वर चाललेल्या 38 दिवसांच्या प्रशिक्षणाचे वर्णन करतो. निकाल तपासणाऱ्या अभियंत्यांसाठी उपयुक्त प्रश्न मॉडेल क्रमवारीपेक्षा नेमका आहे: उत्तरप्रशिक्षण आणि सार्वजनिक प्रवेशापूर्वी हा अहवाल काय मोजतो?

उत्तराचे दोन भाग आहेत. Microsoft ने चाचणी केलेल्या चेकपॉइंट्सपेक्षा चार राखीव मूल्यमापन प्रकारांत प्रति बाइट बिट्स (BPB) कमी असल्याचे सांगितले आहे. स्वतंत्रपणे, स्वतःच्या विविध आकारांच्या प्रयोगांना जुळवलेल्या वक्रांच्या आधारे समान BPB गाठण्यासाठी आपल्या प्रशिक्षण पद्धतीला DeepSeek-V4-Pro-Base पेक्षा 4.2–12.3 पट कमी प्रशिक्षण FLOPs लागतील असा अंदाज ते देते. हे वेगळे निष्कर्ष आहेत आणि त्यांच्या मर्यादाही वेगळ्या आहेत.

मोठा बदल

  • काय बदलले: Microsoft ने मोठ्या प्रमाणातील बेस मॉडेलचे प्रशिक्षण पूर्ण झाल्याचे सांगून राखीव मजकुरावरील मूल्यमापन आणि प्रशिक्षण पद्धतीचे तपशील दिले आहेत. MAI-Base-2 अजून उत्तरप्रशिक्षणात आहे.
  • हे महत्त्वाचे का: Microsoft मॉडेलची गुणवत्ता आणि प्रशिक्षणातील गणनकाम यांचा संबंध कसा लावते, तसेच डेटा, रचना आणि पायाभूत सुविधांमधील कोणत्या निवडींनी योगदान दिल्याचे सांगते, हे अभियंते तपासू शकतात. पुरावा पूर्वप्रशिक्षणातील लॉस आणि Microsoft च्या अंतर्गत मापनांबद्दल आहे; विशिष्ट कामभारावर चाचणी करण्यासाठी सार्वजनिक MAI-Base-2 इन्फरन्स सेवा किंवा प्रसिद्ध चेकपॉइंट नाही.
  • कशाकडे लक्ष द्यावे: उत्तरप्रशिक्षणाचे निकाल आणि प्रवेशाच्या अटी ठरवतील की ही पायाभूत क्षमता उत्पादनांत किंवा बाहेरील टीमना उपयोगी ठरते का. Foundry द्वारे वेट्सचा परवाना देण्याचा Microsoft चा सांगितलेला विचार ही भविष्यातील ऑफर आहे, सध्याची उपलब्धता नाही.

राखीव मूल्यमापनाची तुलना काय सांगते

Microsoft पूर्वप्रशिक्षित मॉडेलचे राखून ठेवलेल्या मजकुरावर BPB ने मूल्यमापन करते. यात प्रति बाइट अंदाजाचा लॉस व्यक्त होतो आणि टोकनायझरवर अवलंबून गुण टाळले जातात. अहवाल कोड, STEM, गणित आणि प्रश्नोत्तरांचे मूल्यमापन सांगतो. कोडचा संच MAI च्या स्वतःच्या कोडबेसमधून आला आणि इतर संच Microsoft ने पुरवठादारांकडून बनवून घेतले, असे तो सांगतो; प्रशिक्षण डेटाशी होणारे दूषण चारही संचांतून काढल्याचे Microsoft म्हणते. या मूल्यमापन करणाऱ्याने सांगितलेल्या खबरदारीच्या उपाययोजना आहेत, स्वतंत्रपणे पुनरुत्पादित केलेले डेटा ऑडिट नाही.

या संचांवर MAI-Base-2 चा BPB चाचणी केलेल्या प्रत्येक मॉडेलपेक्षा कमी असल्याचे Microsoft सांगते. चेकपॉइंटमधील फरक महत्त्वाचा आहे. DeepSeek-V4-Pro-Base हे Microsoft आपल्या प्रशिक्षण पद्धतीचा संदर्भ म्हणून वापरत असलेले प्रसिद्ध बेस मॉडेल आहे. Kimi K3, Qwen3.8-2.4T-A95B आणि MiMo-V2.6-Pro-RL साठी केवळ उत्तरप्रशिक्षित चेकपॉइंट उपलब्ध होते, असे Microsoft सांगते आणि उत्तरप्रशिक्षणाचा या मूल्यमापनांवर परिणाम होऊ शकतो हे मान्य करते. त्यामुळे बेस विरुद्ध उत्तरप्रशिक्षित मॉडेलचा BPB आलेख चारही प्रतिस्पर्ध्यांच्या पूर्वप्रशिक्षण पद्धतींची नियंत्रित तुलना नाही. अहवालात OpenAI चेकपॉइंटची चाचणी नाही, म्हणून MAI-Base-2 हे OpenAI मॉडेलला मागे टाकते असा दावा करण्यास आधार मिळत नाही.

BPB सहाय्यकाच्या उपयोगीपणापेक्षा वेगळ्या प्रश्नाचे उत्तरही देतो. तो निवडलेल्या राखीव सामग्रीवरील लॉस मोजतो; सूचनांचे पालन, उत्तरप्रशिक्षणानंतरचे तर्कशास्त्रीय काम, विलंब, सुरक्षितता किंवा ॲपचा चालवण्याचा खर्च मोजत नाही. MAI-Base-2 चे अजून उत्तरप्रशिक्षण सुरू असल्याचे Microsoft सांगते; अहवाल सार्वजनिक वेट्स, इन्फरन्स एंडपॉइंट, किंमत किंवा ग्राहकांचे परिणाम देत नाही.

गणनकार्यक्षमतेची श्रेणी कुठून आली

4.2–12.3× चा दावा जुळवलेल्या स्केलिंग वक्रांमधून येतो. Microsoft ने स्वतःची आकारानुसार प्रयोगमालिका आणि MAI-Base-2 चा ज्ञात अंतिम निकाल वापरून चारही मूल्यमापनांसाठी स्वतंत्र BPB विरुद्ध प्रशिक्षण FLOPs वक्र जुळवला. नंतर DeepSeek-V4-Pro-Base च्या BPB शी बरोबरी साधण्यासाठी आपल्या पद्धतीला किती गणनकाम लागेल याचा अंदाज काढून, तो संदर्भ मॉडेलच्या सांगितलेल्या प्रशिक्षण गणनकामाशी तुलना केला. हे बरोबरीचे बिंदू जुळवलेल्या मॉडेलच्या कक्षेत आहेत; त्यापलीकडील बहिर्वेशन नाही, असे Microsoft सांगते.

ही श्रेणी त्या मूल्यमापनांवर Microsoft च्या पद्धतीसाठी समान लॉसवरील अंदाज आहे. ती MAI-Base-2 च्या प्रत्यक्ष प्रशिक्षण बिलातील मोजलेली घट, इन्फरन्समधील वेगवाढ किंवा दुसऱ्या प्रयोगशाळेला तोच निकाल मिळेल याचा पुरावा नाही. स्वतःच्या MAI-Base-1 च्या तुलनेत FLOPs कार्यक्षमतेत अंदाजे 6.3–12.7× वाढ झाल्याचेही Microsoft सांगते. दोन्ही बाबतीत आकडा समजण्यासाठी वाचकाला निवडलेला संदर्भ, मूल्यमापन संच आणि वक्र जुळवण्याची पद्धत माहीत असणे गरजेचे आहे.

Microsoft मुख्य प्रशिक्षणासाठी आणखी दोन आकडे देते: मॉडेलचे सरासरी FLOPs उपयोगाचे प्रमाण (MFU) 21% आणि goodput 89%. येथे goodput म्हणजे ज्या वेळेत प्रशिक्षण पुढे सरकले त्या वेळेचा हिस्सा. अहवाल BF16 मध्ये प्रति GB200 सैद्धांतिक 2.5 PFLOPS च्या आधारावर MFU सामान्यीकृत करतो आणि rematerialization व ऑप्टिमायझरचे FLOPs वगळतो. MFU म्हणजे प्रशिक्षण गणनेने त्या सैद्धांतिक क्षमतेचा किती वापर केला; goodput म्हणजे एकूण गेलेल्या वेळेत व्यत्यय आणि प्रगती. यापैकी कोणतेही समान BPB वरील FLOPs कार्यक्षमतेचे गुणोत्तर नाही. रचनेच्या निवडी तपासताना Microsoft प्रशिक्षण FLOPs ने मोजलेल्या सुधारणा आणि प्रत्यक्ष गेलेल्या वेळेने मोजलेल्या सुधारणा स्पष्टपणे वेगळ्या करते.

ज्या पद्धतीने निकाल मिळाल्याचे Microsoft सांगते

अहवाल विश्वासार्ह वाटणाऱ्या यंत्रणांसह पुराव्याच्या मर्यादाही देतो. आकारानुसार प्रयोगमालिकेत लहान प्रशिक्षणांतील अद्वितीय नमुने मर्यादित ठेवले जातात, जेणेकरून डेटासंच पूर्ण प्रशिक्षणाइतक्याच वेळा पुनरावृत्त होतील. त्यामुळे मोठ्या प्रमाणात ओव्हरफिट होणाऱ्या निवडींना लहान प्रयोगांत प्राधान्य मिळाले नाही, असे Microsoft सांगते. लर्निंग रेट, वेट डिके आणि ड्रॉपआउटच्या अनुभवाधारित स्केलिंग नियमांचेही वर्णन आहे; पूर्ण प्रशिक्षणापूर्वी मध्यम आकाराच्या मॉडेलवर ते तपासले होते.

विरळ मॉडेलमध्ये एक्स्पर्ट राउटिंग, निश्चित मेमरी क्षमता आणि गटबद्ध संप्रेषणातील बदलांमुळे MoE स्तरांचा MFU 24% वरून 35% झाला आणि प्रत्येक स्तरात MoE वापरता आले, असे Microsoft सांगते. हे घटकपातळीवरील अंतर्गत मापन आहे, संपूर्ण 38 दिवसांच्या प्रशिक्षणाचा 21% सरासरी MFU नव्हे. ऑप्टिमायझरवरील कामानंतर Muon ला 165 मिलिसेकंद, म्हणजे सरासरी प्रशिक्षण आवर्तनाच्या 2.1% वेळ लागला, तसेच प्रशिक्षण स्थिर करण्यासाठी ॲक्टिव्हेशन-ग्रेडियंट क्लिपिंग वापरले, असे अहवाल सांगतो. डेटा विभागानुसार अद्वितीय टोकन्सचा कॉर्पस MAI-Base-1 पासून सुमारे 36% वाढला. तो 4.5 ट्रिलियन अद्वितीय दृश्य-भाषा टोकन्स सांगतो; पुनरावृत्तीसह दृश्य-भाषा डेटा 50 ट्रिलियन टोकन्सच्या प्रशिक्षण मिश्रणाचा 18% होता.

हे तपशील Microsoft ने मोठ्या प्रमाणाचा प्रश्न कसा हाताळला याचा उपयुक्त अभियांत्रिकी वृत्तांत बनवतात. स्वतंत्रपणे पुनरुत्पादित प्रशिक्षणांतून प्रत्येक बदलाचे कारणात्मक योगदान ते वेगळे काढत नाहीत. Microsoft निकालाचे श्रेय डेटाची गुणवत्ता आणि मॉडेलिंगच्या निवडींना देते; बाहेरील टीम केवळ अहवालावरून ते परिणाम सिद्ध करू शकत नाहीत. तत्काळ उपलब्ध पुरावा म्हणजे पूर्ण झालेले बेस मॉडेल, Microsoft चे निवडलेल्या राखीव सामग्रीवरील लॉस आणि वक्र जुळवून केलेले प्रशिक्षण पद्धतीच्या कार्यक्षमतेचे विश्लेषण. उत्पादनाची कामगिरी हे पुढील चेकपॉइंटसाठी वेगळे मापन राहते.

स्रोत आणि अधिक वाचन

  • Microsoft AI, ‘Microsoft AI मधील अग्रसीमेचे पूर्वप्रशिक्षण’, 15 ऑक्टोबर 2026. रचना, प्रशिक्षण, राखीव BPB तुलना, वक्रांवर आधारित गणनकार्यक्षमतेच्या श्रेणी, उपयोग, डेटा आणि सांगितलेला प्रकाशन टप्पा यांचा कंपनीचा स्वतःचा तांत्रिक अहवाल. येथील सर्व मापने आणि अंमलबजावणीचे परिणाम Microsoft ने सांगितलेले आहेत; BIG CHANGE ने प्रशिक्षणाची पुनरावृत्ती केली नाही किंवा MAI-Base-2 चे मूल्यमापन केले नाही.