Markdown संस्करण

AI-translated from English; not yet reviewed by a fluent editor.

# Microsoft की MAI-Base-2 रिपोर्ट पूर्व-प्रशिक्षण मापती है, जारी किया गया मॉडल नहीं

> Microsoft ने MAI-Base-2 के अलग रखे गए मूल्यांकन पाठ के नतीजे और वक्रों के फिट से निकले प्रशिक्षण दक्षता के अनुमान दिए हैं। मूल मॉडल अभी पोस्ट-ट्रेनिंग में है और परखने के लिए कोई सार्वजनिक चेकपॉइंट नहीं है।

By BIG CHANGE Editorial

Published: 2026-10-16T16:13:14.938Z
Updated: 2026-10-16T16:13:14.938Z
Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report

![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result.

Microsoft AI का कहना है कि उसने MAI-Base-2 का पूर्व-प्रशिक्षण पूरा कर लिया है। यह 80 अरब सक्रिय और कुल 2.8 ट्रिलियन पैरामीटर वाला mixture-of-experts मॉडल है। उसकी [15 अक्टूबर की तकनीकी रिपोर्ट](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) अगस्त और सितंबर 2026 में 16,000 GB200 GPU पर चले 38 दिन के प्रशिक्षण का विवरण देती है। नतीजे का आकलन करने वाले इंजीनियरों के लिए उपयोगी सवाल मॉडल रैंकिंग से अधिक सीमित है: पोस्ट-ट्रेनिंग और सार्वजनिक पहुँच से पहले यह रिपोर्ट क्या मापती है?

जवाब के दो हिस्से हैं। Microsoft के मुताबिक अलग रखे गए मूल्यांकन की चार श्रेणियों में बिट प्रति बाइट (BPB), उसके परखे गए चेकपॉइंट से कम था। अलग से, अपने विभिन्न आकारों के प्रयोगों पर फिट किए वक्रों के आधार पर वह अनुमान लगाती है कि समान BPB तक पहुँचने के लिए उसकी प्रशिक्षण विधि को DeepSeek-V4-Pro-Base से 4.2–12.3 गुना कम प्रशिक्षण FLOPs चाहिए। ये अलग निष्कर्ष हैं, जिनकी सीमाएँ भी अलग हैं।

## बड़ा बदलाव

- **क्या बदला:** Microsoft ने बड़े पैमाने के मूल मॉडल का प्रशिक्षण पूरा होने की जानकारी दी है, साथ में अलग रखे गए पाठ पर मूल्यांकन और प्रशिक्षण विधि का विस्तृत विवरण है। MAI-Base-2 अभी पोस्ट-ट्रेनिंग में है।
- **यह क्यों मायने रखता है:** इंजीनियर देख सकते हैं कि Microsoft मॉडल की गुणवत्ता को प्रशिक्षण गणना से कैसे जोड़ती है और डेटा, आर्किटेक्चर तथा बुनियादी ढाँचे के किन चुनावों का योगदान बताती है। प्रमाण पूर्व-प्रशिक्षण लॉस और Microsoft के आंतरिक माप से संबंधित हैं; किसी काम के भार पर जाँचने के लिए सार्वजनिक MAI-Base-2 इन्फरेंस सेवा या जारी चेकपॉइंट नहीं है।
- **किन बातों पर नज़र रखें:** पोस्ट-ट्रेनिंग के नतीजे और पहुँच की शर्तें तय करेंगी कि यह आधार उत्पादों या बाहरी टीमों के लिए उपयोगी बनता है या नहीं। Foundry के ज़रिए वेट्स का लाइसेंस देने की Microsoft की बताई योजना भविष्य की पेशकश है, वर्तमान उपलब्धता नहीं।

## अलग रखे गए डेटा की तुलना क्या बताती है

Microsoft पूर्व-प्रशिक्षित मॉडलों को अलग रखे गए पाठ पर BPB से परखती है। यह प्रति बाइट पूर्वानुमान का लॉस बताता है और टोकनाइज़र पर निर्भर स्कोर से बचता है। रिपोर्ट में कोड, STEM, गणित और सवाल-जवाब के मूल्यांकन हैं। उसके अनुसार कोड सेट MAI के अपने कोडबेस से आता है, जबकि बाकी सेट Microsoft ने विक्रेताओं से बनवाए; Microsoft का कहना है कि उसने चारों को अपने प्रशिक्षण डेटा के संदर्भ में दूषण से मुक्त किया। ये मूल्यांकन करने वाले की बताई सावधानियाँ हैं, स्वतंत्र रूप से दोहराया गया डेटा ऑडिट नहीं।

इन सेट पर Microsoft के मुताबिक MAI-Base-2 का BPB हर परखे गए मॉडल से कम है। चेकपॉइंट के प्रकार का अंतर महत्त्वपूर्ण है। DeepSeek-V4-Pro-Base वह जारी किया गया *मूल* मॉडल है जिसे Microsoft अपनी विधि का संदर्भ बनाती है। Microsoft का कहना है कि केवल *पोस्ट-ट्रेनिंग किए गए* चेकपॉइंट Kimi K3, Qwen3.8-2.4T-A95B और MiMo-V2.6-Pro-RL के लिए उपलब्ध थे। वह मानती है कि पोस्ट-ट्रेनिंग इन मूल्यांकनों को प्रभावित कर सकती है। इसलिए मूल बनाम पोस्ट-ट्रेनिंग मॉडल का BPB चार्ट चारों प्रतिद्वंद्वियों की पूर्व-प्रशिक्षण विधियों की नियंत्रित तुलना नहीं है। रिपोर्ट में OpenAI चेकपॉइंट का परीक्षण नहीं है, इसलिए यह MAI-Base-2 के किसी OpenAI मॉडल से बेहतर होने के दावे का आधार नहीं देती।

BPB का सवाल सहायक की उपयोगिता से भी अलग है। यह चुने गए अलग रखे हुए पाठ का लॉस मापता है, न कि निर्देशों का पालन, पोस्ट-ट्रेनिंग के बाद तर्क, विलंब, सुरक्षा या किसी ऐप का परिचालन खर्च। Microsoft के मुताबिक MAI-Base-2 की पोस्ट-ट्रेनिंग अभी जारी है; रिपोर्ट सार्वजनिक वेट्स, इन्फरेंस एंडपॉइंट, कीमत या ग्राहकों के परिणाम नहीं देती।

## गणना दक्षता का दायरा कहाँ से आया

4.2–12.3× का दावा फिट किए गए स्केलिंग वक्रों से आता है। Microsoft ने अपने विभिन्न आकारों के प्रयोगों और MAI-Base-2 के ज्ञात अंतिम नतीजे का उपयोग करके चारों मूल्यांकनों में हर एक के लिए अलग BPB बनाम प्रशिक्षण FLOPs वक्र फिट किया। फिर उसने अनुमान लगाया कि DeepSeek-V4-Pro-Base के BPB से बराबरी करने के लिए उसकी विधि को कितनी गणना चाहिए और इस अनुमान की तुलना संदर्भ मॉडल की बताई प्रशिक्षण गणना से की। Microsoft के मुताबिक बराबरी के बिंदु फिट किए गए मॉडल के दायरे के भीतर हैं, उससे बाहर तक बहिर्वेशन नहीं किए गए हैं।

यह दायरा उन मूल्यांकनों में Microsoft की विधि के लिए *समान लॉस पर अनुमान* है। यह MAI-Base-2 के असली प्रशिक्षण बिल में मापी गई कमी, इन्फरेंस की गति में बढ़ोतरी या किसी दूसरी प्रयोगशाला के वही नतीजे पाने का प्रमाण नहीं है। Microsoft अपने MAI-Base-1 के मुकाबले अनुमानित 6.3–12.7× FLOPs दक्षता सुधार भी बताती है। दोनों मामलों में संख्या समझने के लिए पाठक को चुना गया संदर्भ, मूल्यांकन सेट और फिटिंग विधि जाननी होगी।

Microsoft मुख्य प्रशिक्षण रन के दो और आँकड़े देती है: औसत मॉडल FLOPs उपयोग (MFU) 21% और goodput 89%; यहाँ goodput का अर्थ उस समय का हिस्सा है जब प्रशिक्षण आगे बढ़ा। रिपोर्ट BF16 में प्रति GB200 सैद्धांतिक 2.5 PFLOPS के आधार पर MFU को सामान्यीकृत करती है और rematerialization तथा ऑप्टिमाइज़र FLOPs को बाहर रखती है। MFU बताता है कि प्रशिक्षण गणना ने उस सैद्धांतिक क्षमता का कितना इस्तेमाल किया; goodput बीते समय में रुकावटों और प्रगति से संबंधित है। दोनों में से कोई भी समान BPB वाला FLOPs दक्षता अनुपात नहीं है। डिज़ाइन चुनावों का आकलन करते समय Microsoft प्रशिक्षण FLOPs में मापे गए लाभ और वास्तव में बीते समय में मापे गए लाभ के बीच स्पष्ट अंतर करती है।

## जिस विधि से नतीजा मिला, Microsoft के अनुसार

रिपोर्ट संभावित रूप से उचित तंत्रों के साथ प्रमाण की सीमाएँ भी बताती है। विभिन्न आकारों के प्रयोगों में छोटे रन के अनूठे नमूनों को सीमित रखा जाता है, ताकि डेटासेट उतनी ही बार दोहराए जाएँ जितनी पूरे रन में। Microsoft के मुताबिक इससे छोटे प्रयोग उन चुनावों को तरजीह नहीं दे पाए जो बड़े पैमाने पर ओवरफिट होते। इसमें लर्निंग रेट, वेट डिके और ड्रॉपआउट के अनुभव-आधारित स्केलिंग नियम भी हैं, जिन्हें पूरे रन से पहले मध्यम आकार के मॉडल पर जाँचा गया।

स्पार्स मॉडल में Microsoft के मुताबिक एक्सपर्ट रूटिंग, तय मेमोरी क्षमता और समूहबद्ध संचार में बदलावों ने MoE लेयर का MFU 24% से 35% किया, जिससे हर लेयर में MoE लगाना संभव हुआ। यह घटक स्तर का आंतरिक माप है, पूरे 38 दिन के रन का 21% औसत MFU नहीं। रिपोर्ट ऑप्टिमाइज़र पर किए काम का विवरण देती है, जिसके बाद Muon का समय 165 मिलीसेकंड, यानी औसत प्रशिक्षण इटरेशन का 2.1%, रहा; प्रशिक्षण स्थिर रखने के लिए एक्टिवेशन-ग्रेडियंट क्लिपिंग भी इस्तेमाल हुई। डेटा खंड के अनुसार अनूठे टोकन का कॉर्पस MAI-Base-1 से लगभग 36% बढ़ा। वह 4.5 ट्रिलियन अनूठे विज़न-लैंग्वेज टोकन बताती है; दोहराव सहित विज़न-लैंग्वेज डेटा 50 ट्रिलियन टोकन के प्रशिक्षण मिश्रण का 18% था।

ये विवरण Microsoft के बड़े पैमाने के काम का उपयोगी इंजीनियरिंग वृत्तांत बनाते हैं। वे स्वतंत्र रूप से दोहराए गए रन के ज़रिए हर बदलाव के कारणात्मक योगदान को अलग नहीं करते। Microsoft नतीजे का श्रेय डेटा की गुणवत्ता और मॉडलिंग चुनावों को देती है; बाहरी टीमें सिर्फ रिपोर्ट से उन प्रभावों की पुष्टि नहीं कर सकतीं। तुरंत उपलब्ध प्रमाण पूरा हुआ मूल मॉडल, Microsoft का चुना गया अलग रखे गए डेटा पर लॉस और फिट किए वक्रों पर आधारित विधि-दक्षता का विश्लेषण हैं। उत्पाद का प्रदर्शन बाद के चेकपॉइंट के लिए अलग माप बना रहता है।

## स्रोत और आगे पढ़ें

- [Microsoft AI, ‘Microsoft AI में अत्याधुनिक पूर्व-प्रशिक्षण’](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/), 15 अक्टूबर, 2026। आर्किटेक्चर, प्रशिक्षण रन, अलग रखे गए डेटा पर BPB तुलना, फिट किए वक्रों से गणना-दक्षता के दायरे, उपयोग, डेटा और बताई रिलीज़ अवस्था की कंपनी की अपनी तकनीकी रिपोर्ट। यहाँ के सभी माप और कार्यान्वयन प्रभाव Microsoft के बताए हुए हैं; BIG CHANGE ने प्रशिक्षण दोहराया या MAI-Base-2 का मूल्यांकन नहीं किया।

## Sources

- [Microsoft AI: Microsoft AI में अत्याधुनिक पूर्व-प्रशिक्षण](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — कंपनी की अपनी तकनीकी रिपोर्ट; सभी मात्रात्मक दावों और कार्यान्वयन विवरणों का स्रोत। प्रदर्शन और तंत्र Microsoft के बताए हैं, स्वतंत्र रूप से दोहराए गए नहीं।