Microsoft AI کا کہنا ہے کہ اس نے MAI-Base-2 کی ابتدائی تربیت مکمل کر لی ہے۔ یہ ماہرین کے امتزاج کا ماڈل ہے جس میں 80 ارب فعال اور مجموعی طور پر 2.8 ٹریلین پیرامیٹر ہیں۔ اس کی 15 اکتوبر کی تکنیکی رپورٹ اگست اور ستمبر 2026 میں 16,000 GB200 GPU پر چلنے والی 38 روزہ تربیت بیان کرتی ہے۔ نتیجہ جانچنے والے انجینئروں کے لیے مفید سوال ماڈل کی درجہ بندی سے زیادہ محدود ہے: بعد کی تربیت اور عوامی رسائی سے پہلے رپورٹ کیا ناپتی ہے؟

جواب کے دو حصے ہیں۔ Microsoft نے الگ رکھے گئے چار جائزہ جاتی زمروں میں فی بائٹ بٹس (BPB) کو آزمائے گئے چیک پوائنٹس سے کم بتایا ہے۔ الگ سے، اپنے مختلف پیمانوں کے تجربات پر فٹ کیے گئے منحنی خطوط سے وہ تخمینہ لگاتی ہے کہ یکساں BPB حاصل کرنے کے لیے اس کے تربیتی طریقے کو DeepSeek-V4-Pro-Base کے مقابلے میں 4.2–12.3 گنا کم تربیتی FLOPs درکار ہیں۔ یہ الگ نتائج ہیں جن کی حدود بھی مختلف ہیں۔

بڑی تبدیلی

  • کیا بدلا: Microsoft نے بڑے پیمانے کے بنیادی ماڈل کی تربیت مکمل ہونے کی اطلاع دی ہے، ساتھ الگ رکھے گئے متن کے جائزے اور تربیتی طریقے کی مفصل وضاحت بھی دی ہے۔ MAI-Base-2 ابھی بعد کی تربیت میں ہے۔
  • یہ اہم کیوں ہے: انجینئر جانچ سکتے ہیں کہ Microsoft ماڈل کے معیار کو تربیتی حساب سے کیسے جوڑتی ہے اور ڈیٹا، ساخت اور بنیادی ڈھانچے کی کن ترجیحات کو مددگار بتاتی ہے۔ شواہد ابتدائی تربیت کے لاس اور Microsoft کی اندرونی پیمائشوں کے بارے میں ہیں؛ کسی کام کے بوجھ پر آزمانے کے لیے عوامی MAI-Base-2 انفرینس سروس یا جاری چیک پوائنٹ موجود نہیں۔
  • کن باتوں پر نظر رکھیں: بعد کی تربیت کے نتائج اور رسائی کی شرائط طے کریں گی کہ یہ بنیاد مصنوعات یا بیرونی ٹیموں کے لیے مفید بنتی ہے یا نہیں۔ Foundry کے ذریعے ویٹس کا لائسنس دینے کا Microsoft کا بیان کردہ منصوبہ مستقبل کی پیشکش ہے، موجودہ دستیابی نہیں۔

الگ رکھے گئے ڈیٹا کا موازنہ کیا بتاتا ہے

Microsoft پہلے سے تربیت یافتہ ماڈلز کو الگ رکھے گئے متن پر BPB سے جانچتی ہے۔ یہ فی بائٹ پیش گوئی کا لاس ظاہر کرتا ہے اور ٹوکنائزر پر منحصر اسکور سے بچتا ہے۔ رپورٹ کوڈ، STEM، ریاضی اور سوال جواب کے جائزے گنواتی ہے۔ اس کے مطابق کوڈ سیٹ MAI کے اپنے کوڈبیس سے آتا ہے، جبکہ دوسرے سیٹ Microsoft نے فراہم کنندگان سے بنوائے؛ Microsoft کا کہنا ہے کہ اس نے چاروں کو اپنے تربیتی ڈیٹا کے حوالے سے آلودگی سے پاک کیا۔ یہ جائزہ لینے والے کی بیان کردہ احتیاطیں ہیں، آزادانہ طور پر دہرایا گیا ڈیٹا آڈٹ نہیں۔

ان سیٹوں پر Microsoft کے مطابق MAI-Base-2 کا BPB ہر آزمائے گئے ماڈل سے کم ہے۔ چیک پوائنٹ کی قسم کا فرق اہم ہے۔ DeepSeek-V4-Pro-Base وہ جاری شدہ بنیادی ماڈل ہے جسے Microsoft اپنے طریقے کا حوالہ بناتی ہے۔ Microsoft کا کہنا ہے کہ صرف بعد کی تربیت سے گزرے چیک پوائنٹس Kimi K3، Qwen3.8-2.4T-A95B اور MiMo-V2.6-Pro-RL کے لیے دستیاب تھے؛ وہ تسلیم کرتی ہے کہ بعد کی تربیت ان جائزوں کو متاثر کر سکتی ہے۔ لہٰذا بنیادی بمقابلہ بعد کی تربیت یافتہ ماڈلز کا BPB چارٹ چاروں حریفوں کے ابتدائی تربیتی طریقوں کا قابو شدہ موازنہ نہیں۔ رپورٹ میں OpenAI چیک پوائنٹ کا ٹیسٹ نہیں، اس لیے یہ MAI-Base-2 کے کسی OpenAI ماڈل سے بہتر ہونے کے دعوے کی بنیاد نہیں دیتی۔

BPB کا سوال معاون کی افادیت سے بھی مختلف ہے۔ یہ منتخب الگ رکھے گئے مواد کا لاس ناپتا ہے، نہ کہ ہدایات کی پیروی، بعد کی تربیت کے بعد استدلال، تاخیر، حفاظت یا ایپلی کیشن کی عملی لاگت۔ Microsoft کے مطابق MAI-Base-2 ابھی بعد کی تربیت میں ہے؛ رپورٹ عوامی ویٹس، انفرینس اینڈپوائنٹ، قیمت یا صارفین کے نتائج فراہم نہیں کرتی۔

حسابی کارکردگی کی حد کہاں سے آئی

4.2–12.3× کا دعویٰ فٹ کیے گئے اسکیلنگ منحنی خطوط سے آتا ہے۔ Microsoft نے اپنے مختلف پیمانوں کے تجربات اور MAI-Base-2 کے معلوم آخری نتیجے کی مدد سے چاروں جائزوں میں سے ہر ایک کے لیے الگ BPB بمقابلہ تربیتی FLOPs منحنی خط فٹ کیا۔ پھر تخمینہ لگایا کہ DeepSeek-V4-Pro-Base کے BPB کے برابر پہنچنے کے لیے اس کے طریقے کو کتنی حسابی قوت چاہیے، اور اسے حوالہ ماڈل کی بتائی تربیتی حسابی قوت سے ملایا۔ Microsoft کے مطابق برابر آنے کے نقاط فٹ شدہ ماڈل کی حد کے اندر ہیں، اس سے باہر توسیعی تخمینے نہیں۔

یہ حد ان جائزوں میں Microsoft کے طریقے کے لیے یکساں لاس پر تخمینہ ہے۔ یہ MAI-Base-2 کے اصل تربیتی بل میں ناپی گئی کمی، انفرینس کی رفتار میں اضافہ یا دوسری تجربہ گاہ کو وہی نتیجہ ملنے کا ثبوت نہیں۔ Microsoft اپنے MAI-Base-1 کے مقابلے میں 6.3–12.7× تخمینی FLOPs کارکردگی میں بہتری بھی بتاتی ہے۔ دونوں صورتوں میں عدد سمجھنے کے لیے منتخب حوالہ، جائزہ جاتی سیٹ اور فٹنگ طریقہ جاننا ضروری ہے۔

Microsoft مرکزی تربیتی عمل کے لیے دو اور اعداد دیتی ہے: ماڈل FLOPs کا اوسط استعمال (MFU) 21% اور goodput 89%؛ یہاں goodput اس وقت کا حصہ ہے جب تربیت آگے بڑھی۔ رپورٹ BF16 میں فی GB200 نظریاتی 2.5 PFLOPS کی بنیاد پر MFU کو معمول پر لاتی ہے اور ری میٹیریلائزیشن اور آپٹیمائزر کے FLOPs خارج کرتی ہے۔ MFU بتاتا ہے کہ تربیتی حساب نے اس نظریاتی صلاحیت کا کتنا استعمال کیا؛ goodput گزرے وقت میں تعطل اور پیش رفت سے متعلق ہے۔ دونوں میں سے کوئی بھی یکساں BPB پر FLOPs کارکردگی کا تناسب نہیں۔ ڈیزائن کے انتخاب جانچتے وقت Microsoft تربیتی FLOPs میں ناپے گئے فوائد اور حقیقی گزرے وقت میں ناپے گئے فوائد کو واضح طور پر الگ کرتی ہے۔

وہ طریقہ جس سے Microsoft کے مطابق نتیجہ نکلا

رپورٹ معقول دکھائی دینے والے طریقہ ہائے کار کے ساتھ شواہد کی حدود بھی دیتی ہے۔ مختلف پیمانوں کے تجربات میں چھوٹے عمل کے منفرد نمونوں کو محدود کیا جاتا ہے تاکہ ڈیٹاسیٹ مکمل تربیت جتنی ہی بار دہرائے جائیں۔ Microsoft کے مطابق اس سے چھوٹے تجربات نے وہ انتخاب ترجیح نہیں دیے جو بڑے پیمانے پر اوورفٹ ہوتے۔ لرننگ ریٹ، ویٹ ڈیکے اور ڈراپ آؤٹ کے تجرباتی اسکیلنگ اصول بھی بیان ہوئے ہیں؛ مکمل تربیت سے پہلے درمیانے حجم کے ماڈل پر ان کی جانچ کی گئی۔

اسپارس ماڈل میں Microsoft کے مطابق ایکسپرٹ روٹنگ، مقررہ میموری گنجائش اور گروہی مواصلت کی تبدیلیوں نے MoE تہوں کا MFU 24% سے 35% کیا، جس سے ہر تہہ میں MoE ممکن ہوا۔ یہ جزو کی سطح کی اندرونی پیمائش ہے، پورے 38 روزہ عمل کا 21% اوسط MFU نہیں۔ رپورٹ آپٹیمائزر کے کام کا ذکر کرتی ہے جس کے بعد Muon کا وقت 165 ملی سیکنڈ، یعنی اوسط تربیتی تکرار کا 2.1%، رہا؛ تربیت مستحکم کرنے کے لیے ایکٹیویشن-گریڈینٹ کلپنگ بھی استعمال ہوئی۔ ڈیٹا کے حصے کے مطابق منفرد ٹوکنز کا کارپس MAI-Base-1 سے تقریباً 36% بڑھا۔ رپورٹ 4.5 ٹریلین منفرد بصری-لسانی ٹوکنز بتاتی ہے؛ تکرار سمیت بصری-لسانی ڈیٹا 50 ٹریلین ٹوکنز کے تربیتی آمیزے کا 18% تھا۔

یہ تفصیلات Microsoft کے بڑے پیمانے کے کام کا مفید انجینئرنگ بیان بناتی ہیں۔ یہ آزادانہ طور پر دہرائے گئے تربیتی عمل سے ہر تبدیلی کا سببی حصہ الگ نہیں کرتیں۔ Microsoft نتیجے کو ڈیٹا کے معیار اور ماڈلنگ کے انتخاب سے منسوب کرتی ہے؛ بیرونی ٹیمیں صرف رپورٹ سے ان اثرات کو ثابت نہیں کر سکتیں۔ فوری شواہد مکمل بنیادی ماڈل، Microsoft کے منتخب الگ رکھے گئے ڈیٹا کے لاس اور فٹ شدہ تربیتی طریقے کی کارکردگی کا تجزیہ ہیں۔ مصنوعات کی کارکردگی بعد کے چیک پوائنٹ کے لیے الگ پیمائش رہتی ہے۔

ذرائع اور مزید مطالعہ

  • Microsoft AI، «Microsoft AI میں جدید ترین ابتدائی تربیت»، 15 اکتوبر 2026۔ ساخت، تربیتی عمل، الگ رکھے گئے BPB موازنے، فٹ شدہ حسابی کارکردگی کی حدود، استعمال، ڈیٹا اور بتائی گئی اجرا کی حالت کی کمپنی کی اپنی تکنیکی رپورٹ۔ یہاں کی تمام پیمائشیں اور نفاذ کے اثرات Microsoft کے بتائے ہوئے ہیں؛ BIG CHANGE نے تربیت نہیں دہرائی اور نہ MAI-Base-2 کا جائزہ لیا۔