Ai2 نے یکم اکتوبر کو Olmo-core 3 کو mixture-of-experts (MoE) زبان کے ماڈلز کے لیے ایک کھلے تربیتی فریم ورک کے طور پر جاری کیا۔ سسٹمز انجینئر کے لیے اس کا سب سے مفید نتیجہ ٹریلین پیرامیٹر کی سرخی سے زیادہ محدود ہے: Ai2 نے کوڈ، حوالہ جاتی کنفیگریشن اور محدود GPU پیمائشیں شائع کی ہیں تاکہ ٹیمیں طے کر سکیں کہ کسی مخصوص کلسٹر پر اس اسٹیک کو آزمانا مفید ہے یا نہیں۔

MoE ہر ٹوکن کو اپنے ماہر نیٹ ورکس کے ذیلی مجموعے تک بھیجتا ہے۔ اس سے فی ٹوکن حساب محدود رہتا ہے، مگر ماہرین کا پورا مجموعہ اور ان کی آپٹیمائزر حالت اب بھی GPU پر جگہ مانگتی ہے۔ ٹوکن کو ماہرین تک منتقل کرنے میں بھی وقت لگتا ہے۔ Olmo-core 3 ان دونوں رکاوٹوں سے نمٹنے کا Ai2 کا طریقہ بدلتا ہے: DDP پر مبنی نظام ماہرین کو GPU پر رکھتا اور ڈیٹا ان تک پہنچاتا ہے؛ پہلے کا FSDP پر مبنی نفاذ مائیکرو بیچ کے لیے وزن بار بار جمع اور دوبارہ تقسیم کرتا تھا۔ نیا اسٹیک ماہر اور پائپ لائن متوازی کاری، تقسیم شدہ آپٹیمائزر حالت، GPU پر موجود روٹنگ اور گروہی ماہر حساب کو یکجا کرتا ہے۔ Ai2 منتخب آپریشنز کے لیے MXFP8 بھی سپورٹ کرتا ہے۔ یہ ایسے ڈیزائن فیصلے ہیں جنہیں ٹیم جانچ اور ترتیب دے سکتی ہے، دوسرے کلسٹر پر یکساں رفتار کی ضمانت نہیں۔

بڑی تبدیلی

Olmo-core 3 Ai2 کے بڑے MoE تربیتی آلات کو Apache 2.0 کوڈ اور حوالہ جاتی اسکرپٹس کے طور پر دستیاب کرتا ہے۔ Ai2 کے ٹیسٹ ایک مخصوص آٹھ-B300 موازنے میں پہلے اسٹیک سے زیادہ تھروپٹ دکھاتے ہیں، اور یہ بھی کہ بے ترتیب روٹنگ والی 1.2-ٹریلین پیرامیٹر کنفیگریشن 512 B300 پر چل سکتی ہے۔ یہ اس پیمانے کے تربیت یافتہ ماڈل کا معیار یا قاری کے کام کی رفتار ثابت نہیں کرتے۔ عملی فائدہ ایک قابل جانچ نقطۂ آغاز ہے جس سے کنفیگریشن دہرائی جا سکتی ہے، مقامی رکاوٹ ناپی جا سکتی ہے اور فیصلہ ہو سکتا ہے کہ کون سی متوازی کاری اور precision سیٹنگ مہنگے تربیتی رن کے قابل ہے۔

تین اعداد، تین مخرج

Ai2 کا 47-ارب پیرامیٹر MoE کا ابتدائی موازنہ آٹھ Nvidia B300 GPU پر چلا۔ نئے اسٹیک نے فی سیکنڈ 52,000 ٹوکن فی GPU پروسیس کیے؛ پہلے FSDP نفاذ نے 19,400 کیے۔ تناسب 52,000 ÷ 19,400 = 2.68، یعنی گول کر کے 2.7 گنا ہے۔ یہ پرانے اور نئے اسٹیک کا اندرونی موازنہ ہے، Megatron-Core سے پیمائش یا صرف DDP کا صاف تجزیہ نہیں۔ ٹیگ شدہ مثالوں میں قریب ترین DDP+ماہر متوازی کاری بمقابلہ FSDP/HSDP موازنہ ماڈل کی شکل اور پیمائش کا دورانیہ یکساں رکھتا ہے، مگر راؤٹر، sparse kernels، آپٹیمائزر اور دیگر نفاذی تفصیلات بھی بدلتا ہے۔

“5% سے کم” کا نتیجہ ایک مختلف سوال کا جواب دیتا ہے۔ Ai2 نے ماہرین کا مجموعہ 8 سے 128 کیا اور ہر ٹوکن کے لیے چار منتخب کیے۔ مجموعی گنجائش 4.6 ارب سے 47 ارب پیرامیٹر تک بڑھی، جبکہ فی ٹوکن فعال پیرامیٹر تقریباً 3.2 ارب رہے۔ ان ماہر-مجموعہ کنفیگریشنز کے درمیان تھروپٹ میں 5% سے کم کمی آئی ان ماہر-مجموعہ کنفیگریشنز کے درمیان۔ اس کا مطلب یہ نہیں کہ نیا اسٹیک پرانے سے صرف 5% سست ہے یا ہر سیٹ اپ میں 16 گنا ماہر شامل کرنا مفت ہے۔ ریلیز میں اتنی معلومات نہیں کہ اس فیصد کو قاری کی ڈالر لاگت میں بدلا جا سکے۔

اسکیل کے نتیجے کا تیسرا مخرج ہے: Ai2 نے 512 B300 GPU پر کل 1.2 ٹریلین پیرامیٹر اور فی ٹوکن 58.36 ارب فعال پیرامیٹر والی کنفیگریشن کے لیے زیادہ سے زیادہ مشاہدہ شدہ 858 TFLOP/s فی GPU رپورٹ کیے۔ v3.0.0 حوالہ جاتی جدول اس Ultra-128E قطار کو بے ترتیب روٹنگ، MXFP8 اور ہر پرت پر دوبارہ حساب کے طور پر شناخت کرتی ہے۔ بے ترتیب روٹنگ سسٹم کا راستہ ناپتی ہے، یہ نہیں کہ سیکھا ہوا راؤٹر اچھا ماڈل بناتا ہے یا نہیں۔ 2.38-ٹریلین پیرامیٹر کنفیگریشن نے مختصر گنجائش ٹیسٹ میں DeepEP v2 استعمال کیا۔ Ai2 اسے اسکیل چیک کہتا ہے، مسلسل تربیت نہیں۔ دونوں میں سے کوئی عدد تربیت یافتہ ماڈل کی درستگی، مفید آؤٹ پٹ کے معیار یا مکمل رن کی مستحکم معاشیات کا ثبوت نہیں۔

Ai2 چار B300 کا ایک قابو شدہ موازنہ بھی رپورٹ کرتا ہے: BF16 کے مقابلے MXFP8 نے end-to-end تربیتی تھروپٹ تقریباً 21% بڑھایا اور چوٹی کی فعال میموری 103 GiB سے 95 GiB کردی، جبکہ کام ماہرین میں برابر تقسیم تھا۔ یہ نتیجہ صرف آزمودہ precision انتخاب اور workload پر لاگو ہوتا ہے۔ اسے 2.7 گنا کے عدد میں یوں شامل نہیں کیا جا سکتا جیسے دونوں پیمائشوں کی بنیاد ایک ہو۔

انجینئر حقیقتاً کیا آزما سکتا ہے

یکم اکتوبر کی ریپوزٹری ریلیز v3.0.0 Apache 2.0 کے تحت عوامی ہے۔ README پہلے مطلوبہ آپریٹنگ سسٹم اور ہارڈویئر کے لیے PyTorch نصب کرنے، پھر PyPI سے ai2-olmo-core نصب کرنے یا ترقی کے لیے نقل شدہ ریپوزٹری استعمال کرنے کا کہتا ہے۔ ٹیگ شدہ src/examples/olmo_ddp/README.md رپورٹ شدہ آپریٹنگ پوائنٹس کو اسکرپٹس سے جوڑتا اور torchrun کو عمومی لانچ طریقہ بتاتا ہے۔ پروڈکشن اسکرپٹس فی نوڈ آٹھ GPU فرض کرتی اور نوڈز کی تعداد REF_NUM_NODES میں دیتی ہیں۔ یہ پہلے سے تقسیم شدہ GPU ماحول رکھنے والوں کے لیے مثالیں ہیں، Ai2 کے B300 نتائج ایک کمانڈ سے دہرانے کا طریقہ نہیں۔

رپورٹ اسکرپٹس میں رسائی کے اہم تقاضے ہیں۔ ان کا README beaker اضافی پیکیج، FlashAttention 4، قابلِ تحریر /workspace اور Ai2 کے s3://ai2-llm ڈیٹا مکس تک پڑھنے کی رسائی بتاتا ہے؛ DeepEP v2 راستے کو DeepEP ریپوزٹری کی نقل بھی درکار ہے۔ Ai2 کا مرکزی README کہتا ہے کہ عوامی Docker امیجز میں dependencies ہیں مگر Olmo-core پیکیج نہیں، اور مختلف ہارڈویئر یا driver/CUDA ورژنز کے لیے بدلی ہوئی امیج درکار ہو سکتی ہے۔ v3.0.0 کم از کم معاون PyTorch کو 2.10.0 تک بڑھاتا ہے۔ ہم نے یہ دستاویزات اور ٹیگ شدہ حوالہ جدول دیکھی؛ BIG CHANGE نے پیکیج نصب نہیں کیا، ڈیٹا مکس کی رسائی حاصل نہیں کی، GPU محفوظ نہیں کیے اور تربیتی کام نہیں چلایا۔

مقامی جائزے کے لیے مطلوبہ ماڈل سائز اور دستیاب ہارڈویئر کے قریب ترین ٹیگ شدہ حوالہ قطار سے آغاز کریں، پھر کمپیوٹ محفوظ کرنے سے پہلے ہر dependency اور ناقابلِ رسائی data path کا حساب رکھیں۔ یکساں sequence length، batch، routing، precision اور پیمائش کے وقت میں فی GPU فی سیکنڈ ٹوکن کا موازنہ کریں؛ peak memory اور checkpoint رویہ الگ دیکھیں۔ شائع شدہ پروڈکشن قطاریں 8,192 sequence length، top-four routing اور ایک shared expert استعمال کرتی ہیں۔ Tiny اور Small کے لیے learned-routing ساتھی اسکرپٹس ہیں، جبکہ سرخی کی بڑی قطاریں random-routed ہیں۔ ٹیم کی learned-routing data distribution مواصلاتی توازن اور تھروپٹ بدل سکتی ہے، اس لیے مکمل رن کا اندازہ لگانے سے پہلے نمائندہ پائلٹ ضروری ہے۔

لاگت کی حد سافٹ ویئر کے ساتھ جسمانی بھی ہے۔ نمایاں آٹھ-GPU موازنے کے لیے آٹھ B300 چاہییں؛ زیادہ سے زیادہ تھروپٹ کے نتیجے میں 512 استعمال ہوئے۔ Ai2 ریلیز میں عمومی گھنٹہ وار کرایہ یا مکمل تربیتی بجٹ نہیں دیتی۔ Apache 2.0 اس کوڈ کی سافٹ ویئر لائسنس فیس ختم کرتا ہے، مگر GPU، موزوں ڈرائیور، نامزد ڈیٹا رسائی یا آپریٹر کا وقت نہیں دیتا۔ حوالہ README یہ بھی کہتا ہے کہ رپورٹ کی دو-بیچ اوورلیپ پیمائش merge سے پہلے کی branch استعمال کرتی تھی اور ٹیگ شدہ اسکرپٹس سے دہرائی نہیں جا سکتی۔

کھلا نظام اس لیے مفید ہے کہ اس کے دعووں کو حقیقی کنفیگریشن کے مقابل جانچا جا سکتا ہے۔ Ai2 کی ریلیز ایسے واقعات کا خلاصہ کرتی ہے جہاں بظاہر بہتر routing-balance score نے کم متوازن کام چھپایا، اور جہاں مواصلات کو حساب کے ساتھ overlap کرنے سے تربیت سست ہوئی۔ اسی لیے مقامی پیمائش کا منصوبہ اہم ہے: تیز kernel یا اچھا اکیلا metric end-to-end تربیتی نتیجہ نہیں۔ Ai2 کہتا ہے کہ اگلی Olmo نسل MoE architecture استعمال کرے گی؛ یہ ریلیز مستقبل کے ماڈل کے معیار کے جائزے سے پہلے تربیتی اسٹیک اور سسٹم پیمائش دیتی ہے۔

ذرائع اور مزید مطالعہ

  • Ai2 کی یکم اکتوبر کی ریلیز architecture کی وضاحت اور محدود تھروپٹ، میموری اور اسکیل اعداد دیتی ہے۔ اعداد Ai2 کی پیمائش ہیں؛ BIG CHANGE نے انہیں دہرایا نہیں۔
  • Olmo-core v3.0.0 ریلیز ٹیگ شدہ ورژن، یکم اکتوبر کی تاریخ، PyTorch کم از کم اور کوڈ تبدیلیاں قائم کرتی ہے۔ ریپوزٹری README تنصیب، اختیاری dependencies اور Docker image کی احتیاطیں بتاتا ہے۔
  • ٹیگ شدہ MoE حوالہ اسکرپٹ گائیڈ رپورٹ کنفیگریشنز کو GPU تعداد، routing اور precision سے جوڑتا اور پرانے-نئے اسٹیک موازنے کی حدود بتاتا ہے۔ تکنیکی رپورٹ سسٹم تجربات کی بنیادی روداد ہے؛ ہمارے تحقیقی ماحول میں PDF حاصل نہیں ہوسکی، اس لیے تفصیلی دعوے Ai2 کی قابلِ رسائی ریلیز اور ٹیگ شدہ اسکرپٹس پر مبنی ہیں۔