Ai2 ने 1 अक्टूबर को Olmo-core 3 को mixture-of-experts (MoE) भाषा मॉडलों के लिए खुले प्रशिक्षण फ्रेमवर्क के रूप में जारी किया। सिस्टम इंजीनियर के लिए इसका सबसे उपयोगी नतीजा ट्रिलियन-पैरामीटर शीर्षक से अधिक सीमित है: Ai2 ने कोड, संदर्भ कॉन्फ़िगरेशन और सीमित GPU माप प्रकाशित किए हैं, ताकि टीमें तय कर सकें कि किसी खास क्लस्टर पर इस स्टैक को आज़माना उचित है या नहीं।

MoE हर टोकन को अपने विशेषज्ञ नेटवर्कों के एक उपसमुच्चय तक भेजता है। इससे प्रति टोकन गणना सीमित रहती है, लेकिन विशेषज्ञों का पूरा पूल और उनकी ऑप्टिमाइज़र स्थिति अब भी GPU में जगह मांगती है। टोकन को विशेषज्ञों तक पहुंचाने में भी समय लगता है। Olmo-core 3 इन दोनों सीमाओं से निपटने का Ai2 का तरीका बदलता है: उसका DDP-आधारित सिस्टम विशेषज्ञों को GPU पर रखता है और डेटा उनके पास भेजता है; पुराना FSDP-आधारित कार्यान्वयन माइक्रोबैच के लिए वज़नों को बार-बार इकट्ठा और फिर से विभाजित करता था। नया स्टैक विशेषज्ञ और पाइपलाइन समानांतरता, वितरित ऑप्टिमाइज़र स्थिति, GPU पर मौजूद रूटिंग और समूहित विशेषज्ञ गणना जोड़ता है। Ai2 कुछ ऑपरेशनों के लिए MXFP8 भी समर्थित करता है। ये ऐसी डिज़ाइन पसंद हैं जिन्हें टीम जांच और कॉन्फ़िगर कर सकती है, दूसरे क्लस्टर पर उतनी ही गति का वादा नहीं।

क्या बदला

Olmo-core 3 Ai2 के बड़े MoE प्रशिक्षण उपकरण Apache 2.0 कोड और संदर्भ स्क्रिप्ट के रूप में उपलब्ध कराता है। Ai2 के परीक्षण एक खास आठ-B300 तुलना में पुराने स्टैक से अधिक थ्रूपुट दिखाते हैं और बताते हैं कि 1.2-ट्रिलियन-पैरामीटर का random-routed कॉन्फ़िगरेशन 512 B300 पर चल सकता है। वे इतने बड़े प्रशिक्षित मॉडल की गुणवत्ता या पाठक के वर्कलोड की गति स्थापित नहीं करते। व्यावहारिक लाभ एक जांचने योग्य शुरुआती आधार है: कॉन्फ़िगरेशन दोहराना, स्थानीय अड़चन मापना और तय करना कि कौन-सी समानांतरता और precision सेटिंग महंगे प्रशिक्षण रन को उचित ठहराती है।

तीन आंकड़े, तीन हर

Ai2 की 47-अरब-पैरामीटर MoE की शुरुआती तुलना आठ Nvidia B300 GPU पर चली। नए स्टैक ने प्रति सेकंड 52,000 टोकन प्रति GPU संसाधित किए, जबकि पुराने FSDP-आधारित कार्यान्वयन में 19,400 थे। अनुपात 52,000 ÷ 19,400 = 2.68, यानी गोल करके 2.7 गुना है। यह पुराने और नए स्टैक की आंतरिक तुलना है; Megatron-Core से तुलना या केवल DDP का साफ ablation नहीं। tagged उदाहरणों की सबसे निकट DDP+expert-parallel बनाम FSDP/HSDP तुलना मॉडल आकार और मापन अवधि समान रखती है, लेकिन router, sparse kernel, optimizer और अन्य कार्यान्वयन विवरण भी बदलती है।

“5% से कम” वाला नतीजा एक अलग सवाल का उत्तर देता है। Ai2 ने पूल को 8 से 128 विशेषज्ञों तक बढ़ाया और प्रति टोकन चार चुने। कुल क्षमता 4.6 अरब से बढ़कर 47 अरब पैरामीटर हुई, जबकि प्रति टोकन सक्रिय पैरामीटर लगभग 3.2 अरब रहे। इन विशेषज्ञ-पूल कॉन्फ़िगरेशन के बीच थ्रूपुट 5% से कम गिरा इन विशेषज्ञ-पूल कॉन्फ़िगरेशन के बीच। इसका अर्थ यह नहीं कि नया स्टैक पुराने से केवल 5% धीमा है, या हर सेटिंग में 16 गुना विशेषज्ञ जोड़ना मुफ्त है। रिलीज़ में इतनी जानकारी नहीं कि इस प्रतिशत को पाठक की डॉलर लागत में बदला जा सके।

स्केल नतीजे का तीसरा हर है: Ai2 ने 512 B300 GPU पर कुल 1.2 ट्रिलियन पैरामीटर और प्रति टोकन 58.36 अरब सक्रिय पैरामीटर वाले कॉन्फ़िगरेशन में अधिकतम देखे गए 858 TFLOP/s प्रति GPU की रिपोर्ट की। v3.0.0 संदर्भ तालिका इस Ultra-128E पंक्ति को random-routed, MXFP8 और per-layer recomputation बताती है। Random routing सिस्टम पथ मापता है, यह नहीं जांचता कि सीखा हुआ router अच्छा मॉडल बनाता है या नहीं। 2.38-ट्रिलियन-पैरामीटर कॉन्फ़िगरेशन ने छोटे capacity test में DeepEP v2 इस्तेमाल किया। Ai2 इसे scale check कहता है, लगातार प्रशिक्षण नहीं। इनमें से कोई संख्या प्रशिक्षित मॉडल की सटीकता, उपयोगी आउटपुट गुणवत्ता या पूर्ण रन की स्थिर अर्थव्यवस्था का प्रमाण नहीं है।

Ai2 चार B300 की नियंत्रित तुलना भी बताता है: BF16 के मुकाबले MXFP8 ने end-to-end प्रशिक्षण थ्रूपुट लगभग 21% बढ़ाया और peak active memory 103 GiB से 95 GiB किया, जबकि काम विशेषज्ञों में समान रूप से बांटा गया। यह नतीजा परीक्षित precision विकल्पों और वर्कलोड पर लागू है। इसे 2.7-गुना आंकड़े में ऐसे नहीं जोड़ा जा सकता मानो दोनों मापों का आधार एक हो।

इंजीनियर वास्तव में क्या आज़मा सकता है

1 अक्टूबर का repository v3.0.0 Apache 2.0 के तहत सार्वजनिक है। README पहले लक्ष्य OS और हार्डवेयर के लिए PyTorch स्थापित करने, फिर PyPI से ai2-olmo-core या development के लिए clone किए repository को स्थापित करने की सलाह देता है। tagged src/examples/olmo_ddp/README.md रिपोर्ट किए गए operating point को स्क्रिप्ट से जोड़ता है और torchrun को सामान्य launch मार्ग बताता है। Production स्क्रिप्ट प्रति node आठ GPU मानती हैं और node संख्या REF_NUM_NODES में देती हैं। ये पहले से distributed GPU environment वाले लोगों के उदाहरण हैं, Ai2 के B300 नतीजे एक कमांड में दोहराने का तरीका नहीं।

रिपोर्ट स्क्रिप्ट में महत्वपूर्ण access जरूरतें हैं। README beaker extra, FlashAttention 4, लिखे जा सकने वाले /workspace और Ai2 के s3://ai2-llm data mix को पढ़ने की अनुमति बताता है; DeepEP v2 पथ के लिए DeepEP checkout भी चाहिए। Ai2 का मुख्य README कहता है कि सार्वजनिक Docker image में dependencies हैं, Olmo-core package नहीं; अलग हार्डवेयर या driver/CUDA version पर अनुकूलित image की जरूरत हो सकती है। v3.0.0 न्यूनतम समर्थित PyTorch को 2.10.0 करता है। हमने इन दस्तावेज़ों और tagged संदर्भ तालिका की समीक्षा की; BIG CHANGE ने package स्थापित नहीं किया, data mix access नहीं लिया, GPU आरक्षित नहीं किए और training job नहीं चलाई।

स्थानीय मूल्यांकन के लिए उस tagged reference row से शुरू करें जो इच्छित मॉडल आकार और उपलब्ध हार्डवेयर के सबसे करीब हो; compute आरक्षित करने से पहले हर dependency और पहुंच से बाहर data path का हिसाब लगाएं। समान sequence length, batch, routing, precision और measurement window में प्रति GPU प्रति सेकंड token की तुलना करें; peak memory और checkpoint व्यवहार अलग से देखें। प्रकाशित production row 8,192 sequence length, top-four routing और एक shared expert उपयोग करती है। Tiny और Small में learned-routing की साथी स्क्रिप्ट हैं, जबकि बड़े headline row random-routed हैं। टीम के learned-routing data distribution से communication balance और throughput बदल सकते हैं, इसलिए पूरे रन का अनुमान लगाने से पहले प्रतिनिधि pilot जरूरी है।

लागत की सीमा software के साथ भौतिक भी है। प्रमुख आठ-GPU तुलना के लिए आठ B300 चाहिए; अधिकतम थ्रूपुट नतीजे में 512 लगे। Ai2 ने रिलीज़ में सामान्य प्रति-घंटा किराया या पूरा प्रशिक्षण बजट नहीं दिया। Apache 2.0 इस कोड का software-license शुल्क हटाता है, GPU, संगत driver, बताए गए data access या operator समय नहीं देता। संदर्भ README यह भी कहता है कि रिपोर्ट का दो-batch-overlap माप merge से पहले की branch पर था और tagged स्क्रिप्ट से दोहराया नहीं जा सकता।

खुला सिस्टम उपयोगी है क्योंकि उसके दावों को वास्तविक कॉन्फ़िगरेशन से जांचा जा सकता है। Ai2 का रिलीज़ उन मामलों का सार देता है जहां routing-balance का दिखने में बेहतर score कम संतुलित काम छिपाता था और communication को computation से overlap करने पर प्रशिक्षण धीमा हुआ। इसलिए स्थानीय मापन योजना और जरूरी है: तेज kernel या अनुकूल एकल metric end-to-end प्रशिक्षण नतीजा नहीं। Ai2 कहता है कि अगली Olmo पीढ़ी MoE architecture इस्तेमाल करेगी; यह रिलीज़ उस भावी मॉडल की गुणवत्ता का आकलन होने से पहले training stack और system measurements देती है।

स्रोत और आगे पढ़ें

  • Ai2 की 1 अक्टूबर की रिलीज़ architecture बताती है और सीमित throughput, memory तथा scale आंकड़े देती है। आंकड़े Ai2 के माप हैं; BIG CHANGE ने उन्हें दोहराया नहीं।
  • Olmo-core v3.0.0 रिलीज़ tagged version, 1 अक्टूबर की तारीख, PyTorch minimum और code changes स्थापित करती है। Repository README स्थापना, वैकल्पिक dependencies और Docker image सावधानियां बताता है।
  • Tagged MoE reference-script guide रिपोर्ट configuration को GPU संख्या, routing और precision से जोड़ती है और पुराने-नए stack तुलना की सीमाएं बताती है। तकनीकी रिपोर्ट systems experiments का मुख्य विवरण है; हमारे शोध वातावरण में PDF नहीं मिला, इसलिए यहां विस्तृत दावे Ai2 की सुलभ रिलीज़ और tagged scripts पर आधारित हैं।