Ai2 ने 1 ऑक्टोबरला मिश्र-तज्ज्ञ (MoE) भाषा मॉडेल प्रशिक्षणासाठी खुली चौकट म्हणून Olmo-core 3 प्रसिद्ध केले. प्रणाली अभियंत्यासाठी सर्वात उपयोगी निष्कर्ष ट्रिलियन-पॅरामीटर मथळ्यापेक्षा मर्यादित आहे: विशिष्ट क्लस्टरवर हा संच तपासावा का हे ठरवण्यासाठी Ai2 ने कोड, संदर्भ संरचना आणि मर्यादित GPU मोजमाप प्रकाशित केले.

MoE प्रत्येक टोकन तज्ज्ञ नेटवर्कच्या एका उपसंचाकडे पाठवते. त्यामुळे प्रत्येक टोकनमागील गणना कमी होते, पण संपूर्ण तज्ज्ञ संच आणि त्यांची optimizer स्थिती GPU वर वाटून ठेवावी लागते. टोकन तज्ज्ञांकडे पाठवायलाही वेळ लागतो. Olmo-core 3 या दोन मर्यादांवर Ai2 कसा उपाय करतो ते बदलते: DDP-आधारित प्रणाली तज्ज्ञ GPU वरच ठेवते व डेटा त्यांच्याकडे मार्गित करते; आधीची FSDP रचना microbatch साठी वजन पुन्हा पुन्हा गोळा व reshard करत होती. नवीन संच तज्ज्ञ व pipeline parallelism, वितरित optimizer स्थिती, GPU-निवासी routing आणि गटबद्ध तज्ज्ञ गणना एकत्र करतो. काही क्रियांना MXFP8 देखील समर्थित आहे. हे संघ तपासू व संरचित करू शकतात असे डिझाइन पर्याय आहेत; दुसऱ्या क्लस्टरवर तीच गती मिळेल याची हमी नाही.

मोठा बदल

काय बदलले:

Olmo-core 3 Apache 2.0 कोड व संदर्भ स्क्रिप्टद्वारे Ai2 ची मोठ्या MoE प्रशिक्षणाची यंत्रणा उपलब्ध करते. विशिष्ट आठ-B300 तुलनेत जुन्या संचापेक्षा थ्रूपुट जास्त आणि यादृच्छिक routing असलेली 1.2-ट्रिलियन-पॅरामीटर रचना 512 B300 वर चालू शकते, असे Ai2 च्या चाचण्या दाखवतात. प्रशिक्षित ट्रिलियन-पॅरामीटर मॉडेलची गुणवत्ता किंवा वाचकाच्या कामाचा वेग त्या सिद्ध करत नाहीत. उपयोग म्हणजे संरचना पुन्हा चालवणे, स्थानिक bottleneck मोजणे आणि खर्चिक प्रशिक्षणासाठी कोणते parallelism व precision योग्य आहेत हे ठरवण्याचा तपासता येणारा प्रारंभबिंदू.

तीन आकडे, तीन हर Ai2 ची 47-अब्ज-पॅरामीटर MoE प्राथमिक तुलना आठ Nvidia B300 GPU वर चालली. नवीन संचाने GPUमागे प्रति सेकंद 52,000 टोकन प्रति GPU हाताळले; जुन्या FSDP रचनेत 19,400. गुणोत्तर 52,000 ÷ 19,400 = 2.68, म्हणजे गोलाकार 2.7 पट. ही जुनी आणि नवीन रचना

यांची अंतर्गत तुलना आहे; Megatron-Core विरुद्ध मोजमाप किंवा केवळ DDP चे स्वच्छ ablation नाही. टॅग केलेल्या उदाहरणांतील सर्वाधिक जवळची DDP+expert-parallel विरुद्ध FSDP/HSDP तुलना मॉडेलचा आकार व मोजण्याचा कालावधी समान ठेवते, पण router, sparse kernels, optimizer आणि अंमलबजावणीचे इतर तपशील बदलते. ‘5% पेक्षा कमी’ निकाल वेगळ्या प्रश्नाचे उत्तर देतो. Ai2 ने तज्ज्ञ संच 8 वरून 128 केला आणि प्रत्येक token साठी चार निवडले. एकूण क्षमता 4.6 अब्जवरून 47 अब्ज पॅरामीटर झाली; प्रत्येक tokenचे सक्रिय पॅरामीटर सुमारे 3.2 अब्ज राहिले. या दोन तज्ज्ञ-संच संरचनांमध्ये थ्रूपुट 5% पेक्षा कमी घसरला

. याचा अर्थ नवीन संच जुना संचापेक्षा केवळ 5% मंद आहे किंवा प्रत्येक संरचनेत 16 पट तज्ज्ञ मोफत जोडता येतात असा नाही. हा टक्का वाचकाच्या डॉलर खर्चात बदलण्यासाठी प्रसिद्धीमध्ये पुरेशी माहिती नाही. स्केल निकालाचा तिसरा हर आहे: Ai2 ने 512 B300 GPU वर एकूण 1.2 ट्रिलियन पॅरामीटर संरचनेसाठी, प्रत्येक tokenला 58.36 अब्ज सक्रिय पॅरामीटर असताना, GPUमागे कमाल 858 TFLOP/s नोंदवले. v3.0.0 संदर्भ तक्त्यात ही Ultra-128E ओळ random-routed, MXFP8 आणि per-layer recomputation अशी आहे. Random routing प्रणालीचा मार्ग मोजते; शिकलेला router चांगले मॉडेल बनवतो का हे नाही. 2.38-ट्रिलियन संरचनेने थोड्या वेळेच्या क्षमता चाचणीत DeepEP v2 वापरले. Ai2 त्याला स्केल तपासणी म्हणते, सतत प्रशिक्षण नाही. दोन्ही आकडे प्रशिक्षित मॉडेलची अचूकता, उपयुक्त आउटपुट गुणवत्ता किंवा पूर्ण प्रशिक्षण अर्थकारण स्थिर असल्याचा पुरावा नाहीत. चार B300 वर नियंत्रित तुलना देखील Ai2 ने दिली: BF16च्या तुलनेत MXFP8 ने संपूर्ण प्रशिक्षण थ्रूपुट सुमारे 21% वाढवला आणि कमाल सक्रिय स्मृती 103 GiB वरून 95 GiB केली, काम तज्ज्ञांमध्ये समान वाटले असताना. हा निष्कर्ष तपासलेल्या precision पर्याय व workload पुरता आहे. समान आधाररेषा असल्यासारखा तो 2.7-पट आकड्यात जोडता येत नाही.

अभियंता प्रत्यक्षात काय तपासू शकतो

1 ऑक्टोबरचे repository

प्रकाशन v3.0.0 Apache 2.0 अंतर्गत खुले आहे. लक्ष्यित OS आणि hardware साठी आधी PyTorch बसवा, नंतर PyPI वरून ai2-olmo-core बसवा किंवा विकासासाठी clone केलेले repository वापरा, असे README सांगते. टॅग केलेली src/examples/olmo_ddp/README.md नोंदवलेले operating points स्क्रिप्टशी जोडते आणि torchrun हे सामान्य launch मार्ग म्हणून दाखवते. उत्पादन स्क्रिप्ट प्रत्येक nodeला आठ GPU गृहीत धरतात व node संख्या REF_NUM_NODES मध्ये देतात. ही उदाहरणे आधीपासून distributed GPU environment असलेल्यांसाठी आहेत; Ai2 चे B300 निकाल एका आदेशात पुनरुत्पादित करण्यासाठी नाहीत.

रिपोर्ट स्क्रिप्टना महत्त्वाचा प्रवेश आवश्यक आहे. README मध्ये अतिरिक्त beaker पॅकेज, FlashAttention 4, लिहिता येणारा /workspace आणि Ai2 च्या s3://ai2-llm डेटा मिश्रणाचा वाचन प्रवेश नमूद आहे; DeepEP v2 मार्गासाठी DeepEP checkoutही लागतो. Ai2 मुख्य README म्हणते की सार्वजनिक Docker imagesमध्ये dependencies आहेत, पण Olmo-core package नाही; वेगळे hardware किंवा driver/CUDA आवृत्त्यांसाठी बदललेली image लागेल. v3.0.0 ने किमान समर्थित PyTorch आवृत्ती 2.10.0 केली. आम्ही दस्तऐवज व टॅग केलेला संदर्भ तक्ता पाहिला; BIG CHANGE ने package बसवला नाही, डेटा मिश्रण प्रवेश मिळवला नाही, GPU राखले नाहीत किंवा प्रशिक्षण चालवले नाही.

स्थानिक मूल्यमापनासाठी हेतूच्या मॉडेल आकाराला व उपलब्ध hardwareला जवळची टॅग संदर्भ ओळ घ्या; compute राखण्यापूर्वी प्रत्येक dependency आणि न मिळणारा डेटा मार्ग तपासा. समान sequence length, batch, routing, precision आणि मोजण्याच्या कालावधीत प्रति GPU प्रति सेकंद टोकन तुलना करा; कमाल स्मृती व checkpoint वर्तन स्वतंत्रपणे पाहा. प्रसिद्ध production rows sequence length 8,192, top-four routing आणि एक shared expert वापरतात. Tiny व Smallकडे learned-routing जोड स्क्रिप्ट आहेत; मथळ्यातील मोठ्या rows random-routed आहेत. प्रत्येक संघाचा learned-routing डेटा वितरण communication balance व throughput बदलू शकतो; पूर्ण रनचा अंदाज करण्यापूर्वी प्रतिनिधिक pilot आवश्यक आहे.

खर्चाची सीमा software इतकीच भौतिकही आहे. चर्चित आठ-GPU तुलना आठ B300 मागते; सर्वात मोठ्या throughput निकालात 512 वापरले. Ai2 ने सामान्य तासभाडे किंवा पूर्ण प्रशिक्षण बजेट दिले नाही. Apache 2.0 या कोडसाठी software परवाना शुल्क हटवते, पण GPU, सुसंगत drivers, नमूद डेटा प्रवेश किंवा operator वेळ देत नाही. संदर्भ README सांगते की अहवालातील दोन-batch overlap मोजमाप merge-पूर्व शाखेवर होते आणि टॅग स्क्रिप्टने पुनरुत्पादित होत नाही.

खुली प्रणाली उपयोगी आहे कारण तिचे दावे प्रत्यक्ष संरचनांशी पडताळता येतात. Ai2 सारांशात काही प्रसंग आहेत जिथे वरकरणी चांगल्या routing-balance गुणाने कमी संतुलित काम लपवले, तसेच communication व computation overlap केल्याने प्रशिक्षण मंदावले. त्यामुळे स्थानिक मापन योजना अधिक महत्त्वाची: वेगवान kernel किंवा अनुकूल एकल metric म्हणजे end-to-end प्रशिक्षण निकाल नाही. पुढील Olmo पिढी MoE architecture वापरेल असे Ai2 सांगते; त्या भावी मॉडेलच्या गुणवत्तेचे मूल्यांकन होण्यापूर्वी हे प्रकाशन प्रशिक्षण संच व प्रणाली मोजमाप देते.

स्रोत व पुढील वाचन

  • Ai2 चे 1 ऑक्टोबरचे प्रकाशन architecture आणि मर्यादित throughput, स्मृती, scale आकडे देते. आकडे Ai2चे मोजमाप आहेत; BIG CHANGE ने पुनरुत्पादित केले नाहीत.
  • Olmo-core v3.0.0 प्रकाशन टॅग आवृत्ती, 1 ऑक्टोबर तारीख, PyTorch किमान आवृत्ती व code बदल नोंदवते. Repository README स्थापना, ऐच्छिक dependencies व Docker image सूचना देते.
  • टॅग केलेले MoE संदर्भ-स्क्रिप्ट मार्गदर्शक नोंदवलेले configuration GPU संख्या, routing आणि precisionशी जोडते; जुन्या-नव्या संच तुलनेच्या मर्यादा स्पष्ट करते. तांत्रिक अहवाल प्रणाली प्रयोगांचा प्राथमिक स्रोत; संशोधन वातावरणात PDF मिळाला नाही, म्हणून येथील तपशील Ai2 च्या उपलब्ध प्रकाशन व टॅग स्क्रिप्टवर आधारित आहेत.