AI-translated from English; not yet reviewed by a fluent editor.

# Olmo-core 3 يفتح منظومة تدريب MoE من Ai2 بنتائج GPU محدودة النطاق

> يوفر إصدار Ai2 لـ Olmo-core 3 في 1 أكتوبر شيفرة مفتوحة لتدريب MoE واختبارات B300. تقيس اختبارات التوسع إنتاجية النظام، لا جودة نموذج مدرّب.

By BIG CHANGE Editorial

Published: 2026-10-13T02:08:18.598Z
Updated: 2026-10-13T02:08:18.598Z
Canonical: https://bigchange.ai/blog/ai2-olmo-core-3-moe-training-stack-benchmarks

![Conceptual charcoal illustration of an unbranded accelerator circuit board beside its separate finned heat sink.](https://bigchange.ai/api/media/file/olmocore3-gpu-board-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE. Generic accelerator components; no specific B300 design, Ai2 installation, completed training run or BIG CHANGE hardware test is depicted.

أصدرت Ai2 في 1 أكتوبر Olmo-core 3 بوصفه إطاراً مفتوحاً لتدريب نماذج اللغة ذات مزيج الخبراء (MoE). النتيجة الأهم لمهندس الأنظمة أضيق من عنوان التريليون معلمة: نشرت Ai2 الشيفرة والتكوينات المرجعية وقياسات GPU محدودة النطاق كي تقرر الفرق ما إذا كان اختبار المنظومة على عنقود محدد يستحق العناء.

يوجّه MoE كل رمز إلى مجموعة فرعية من شبكات الخبراء. يحد ذلك من الحساب لكل رمز، لكن مجموعة الخبراء كاملة وحالة المحسّن الخاصة بها تظلان بحاجة إلى مساحة على وحدات GPU. كما يستغرق نقل الرموز إلى الخبراء وقتاً. يغيّر Olmo-core 3 أسلوب Ai2 في التعامل مع هذين القيدين: يترك نظامها القائم على DDP الخبراء مقيمين على GPU ويوجه البيانات إليهم؛ أما تنفيذ FSDP السابق فكان يجمع الأوزان ويعيد تقسيمها مراراً للدفعات المصغّرة. تجمع المنظومة الجديدة بين توازي الخبراء والأنابيب، وحالة محسّن موزعة، وتوجيه مقيم على GPU، وحساب الخبراء في مجموعات. وتدعم Ai2 أيضاً MXFP8 لعمليات مختارة. هذه خيارات تصميم يمكن للفريق فحصها وضبطها، وليست ضماناً للسرعة نفسها على عنقود آخر.

## ما الذي تغيّر

يتيح Olmo-core 3 أدوات Ai2 الكبيرة لتدريب MoE في صورة شيفرة Apache 2.0 وسكربتات مرجعية. تُظهر اختبارات Ai2 إنتاجية أعلى من منظومتها السابقة في مقارنة محددة على ثماني وحدات B300، كما تُظهر إمكان تشغيل تكوين عشوائي التوجيه من 1.2 تريليون معلمة على 512 وحدة B300. لكنها لا تثبت جودة نموذج مدرّب بهذا الحجم ولا سرعة عبء عمل القارئ. الفائدة العملية نقطة بداية قابلة للفحص لإعادة التكوينات وقياس عنق زجاجة محلي وتحديد إعدادات التوازي والدقة التي تبرر تشغيل تدريب مكلفاً.

## ثلاثة أرقام، وثلاثة مقامات

أُجريت مقارنة Ai2 الأولية لنموذج MoE من 47 مليار معلمة على ثماني وحدات Nvidia B300. عالجت المنظومة الجديدة 52,000 رمز في الثانية **لكل GPU**, مقابل 19,400 في تنفيذ FSDP السابق. النسبة 52,000 ÷ 19,400 = 2.68، أي نحو 2.7 مرة بعد التقريب. هذه مقارنة داخلية بين *المنظومة* القديمة والجديدة، وليست قياساً مقابل Megatron-Core ولا اختباراً نقياً لـ DDP وحده. أقرب مقارنة في الأمثلة الموسومة، بين DDP مع توازي الخبراء وFSDP/HSDP، تثبت شكل النموذج ونافذة القياس لكنها تغيّر أيضاً الموجّه والنوى المتناثرة والمحسّن وتفاصيل تنفيذ أخرى.

تجيب نتيجة «أقل من 5%» عن سؤال آخر. زادت Ai2 مجموعة الخبراء من 8 إلى 128، مع اختيار أربعة لكل رمز. ارتفعت السعة الإجمالية من 4.6 إلى 47 مليار معلمة، بينما ظلت المعلمات النشطة لكل رمز عند نحو 3.2 مليار. انخفضت الإنتاجية بأقل من 5% **بين تكويني مجموعة الخبراء هذين**. لا يعني ذلك أن المنظومة الجديدة أبطأ من القديمة بنسبة 5% فقط، أو أن إضافة 16 ضعفاً من الخبراء مجانية في كل إعداد. لا يقدم الإصدار معلومات كافية لتحويل النسبة إلى تكلفة بالدولار على القارئ.

لنتيجة التوسع مقام ثالث: تفيد Ai2 برصد حد أقصى قدره 858 TFLOP/s **لكل GPU** لتكوين إجمالي معلماته 1.2 تريليون والنشط منها لكل رمز 58.36 مليار، على 512 وحدة B300. يعرّف جدول v3.0.0 المرجعي صف Ultra-128E بأنه عشوائي التوجيه وMXFP8 وإعادة حساب لكل طبقة. يقيس التوجيه العشوائي مسار النظام من دون اختبار ما إذا كان الموجّه المتعلّم ينتج نموذجاً جيداً. استخدم تكوين 2.38 تريليون معلمة DeepEP v2 في اختبار سعة قصير. تصفه Ai2 بأنه تحقق من التوسع، لا تدريب مستمر. ولا يمثل أي من الرقمين دقة نموذج مدرّب أو جودة مخرجات مفيدة أو دليلاً على اقتصاديات مستقرة لتشغيل كامل.

وتورد Ai2 مقارنة مضبوطة على أربع وحدات B300: زادت MXFP8 إنتاجية التدريب من البداية إلى النهاية بنحو 21% مقابل BF16، وخفضت الذاكرة النشطة القصوى من 103 GiB إلى 95 GiB، مع توزيع العمل بالتساوي على الخبراء. تنطبق النتيجة على خيارات الدقة وعبء العمل المختبرين فقط. ولا يمكن إضافتها إلى رقم 2.7 مرة كما لو أن القياسين يشتركان في خط أساس واحد.

## ما الذي يستطيع المهندس تجربته فعلياً

إصدار المستودع في 1 أكتوبر `v3.0.0` متاح علناً بترخيص Apache 2.0. يوصي README بتثبيت PyTorch أولاً لنظام التشغيل والعتاد المستهدفين، ثم تثبيت `ai2-olmo-core` من PyPI أو استخدام المستودع المستنسخ للتطوير. تربط النسخة الموسومة `src/examples/olmo_ddp/README.md` نقاط التشغيل المبلغ عنها بالسكربتات وتوثق `torchrun` كطريقة تشغيل عامة. تفترض سكربتات الإنتاج ثماني وحدات GPU لكل عقدة وتحدد عدد العقد في `REF_NUM_NODES`. هذه أمثلة لمن لديهم بالفعل بيئة GPU موزعة، وليست طريقة بأمر واحد لإعادة نتائج Ai2 على B300.

تتضمن سكربتات التقرير متطلبات وصول مهمة. يسرد README الإضافة `beaker` وFlashAttention 4 ودليلاً `/workspace` قابلاً للكتابة وإمكانية قراءة مجموعة بيانات Ai2 `s3://ai2-llm`؛ كما يحتاج مسار DeepEP v2 إلى نسخة من مستودع DeepEP. يقول README الرئيسي لـ Ai2 إن صور Docker المنشورة تشمل التبعيات لا حزمة Olmo-core، ويحذر من أن العتاد أو إصدارات برنامج التشغيل/CUDA المختلفة قد تتطلب صورة معدلة. يرفع الإصدار v3.0.0 الحد الأدنى المدعوم من PyTorch إلى 2.10.0. راجعنا هذه الوثائق وجدول المرجع الموسوم؛ لم تثبّت BIG CHANGE الحزمة، ولم تحصل على وصول إلى مجموعة البيانات، ولم تحجز وحدات GPU أو تشغّل مهمة تدريب.

للتقييم المحلي، ابدأ بصف المرجع الموسوم الأقرب إلى حجم النموذج المقصود والعتاد المتاح، ثم احسب كل تبعية ومسار بيانات يتعذر الوصول إليه قبل حجز القدرة الحاسوبية. قارن الرموز في الثانية لكل GPU مع تثبيت طول التسلسل والدفعة والتوجيه والدقة ونافذة القياس؛ وراقب الذاكرة القصوى وسلوك نقاط التحقق على حدة. تستخدم صفوف الإنتاج المنشورة طول تسلسل 8,192 وتوجيه top-four وخبيراً مشتركاً واحداً. لدى Tiny وSmall سكربتات مصاحبة للتوجيه المتعلّم، بينما تستخدم الصفوف الكبيرة في العنوان توجيهاً عشوائياً. قد يغيّر توزيع بيانات التوجيه المتعلّم لدى الفريق توازن الاتصال والإنتاجية، لذا تظل تجربة تمثيلية ضرورية قبل إسقاط النتائج على تشغيل كامل.

حد التكلفة مادي إلى جانب كونه برمجياً. تتطلب مقارنة GPU الثمانية البارزة ثماني وحدات B300؛ واستخدمت نتيجة الإنتاجية القصوى 512. لا تقدم Ai2 في الإصدار سعراً عاماً للإيجار بالساعة أو ميزانية تدريب كاملة. يلغي ترخيص Apache 2.0 رسوم ترخيص البرنامج لهذه الشيفرة، لكنه لا يوفر وحدات GPU أو برامج تشغيل متوافقة أو الوصول إلى البيانات المذكورة أو وقت المشغّل. ويذكر README المرجعي أيضاً أن قياس تداخل دفعتين في التقرير استخدم فرعاً سابقاً للدمج، ولا يمكن إعادة إنتاجه بالسكربتات الموسومة.

النظام المفتوح مفيد لأن ادعاءاته قابلة للفحص مقابل تكوينات فعلية. يلخص إصدار Ai2 حالات أخفت فيها درجة توازن التوجيه التي بدت أفضل عملاً أقل توازناً، وحالات أبطأ فيها تداخل الاتصالات مع الحساب التدريب. تجعل هذه النتائج خطة القياس المحلية أهم: النواة السريعة أو المقياس المنفرد الملائم ليسا نتيجة تدريب متكاملة. تقول Ai2 إن الجيل التالي من Olmo سيستخدم بنية MoE؛ ويوفر هذا الإصدار منظومة التدريب وقياسات النظام قبل أي تقييم لجودة ذلك النموذج المستقبلي.

## المصادر ومزيد من القراءة

- [إعلان Ai2 في 1 أكتوبر](https://allenai.org/blog/olmocore3) يشرح البنية ويورد أرقاماً محدودة للإنتاجية والذاكرة والتوسع. الأرقام قياسات Ai2؛ لم تعِد BIG CHANGE إنتاجها.
- [إصدار Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) يثبت النسخة الموسومة وتاريخ 1 أكتوبر والحد الأدنى لـ PyTorch وتغييرات الشيفرة.[ README المستودع](https://github.com/allenai/Olmo-core) يوثق التثبيت والتبعيات الاختيارية ومحاذير صورة Docker.
- [دليل سكربت MoE المرجعي الموسوم](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) يربط تكوينات التقرير بعدد وحدات GPU والتوجيه والدقة ويشرح حدود مقارنة المنظومة القديمة بالجديدة.[ التقرير التقني](https://allenai.org/papers/olmocore3) هو الرواية الأساسية لتجارب الأنظمة؛ تعذر جلب PDF في بيئة البحث، لذا تستند الادعاءات التفصيلية هنا إلى إصدار Ai2 المتاح والسكربتات الموسومة.

## Sources

- [Ai2, Introducing Olmo-core 3](https://allenai.org/blog/olmocore3) — الإعلان الرئيسي عن البنية والنتائج المقاسة؛ الأرقام من تقرير Ai2.
- [إصدار Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) — الإصدار الموسوم ورقم النسخة وتاريخ 1 أكتوبر والحد الأدنى لـ PyTorch وسجل تغييرات الشيفرة.
- [README سكربت MoE المرجعي لـ Olmo-core v3.0.0](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) — نقاط التشغيل والتوجيه العشوائي وعدد وحدات GPU والمتطلبات وحدود المقارنة.
- [README مستودع Olmo-core والترخيص](https://github.com/allenai/Olmo-core) — التثبيت والتبعيات الاختيارية ومحاذير Docker وترخيص Apache 2.0.
- [التقرير التقني لـ Ai2](https://allenai.org/papers/olmocore3) — التقرير الرئيسي المرتبط؛ تعذر جلب PDF كاملاً؛ لم تُنسب تفاصيل تقنية فريدة إلى PDF غير مقروء.