Markdown издање

AI-translated from English; not yet reviewed by a fluent editor.

# Olmo-core 3 отвара Ai2-ов MoE систем за обуку, уз ограничене резултате на GPU-овима

> Издање Olmo-core 3 компаније Ai2 од 1. октобра нуди отворени код за MoE обуку и B300 тестове. Тестови размере мере пропусност система, а не квалитет обученог модела.

By BIG CHANGE Editorial

Published: 2026-10-13T02:08:18.598Z
Updated: 2026-10-13T02:08:18.598Z
Canonical: https://bigchange.ai/blog/ai2-olmo-core-3-moe-training-stack-benchmarks

![Conceptual charcoal illustration of an unbranded accelerator circuit board beside its separate finned heat sink.](https://bigchange.ai/api/media/file/olmocore3-gpu-board-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE. Generic accelerator components; no specific B300 design, Ai2 installation, completed training run or BIG CHANGE hardware test is depicted.

Ai2 је 1. октобра објавио Olmo-core 3 као отворени оквир за обуку језичких модела са мешовитим експертима (MoE). Најкориснији резултат за системског инжењера ужи је од наслова о билиону параметара: Ai2 је објавио код, референтне конфигурације и ограничена мерења на GPU-овима како би тимови одлучили да ли овај систем вреди испробати на одређеном кластеру.

MoE усмерава сваки токен ка подскупу својих експертских мрежа. То ограничава рачунање по токену, али читав скуп експерата и њихово стање оптимизатора и даље морају да стану на GPU-ове. И пренос токена до експерата кошта време. Olmo-core 3 мења начин на који Ai2 решава ова два ограничења: његов систем заснован на DDP-у оставља експерте на GPU-овима и усмерава податке до њих, док је ранија имплементација заснована на FSDP-у више пута прикупљала и поново делила тежине за микропакете. Нови систем спаја експертски и цевоводни паралелизам, дистрибуирано стање оптимизатора, усмеравање уз стално присуство на GPU-у и груписано рачунање експерата. Ai2 подржава и MXFP8 за одабране операције. То су избори дизајна које тим може да провери и конфигурише, а не обећање исте брзине на другом кластеру.

## Шта је ново

Olmo-core 3 чини Ai2-ове опсежне алате за MoE обуку доступним као Apache 2.0 код и референтне скрипте. Ai2 тестови показују већу пропусност од ранијег система у конкретном поређењу са осам B300 и показују да конфигурација од 1,2 билиона параметара са насумичним усмеравањем може да ради на 512 B300. То не утврђује квалитет обученог модела те величине нити брзину радног оптерећења читаоца. Практична корист је проверљива полазна тачка за понављање конфигурација, мерење локалног уског грла и процену које поставке паралелизма и прецизности оправдавају скупо тренирање.

## Три броја, три имениоца

Ai2-ово прелиминарно поређење MoE модела од 47 милијарди параметара користило је осам Nvidia B300 GPU-ова. Нови систем обрадио је 52.000 токена у секунди **по GPU-у**, уместо 19.400 у ранијој имплементацији заснованој на FSDP-у. Однос је 52.000 ÷ 19.400 = 2,68, односно заокружено 2,7 пута. То је интерно поређење старог и новог *система* , а не мерење у односу на Megatron-Core нити чиста аблација само за DDP. Најближе поређење у означеним примерима, DDP+паралелизам експерата према FSDP/HSDP, задржава облик модела и период мерења, али мења рутер, ретке језгре, оптимизатор и друге детаље имплементације.

Резултат „мање од 5%“ одговара на друго питање. Ai2 је повећао скуп са 8 на 128 експерата и бирао четири по токену. Укупни капацитет порастао је са 4,6 на 47 милијарди параметара, док је број активних параметара по токену остао око 3,2 милијарде. Пропусност је пала мање од 5% **између тих конфигурација скупа експерата**. То не значи да је нови систем само 5% спорији од старог нити да додавање 16 пута више експерата не кошта ништа у сваком подешавању. Издање нема довољно података да се проценат претвори у доларски трошак за читаоца.

Резултат размере има трећи именилац: Ai2 пријављује највећих забележених 858 TFLOP/s **по GPU-у** за конфигурацију са укупно 1,2 билиона параметара и 58,36 милијарди активних по токену, на 512 B300 GPU-ова. Референтна табела v3.0.0 означава тај Ultra-128E ред као насумично усмераван, MXFP8 и поновно рачунање по слоју. Насумично усмеравање мери системску путању, а не проверава да ли научени рутер ствара добар модел. Конфигурација са 2,38 билиона параметара користила је DeepEP v2 у кратком тесту капацитета. Ai2 је описује као проверу размере, а не трајни тренинг. Ниједан број није тачност обученог модела, квалитет корисног излаза нити доказ стабилне економике целог тренинга.

Ai2 пријављује и контролисано поређење са четири B300, у ком је MXFP8 повећао пропусност тренинга од почетка до краја за око 21% у односу на BF16 и смањио вршну активну меморију са 103 GiB на 95 GiB, уз равномерну расподелу рада по експертима. Резултат важи за испитане изборе прецизности и радно оптерећење. Не може се додати броју од 2,7 пута као да мерења имају исту основу.

## Шта инжењер заиста може да испроба

Издање репозиторијума од 1. октобра `v3.0.0` доступно је под лиценцом Apache 2.0. README саветује да се прво инсталира PyTorch за циљни оперативни систем и хардвер, а затим инсталира `ai2-olmo-core` са PyPI-ја или клонирани репозиторијум за развој. Означени `src/examples/olmo_ddp/README.md` повезује пријављене радне тачке са скриптама и наводи `torchrun` као општи начин покретања. Продукционе скрипте претпостављају осам GPU-ова по чвору и број чворова задају у `REF_NUM_NODES`. То су примери за људе који већ имају дистрибуирано GPU окружење, а не начин да се резултати Ai2 на B300 понове једном командом.

Скрипте извештаја имају важне захтеве за приступ. README наводи додатак `beaker`, FlashAttention 4, директоријум у који може да се пише `/workspace` и приступ читању Ai2-овог скупа података `s3://ai2-llm`; путања DeepEP v2 захтева и копију DeepEP репозиторијума. Главни README Ai2-а каже да јавне Docker слике садрже зависности, али не и пакет Olmo-core, и упозорава да други хардвер или верзије драјвера/CUDA могу захтевати прилагођену слику. Издање v3.0.0 подиже минимално подржану верзију PyTorch-а на 2.10.0. Прегледали смо ове документе и означену референтну табелу; BIG CHANGE није инсталирао пакет, добио приступ скупу података, резервисао GPU-ове нити покренуо посао обуке.

За локалну процену почните од означеног референтног реда који је најближи намераваној величини модела и доступном хардверу, па проверите сваку зависност и недоступну путању до података пре резервисања рачунарских ресурса. Упоредите токене у секунди по GPU-у при истој дужини секвенце, пакету, усмеравању, прецизности и периоду мерења; одвојено пратите вршну меморију и понашање контролних тачака. Објављени продукциони редови користе дужину секвенце 8.192, top-four усмеравање и једног заједничког експерта. Tiny и Small имају пратеће скрипте за научено усмеравање, док већи редови из наслова користе насумично усмеравање. Расподела података за научено усмеравање може променити равнотежу комуникације и пропусност, па је репрезентативни пилот и даље неопходан пре пројекције целог тренинга.

Граница трошка је и физичка, не само софтверска. Истакнуто поређење са осам GPU-ова захтева осам B300; највећи резултат пропусности користио је 512. Ai2 у издању не даје општу цену изнајмљивања по сату нити укупан буџет тренинга. Лиценца Apache 2.0 уклања накнаду за лиценцирање овог софтвера, али не обезбеђује GPU-ове, компатибилне драјвере, наведени приступ подацима ни време оператера. Референтни README такође каже да је мерење преклапања два пакета у извештају користило грану пре спајања и да не може да се понови означеним скриптама.

Отворени систем је користан јер се његове тврдње могу проверити према стварним конфигурацијама. Ai2-ово издање описује случајеве у којима је наизглед бољи резултат равнотеже усмеравања прикривао мање уравнотежен рад и у којима је преклапање комуникације са рачунањем успорило обуку. Зато је локални план мерења важнији: брзо језгро или повољна појединачна метрика нису резултат тренинга од почетка до краја. Ai2 каже да ће следећа генерација Olmo користити MoE архитектуру; ово издање пружа систем за обуку и системска мерења пре процене квалитета тог будућег модела.

## Извори и додатно читање

- [Ai2-ово издање од 1. октобра](https://allenai.org/blog/olmocore3) објашњава архитектуру и ограничене бројеве пропусности, меморије и размере. То су мерења Ai2-а; BIG CHANGE их није поновио.
- [Издање Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) утврђује означену верзију, датум издања 1. октобар, минимум PyTorch-а и измене кода.[ README репозиторијума](https://github.com/allenai/Olmo-core) описује инсталацију, опционе зависности и ограничења Docker слика.
- [Водич за означену MoE референтну скрипту](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) повезује конфигурације из извештаја са бројем GPU-ова, усмеравањем и прецизношћу и објашњава ограничења поређења старог и новог система.[ Технички извештај](https://allenai.org/papers/olmocore3) главни је приказ системских експеримената; PDF није могао да се преузме у нашем истраживачком окружењу, па се детаљне тврдње овде ослањају на доступно издање Ai2-а и означене скрипте.

## Sources

- [Ai2, Introducing Olmo-core 3](https://allenai.org/blog/olmocore3) — Главна најава архитектуре и измерених резултата; бројке које је пријавио Ai2.
- [Издање Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) — Означено издање, верзија, датум 1. октобар, минимум PyTorch-а и запис измена кода.
- [README MoE референтне скрипте Olmo-core v3.0.0](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) — Радне тачке, насумично усмеравање, број GPU-ова, предуслови и ограничења поређења.
- [README репозиторијума Olmo-core и лиценца](https://github.com/allenai/Olmo-core) — Инсталација, опционе зависности, напомене о Docker-у и лиценца Apache 2.0.
- [Технички извештај Ai2-а](https://allenai.org/papers/olmocore3) — Повезани главни извештај; преузимање целог PDF-а није успело; ниједан јединствени технички детаљ није приписан непрочитаном PDF-у.