Olmo-core 3 inilalabas ng Ai2 ang MoE training stack, na may limitadong GPU result

Inilabas ng Ai2 ang Olmo-core 3 noong Oktubre 1 bilang bukas na training framework para sa mga mixture-of-experts (MoE) language model. Mas makitid kaysa sa headline na trillion-parameter ang pinakakapaki-pakinabang na resulta nito para sa systems engineer: inilathala ng Ai2 ang code, reference configuration at limitadong GPU measurement para mapagpasiyahan kung sulit subukan ang stack sa isang partikular na cluster.

Nagpapadala ang MoE ng bawat token sa isang subset ng mga expert network. Nililimitahan nito ang computation bawat token, pero kailangan pa ring mailagay sa mga GPU ang buong expert pool at optimizer state nito. May oras ding kailangan sa paglipat ng mga token papunta sa mga expert. Binabago ng Olmo-core 3 kung paano hinaharap ng Ai2 ang dalawang limitasyong ito: iniiwan ng DDP-based system nito ang mga expert sa GPU at niruruta ang data papunta sa kanila, samantalang paulit-ulit na tinitipon at muling hinahati ng dating FSDP implementation ang mga weight para sa microbatch. Pinagsasama ng bagong stack ang expert at pipeline parallelism, distributed optimizer state, GPU-resident routing at grouped expert computation. Sinusuportahan din ng Ai2 ang MXFP8 para sa piling operasyon. Mga disenyong maaaring suriin at i-configure ng team ang mga ito, hindi pangako na pareho ang bilis sa ibang cluster.

Ang malaking pagbabago

Inilalapit ng Olmo-core 3 ang malawak na MoE training machinery ng Ai2 sa pamamagitan ng Apache 2.0 code at mga reference script. Ipinakikita ng mga test ng Ai2 ang mas mataas na throughput kaysa sa dati nitong stack sa isang partikular na paghahambing na may walong B300 at na kayang patakbuhin sa 512 B300 ang isang random-routed configuration na may 1.2-trilyong parameter. Hindi nito pinatutunayan ang kalidad ng sinanay na trillion-parameter model o ang bilis sa workload ng mambabasa. Ang praktikal na pakinabang ay isang masusuring panimulang punto para ulitin ang mga configuration, sukatin ang lokal na bottleneck at magpasya kung sulit sa magastos na training run ang mga setting ng parallelism at precision.

Tatlong numero, tatlong denominator

Gumamit ng walong Nvidia B300 GPU ang paunang paghahambing ng Ai2 sa 47-bilyong-parameter na MoE. Nagproseso ang bagong stack ng 52,000 token bawat segundo bawat GPU, kumpara sa 19,400 sa naunang FSDP-based implementation. Ang ratio ay 52,000 ÷ 19,400 = 2.68, o 2.7 beses kapag ni-round. Panloob itong paghahambing ng luma at bagong stack , hindi pagsukat laban sa Megatron-Core o malinis na DDP-only ablation. Pinakamalapit sa mga tagged example ang paghahambing ng DDP+expert-parallel sa FSDP/HSDP: pareho ang hugis ng modelo at measurement window, pero nag-iiba rin ang router, sparse kernel, optimizer at iba pang detalye ng implementation.

Iba ang tanong na sinasagot ng resultang “mas mababa sa 5%.” Pinalaki ng Ai2 ang pool mula 8 tungo sa 128 expert habang apat ang pinipili bawat token. Umakyat ang kabuuang kapasidad mula 4.6 bilyon tungo sa 47 bilyong parameter, habang nanatili sa humigit-kumulang 3.2 bilyon ang aktibong parameter bawat token. Bumaba nang mas mababa sa 5% ang throughput sa pagitan ng dalawang configuration ng expert pool. Hindi nito sinasabing 5% lang na mas mabagal ang bagong stack kaysa sa luma o walang gastos ang 16 na ulit na dagdag na expert sa bawat setup. Kulang ang impormasyon sa release para gawing tantiya ng gastos ng mambabasa sa dolyar ang porsiyentong iyon.

May ikatlong denominator ang scale result: iniulat ng Ai2 ang pinakamataas na naobserbahang 858 TFLOP/s bawat GPU para sa configuration na may kabuuang 1.2 trilyong parameter, 58.36 bilyong aktibo bawat token, sa 512 B300 GPU. Tinutukoy ng reference table ng v3.0.0 ang Ultra-128E row na ito bilang random-routed, MXFP8 at per-layer recomputation. Sinusukat ng random routing ang system path nang hindi sinusubok kung nakakalikha ng mahusay na modelo ang natutunang router. Gumamit ang configuration na 2.38-trilyong parameter ng DeepEP v2 sa maikling capacity test. Inilarawan ito ng Ai2 bilang scale check, hindi tuluy-tuloy na training. Wala sa dalawang numero ang accuracy ng sinanay na modelo, kapaki-pakinabang na kalidad ng output, o patunay ng matatag na ekonomiya ng buong training run.

Iniulat din ng Ai2 ang kontroladong paghahambing sa apat na B300 kung saan tinaasan ng MXFP8 nang humigit-kumulang 21% ang end-to-end training throughput laban sa BF16 at ibinaba ang peak active memory mula 103 GiB tungo sa 95 GiB, habang pantay ang pamamahagi ng trabaho sa mga expert. Para lamang iyon sa sinubok na precision choice at workload. Hindi ito maaaring idagdag sa bilang na 2.7 beses na para bang iisa ang baseline ng dalawang sukat.

Ano ang aktuwal na masusubukan ng engineer

Pampubliko sa ilalim ng Apache 2.0 ang release ng repository noong Oktubre 1 v3.0.0 . Sinasabi ng README na i-install muna ang PyTorch para sa target na operating system at hardware, saka i-install ang ai2-olmo-core mula sa PyPI o ang nakopyang repository para sa development. Iniuugnay ng tagged src/examples/olmo_ddp/README.md ang iniulat na operating point sa mga script at inilalarawan ang torchrun bilang pangkalahatang paraan ng paglunsad. Ipinapalagay ng production script ang walong GPU bawat node at itinatakda ang bilang ng node sa REF_NUM_NODES. Mga halimbawa ito para sa may distributed GPU environment na, hindi one-command na paraan para ulitin ang B300 result ng Ai2.

May mahahalagang access requirement ang report script. Binabanggit ng README nito ang beaker extra, FlashAttention 4, isang maisusulat na /workspace at read access sa data mix ng Ai2 na s3://ai2-llm; kailangan din ng DeepEP checkout ang DeepEP v2 path. Sinasabi ng pangunahing README ng Ai2 na may dependency ang mga pampublikong Docker image nito pero wala ang Olmo-core package, at maaaring mangailangan ng inangkop na image ang ibang hardware o driver/CUDA version. Itinataas ng release na v3.0.0 ang minimum na suportadong PyTorch sa 2.10.0. Sinuri namin ang mga dokumentong ito at ang tagged reference table; hindi nag-install ang BIG CHANGE ng package, kumuha ng access sa data mix, nagreserba ng GPU o nagpatakbo ng training job.

Para sa lokal na evaluation, magsimula sa tagged reference row na pinakamalapit sa nilalayong laki ng modelo at available na hardware, saka isaalang-alang ang bawat dependency at hindi maa-access na data path bago magreserba ng compute. Ihambing ang token kada segundo bawat GPU gamit ang parehong sequence length, batch, routing, precision at measurement window; hiwalay na bantayan ang peak memory at checkpoint behavior. Gumagamit ang published production row ng sequence length na 8,192, top-four routing at isang shared expert. May kasamang learned-routing script ang Tiny at Small, samantalang random-routed ang mas malalaking headline row. Maaaring baguhin ng learned-routing data distribution ng team ang balanse ng komunikasyon at throughput, kaya kailangan pa rin ng kinatawang pilot bago magproyekto ng buong run.

Pisikal din ang hangganan ng gastos, hindi lang software. Nangangailangan ng walong B300 ang tampok na paghahambing sa walong GPU; gumamit ng 512 ang pinakamataas na throughput result. Walang pangkalahatang orasang renta o buong training budget na ibinigay ang Ai2 sa release. Inaalis ng Apache 2.0 license ang software licensing fee para sa code na ito, pero hindi nito ibinibigay ang GPU, compatible driver, pinangalanang data access o oras ng operator. Sinasabi rin ng reference README na gumamit ang dalawang-batch-overlap measurement sa report ng pre-merge branch at hindi ito mauulit mula sa tagged script.

Kapaki-pakinabang ang bukas na system dahil maaaring suriin ang mga pahayag nito laban sa aktuwal na configuration. Binubuod ng release ng Ai2 ang mga kasong itinago ng mukhang mas mahusay na routing-balance score ang mas hindi balanseng trabaho, at pinabagal ng overlap ng komunikasyon at computation ang training. Mas mahalaga dahil dito ang lokal na plano ng pagsukat: hindi end-to-end training result ang mabilis na kernel o magandang iisang metric. Sinasabi ng Ai2 na gagamit ang susunod na henerasyon ng Olmo ng MoE architecture; inilalabas muna rito ang training stack at system measurement bago masuri ang kalidad ng modelong iyon.

Mga source at karagdagang babasahin

• Release ng Ai2 noong Oktubre 1 ang nagpapaliwanag sa architecture at naglilista ng limitadong throughput, memory at scale figure. Sukat ng Ai2 ang mga bilang; hindi ito inulit ng BIG CHANGE.
• Release ng Olmo-core v3.0.0 nagtatakda sa tagged version, petsa ng release, minimum na PyTorch at pagbabago sa code. README ng repository nagdodokumento ng installation, optional dependency at caveat sa Docker image.
• Gabay sa tagged MoE reference script inuugnay ang report configuration sa GPU count, routing at precision at ipinapaliwanag ang limitasyon ng paghahambing ng luma at bagong stack. Technical report pangunahing salaysay ng systems experiment; hindi nakuha ang PDF nito sa aming research environment kaya nakabatay ang detalyadong pahayag rito sa naa-access na release at tagged script.