Markdown izdanje

AI-translated from English; not yet reviewed by a fluent editor.

# Olmo-core 3 otvara Ai2-jev MoE sistem za treniranje uz ograničene rezultate GPU testova

> Ai2-jevo izdanje Olmo-core 3 od 1. oktobra nudi otvoreni MoE kod za treniranje i B300 testove. Testovi skaliranja mere propusnost sistema, a ne kvalitet istreniranog modela.

By BIG CHANGE Editorial

Published: 2026-10-13T02:08:18.598Z
Updated: 2026-10-13T02:08:18.598Z
Canonical: https://bigchange.ai/blog/ai2-olmo-core-3-moe-training-stack-benchmarks

![Conceptual charcoal illustration of an unbranded accelerator circuit board beside its separate finned heat sink.](https://bigchange.ai/api/media/file/olmocore3-gpu-board-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE. Generic accelerator components; no specific B300 design, Ai2 installation, completed training run or BIG CHANGE hardware test is depicted.

Ai2 je 1. oktobra objavio Olmo-core 3 kao otvoreni okvir za treniranje jezičkih modela sa mešavinom eksperata (MoE). Za sistemskog inženjera najkorisniji rezultat uži je od naslova o bilionu parametara: Ai2 je objavio kod, referentne konfiguracije i ograničena GPU merenja pomoću kojih se može proceniti da li ovaj skup alata vredi probati na konkretnom klasteru.

MoE šalje svaki token podskupu ekspertskih mreža. Time se ograničava računanje po tokenu, ali ceo skup eksperata i njihova stanja optimizatora i dalje moraju da stanu raspoređeni na GPU-ovima. Slanje tokena do eksperata takođe košta vreme. Olmo-core 3 menja Ai2-ov pristup tim ograničenjima: DDP sistem drži eksperte u GPU memoriji i usmerava podatke do njih, dok je ranija FSDP implementacija za mikropakete više puta prikupljala i ponovo delila težine. Novi sistem kombinuje paralelizam eksperata i cevovoda, distribuirano stanje optimizatora, GPU-rezidentno usmeravanje i grupisano računanje eksperata. Ai2 podržava i MXFP8 za odabrane operacije. To su dizajnerske odluke koje tim može da pregleda i podesi, a ne obećanje iste brzine na drugom klasteru.

## Velika promena

Olmo-core 3 stavlja Ai2-ovu veliku MoE infrastrukturu za treniranje na raspolaganje kao Apache 2.0 kod i referentne skripte. Ai2 testovi pokazuju veću propusnost nego raniji sistem u određenom poređenju sa osam B300, kao i da konfiguracija sa 1,2 biliona parametara i nasumičnim usmeravanjem može da radi na 512 B300 GPU-ova. To ne utvrđuje kvalitet istreniranog modela te veličine niti brzinu čitaočeve radne obrade. Praktična korist je proverljiva polazna tačka za reprodukciju konfiguracija, merenje lokalnog uskog grla i procenu koji paralelizam i preciznost opravdavaju skup trening.

## Tri brojke, tri imenitelja

Ai2-ovo preliminarno poređenje MoE modela od 47 milijardi parametara koristilo je osam Nvidia B300 GPU-ova. Novi sistem je obradio 52.000 tokena u sekundi **po GPU-u**, naspram 19.400 u ranijoj FSDP implementaciji. Odnos je 52.000 ÷ 19.400 = 2,68, zaokruženo na 2,7 puta. To je interno poređenje starog i novog *sistema* , a ne merenje prema Megatron-Core-u niti čista ablacija samo za DDP. Najbliže poređenje u označenim primerima, DDP+paralelizam eksperata prema FSDP/HSDP, drži oblik modela i period merenja istim, ali menja ruter, retke kernеле, optimizator i druge detalje implementacije.

Rezultat „manje od 5%“ odgovara na drugo pitanje. Ai2 je povećao skup sa 8 na 128 eksperata, birajući četiri po tokenu. Ukupan kapacitet porastao je sa 4,6 na 47 milijardi parametara, dok je broj aktivnih parametara po tokenu ostao oko 3,2 milijarde. Propusnost je pala manje od 5% **između tih konfiguracija skupa eksperata**. To ne znači da je novi sistem samo 5% sporiji od starog niti da je dodavanje 16 puta više eksperata besplatno u svakom podešavanju. Izdanje nema dovoljno podataka da se procenat pretvori u trošak čitaoca u dolarima.

Rezultat skaliranja ima treći imenitelj: Ai2 navodi najvišu zabeleženu brzinu od 858 TFLOP/s **po GPU-u** za konfiguraciju sa ukupno 1,2 biliona parametara, od kojih je 58,36 milijardi aktivno po tokenu, na 512 B300 GPU-ova. Referentna tabela v3.0.0 ovu Ultra-128E stavku označava kao nasumično usmeravanje, MXFP8 i rekalkulaciju po sloju. Nasumično usmeravanje meri putanju sistema, ali ne proverava da li naučeni ruter daje dobar model. Konfiguracija od 2,38 biliona parametara koristila je DeepEP v2 u kratkom testu kapaciteta. Ai2 to opisuje kao proveru skaliranja, ne kao kontinuirano treniranje. Nijedan broj nije tačnost treniranog modela, kvalitet korisnog izlaza niti dokaz stabilne ekonomike punog treninga.

Ai2 navodi i kontrolisano poređenje na četiri B300: u odnosu na BF16, MXFP8 je povećao krajnju propusnost treniranja oko 21% i smanjio vršnu aktivnu memoriju sa 103 GiB na 95 GiB, uz ravnomerno raspoređen posao među ekspertima. Taj rezultat se odnosi na ispitane izbore preciznosti i radno opterećenje. Ne može se dodati broju od 2,7 puta kao da oba merenja imaju istu osnovu.

## Šta inženjer zaista može da isproba

Izdanje repozitorijuma od 1. oktobra `v3.0.0` je javno dostupno pod Apache 2.0 licencom. README preporučuje da se prvo instalira PyTorch za ciljni operativni sistem i hardver, zatim da se instalira `ai2-olmo-core` sa PyPI-ja ili klonira repozitorijum za razvoj. Označena verzija `src/examples/olmo_ddp/README.md` povezuje prijavljene radne tačke sa skriptama i navodi `torchrun` kao generički način pokretanja. Produkcione skripte pretpostavljaju osam GPU-ova po čvoru i broj čvorova zadaju u `REF_NUM_NODES`. To su primeri za one koji već imaju distribuirano GPU okruženje, a ne put do reprodukcije Ai2-ovih B300 rezultata jednom komandom.

Skripte za izveštaje zahtevaju bitan pristup. README navodi dodatak `beaker`, FlashAttention 4, direktorijum `/workspace` sa pravom pisanja i pristup za čitanje Ai2-ovog `s3://ai2-llm` skupa podataka; putanja DeepEP v2 dodatno zahteva preuzetu DeepEP kopiju. Glavni Ai2 README kaže da javne Docker slike sadrže zavisnosti, ali ne i Olmo-core paket, i upozorava da drugi hardver ili verzije drajvera/CUDA mogu zahtevati prilagođenu sliku. v3.0.0 podiže minimum za PyTorch na 2.10.0. Pregledali smo te dokumente i označenu referentnu tabelu; BIG CHANGE nije instalirao paket, dobio pristup skupu podataka, rezervisao GPU-ove niti pokrenuo trening.

Za lokalnu procenu počnite od označenog referentnog reda koji je najbliži planiranoj veličini modela i dostupnom hardveru, pa proverite svaku zavisnost i nedostupnu putanju podataka pre rezervacije računanja. Uporedite tokene u sekundi po GPU-u uz iste dužinu sekvence, paket, usmeravanje, preciznost i period merenja; zasebno pratite vršnu memoriju i ponašanje kontrolnih tačaka. Objavljeni produkcioni redovi koriste sekvencu dužine 8.192, top-four usmeravanje i jednog zajedničkog eksperta. Tiny i Small imaju prateće skripte za naučeno usmeravanje, dok veći redovi u naslovu koriste nasumično usmeravanje. Raspodela podataka za naučeno usmeravanje može promeniti ravnotežu komunikacije i propusnost, pa je reprezentativni pilot neophodan pre projekcije punog treninga.

Granica troška je i fizička, ne samo softverska. Istaknuto poređenje na osam GPU-ova zahteva osam B300; najveći rezultat propusnosti koristio je 512. Ai2 u izdanju ne navodi opštu cenu najma po satu ni ceo budžet treninga. Apache 2.0 uklanja licencnu naknadu za ovaj kod, ali ne obezbeđuje GPU-ove, kompatibilne drajvere, navedeni pristup podacima ni vreme operatera. Referentni README kaže i da je merenje izveštaja sa preklapanjem dva paketa koristilo granu pre spajanja i da se ne može reprodukovati iz označenih skripti.

Otvoreni sistem je koristan zato što se njegove tvrdnje mogu proveriti na stvarnim konfiguracijama. Ai2-ov pregled opisuje slučajeve u kojima je naizgled bolji rezultat ravnoteže usmeravanja prikrio manje ravnomeran rad, kao i slučajeve gde je preklapanje komunikacije i računanja usporilo trening. Ti nalazi čine lokalni plan merenja važnijim: brz kernel ili povoljna pojedinačna metrika nisu krajnji rezultat treninga. Ai2 kaže da će sledeća generacija Olmo koristiti MoE arhitekturu; ovo izdanje pruža sistem za treniranje i merenja pre bilo kakve procene kvaliteta tog budućeg modela.

## Izvori i dodatno čitanje

- [Ai2-ovo izdanje od 1. oktobra](https://allenai.org/blog/olmocore3) objašnjava arhitekturu i ograničene brojke propusnosti, memorije i skaliranja. To su Ai2-ova merenja; BIG CHANGE ih nije reprodukovao.
- [Izdanje Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) utvrđuje označenu verziju, datum izdanja 1. oktobra, minimum za PyTorch i promene koda.[ README repozitorijuma](https://github.com/allenai/Olmo-core) opisuje instalaciju, opcione zavisnosti i napomene o Docker slikama.
- [Vodič za označene MoE referentne skripte](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) povezuje konfiguracije izveštaja sa brojem GPU-ova, usmeravanjem i preciznošću i objašnjava ograničenja poređenja starog i novog sistema.[ Tehnički izveštaj](https://allenai.org/papers/olmocore3) glavni je izvor za eksperimente sistema; PDF nije mogao biti preuzet u našem istraživačkom okruženju, pa se detalji ovde oslanjaju na Ai2-ovo dostupno izdanje i označene skripte.

## Sources

- [Ai2, Introducing Olmo-core 3](https://allenai.org/blog/olmocore3) — Primarna objava arhitekture i merenih rezultata; brojke je prijavio Ai2.
- [Olmo-core v3.0.0 izdanje](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) — Označeno izdanje, datum 1. oktobar, minimum PyTorch-a i evidencija promena koda.
- [Olmo-core v3.0.0 MoE README referentnih skripti](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) — Radne tačke, nasumično usmeravanje, broj GPU-ova, preduslovi i ograničenja poređenja.
- [Olmo-core README repozitorijuma i licenca](https://github.com/allenai/Olmo-core) — Instalacija, opcione zavisnosti, Docker napomene i Apache 2.0 licenca.
- [Ai2 tehnički izveštaj](https://allenai.org/papers/olmocore3) — Povezani primarni izveštaj; preuzimanje celog PDF-a nije uspelo; nijedan jedinstveni tehnički detalj nije pripisan nepročitanom PDF-u.