AI-translated from English; not yet reviewed by a fluent editor.

# Olmo-core 3 membuka stack pelatihan MoE Ai2, dengan hasil GPU yang terbatas

> Rilis Olmo-core 3 dari Ai2 pada 1 Oktober menyediakan kode pelatihan MoE terbuka dan tolok ukur B300. Uji skala mengukur throughput sistem, bukan kualitas model terlatih.

By BIG CHANGE Editorial

Published: 2026-10-13T02:08:18.598Z
Updated: 2026-10-13T02:08:18.598Z
Canonical: https://bigchange.ai/blog/ai2-olmo-core-3-moe-training-stack-benchmarks

![Conceptual charcoal illustration of an unbranded accelerator circuit board beside its separate finned heat sink.](https://bigchange.ai/api/media/file/olmocore3-gpu-board-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE. Generic accelerator components; no specific B300 design, Ai2 installation, completed training run or BIG CHANGE hardware test is depicted.

Ai2 merilis Olmo-core 3 pada 1 Oktober sebagai kerangka terbuka untuk melatih model bahasa campuran pakar (MoE). Bagi insinyur sistem, hasil paling berguna lebih terbatas daripada tajuk triliun parameter: Ai2 menerbitkan kode, konfigurasi acuan, dan pengukuran GPU terbatas untuk menilai apakah stack ini layak diuji pada klaster tertentu.

MoE mengirim tiap token ke sebagian jaringan pakarnya. Ini membatasi komputasi per token, tetapi seluruh kumpulan pakar dan status optimizer tetap harus ditempatkan di GPU yang tersebar. Mengirim token ke pakar juga memakan waktu. Olmo-core 3 mengubah cara Ai2 menangani dua kendala itu: sistem berbasis DDP membiarkan pakar tetap di GPU dan mengarahkan data ke sana; implementasi berbasis FSDP sebelumnya berulang kali mengumpulkan dan membagi ulang bobot untuk microbatch. Stack baru menggabungkan paralelisme pakar dan pipeline, status optimizer terdistribusi, routing yang tinggal di GPU, serta komputasi pakar berkelompok. Ai2 juga mendukung MXFP8 untuk operasi tertentu. Ini pilihan desain yang dapat diperiksa dan diatur tim, bukan janji kecepatan sama di klaster lain.

## Perubahan besar

Olmo-core 3 menyediakan perangkat pelatihan MoE skala besar Ai2 sebagai kode Apache 2.0 dan skrip acuan. Uji Ai2 menunjukkan throughput lebih tinggi daripada stack sebelumnya dalam perbandingan khusus delapan B300, serta konfigurasi 1,2 triliun parameter dengan routing acak dapat berjalan pada 512 B300. Ini tidak menetapkan kualitas model terlatih sebesar itu atau kecepatan beban kerja pembaca. Manfaat praktisnya adalah titik awal yang dapat diperiksa untuk mereproduksi konfigurasi, mengukur hambatan lokal, dan menentukan setelan paralelisme serta presisi yang layak untuk pelatihan mahal.

## Tiga angka, tiga penyebut

Perbandingan awal Ai2 untuk MoE 47 miliar parameter berjalan pada delapan GPU Nvidia B300. Stack baru memproses 52.000 token per detik **per GPU**, dibanding 19.400 pada implementasi FSDP sebelumnya. Rasio 52.000 ÷ 19.400 = 2,68, dibulatkan menjadi 2,7 kali. Ini perbandingan internal *stack* lama dan baru, bukan pengukuran terhadap Megatron-Core atau ablasi DDP saja yang bersih. Perbandingan DDP+paralelisme pakar versus FSDP/HSDP terdekat di contoh bertag mempertahankan bentuk model dan jendela ukur, tetapi juga mengubah router, kernel sparse, optimizer, dan rincian implementasi lain.

Hasil “kurang dari 5%” menjawab pertanyaan berbeda. Ai2 menambah kumpulan dari 8 menjadi 128 pakar sambil memilih empat per token. Kapasitas total naik dari 4,6 miliar ke 47 miliar parameter, sementara parameter aktif per token tetap sekitar 3,2 miliar. Throughput turun kurang dari 5% **antara konfigurasi kumpulan pakar tersebut**. Ini bukan berarti stack baru hanya 5% lebih lambat dari yang lama, atau menambah 16 kali pakar selalu gratis. Rilis tidak memberi cukup informasi untuk mengubah persentase itu menjadi biaya dolar pembaca.

Hasil skala memiliki penyebut ketiga: Ai2 melaporkan maksimum teramati 858 TFLOP/s **per GPU** untuk konfigurasi total 1,2 triliun parameter, dengan 58,36 miliar aktif per token, pada 512 GPU B300. Tabel acuan v3.0.0 menandai baris Ultra-128E ini sebagai random-routed, MXFP8, dan rekalkulasi per lapisan. Routing acak mengukur jalur sistem, bukan apakah router terlatih menghasilkan model yang baik. Konfigurasi 2,38 triliun parameter memakai DeepEP v2 dalam uji kapasitas singkat. Ai2 menyebutnya pemeriksaan skala, bukan pelatihan berkelanjutan. Kedua angka bukan akurasi model terlatih, kualitas keluaran yang berguna, atau bukti ekonomi pelatihan penuh yang stabil.

Ai2 juga melaporkan perbandingan terkendali empat B300: dibanding BF16, MXFP8 menaikkan throughput pelatihan end-to-end sekitar 21% dan menurunkan memori aktif puncak dari 103 GiB ke 95 GiB, dengan pekerjaan tersebar merata pada pakar. Hasil itu berlaku untuk pilihan presisi dan beban kerja yang diuji. Angka itu tidak bisa ditambahkan ke hasil 2,7 kali seolah keduanya memakai baseline yang sama.

## Apa yang benar-benar dapat dicoba insinyur

Rilis repositori 1 Oktober `v3.0.0` terbuka dengan Apache 2.0. README menyarankan memasang PyTorch untuk OS dan perangkat keras target terlebih dahulu, lalu memasang `ai2-olmo-core` dari PyPI atau memakai repositori kloning untuk pengembangan. Versi bertag `src/examples/olmo_ddp/README.md` menghubungkan titik operasi yang dilaporkan ke skrip dan mendokumentasikan `torchrun` sebagai jalur peluncuran umum. Skrip produksi mengasumsikan delapan GPU per node dan menetapkan jumlah node di `REF_NUM_NODES`. Ini contoh bagi orang yang sudah memiliki lingkungan GPU terdistribusi, bukan cara satu perintah untuk mereproduksi hasil B300 Ai2.

Skrip laporan memiliki persyaratan akses penting. README mencantumkan ekstra `beaker`, FlashAttention 4, `/workspace` yang dapat ditulis, dan akses baca ke campuran data Ai2 `s3://ai2-llm`; jalur DeepEP v2 juga memerlukan checkout DeepEP. README utama Ai2 menyebut image Docker publik memuat dependensi, tetapi tidak paket Olmo-core, serta memperingatkan perangkat keras atau versi driver/CUDA lain mungkin memerlukan image yang disesuaikan. v3.0.0 menaikkan PyTorch minimum ke 2.10.0. Kami meninjau dokumen dan tabel acuan bertag; BIG CHANGE tidak memasang paket, memperoleh akses data, memesan GPU, atau menjalankan pekerjaan pelatihan.

Untuk evaluasi lokal, mulai dari baris acuan bertag yang paling dekat dengan ukuran model dan perangkat keras tersedia, lalu periksa setiap dependensi dan jalur data yang tak dapat diakses sebelum memesan komputasi. Bandingkan token per detik per GPU dengan panjang urutan, batch, routing, presisi, dan jendela pengukuran yang sama; pantau memori puncak dan perilaku checkpoint secara terpisah. Baris produksi yang diterbitkan memakai panjang urutan 8.192, routing top-four, dan satu pakar bersama. Tiny dan Small memiliki skrip pendamping learned-routing, sedangkan baris besar di tajuk menggunakan routing acak. Distribusi data learned-routing tim dapat mengubah keseimbangan komunikasi dan throughput, jadi pilot representatif tetap perlu sebelum memproyeksikan pelatihan penuh.

Batas biaya bersifat fisik sekaligus perangkat lunak. Perbandingan delapan GPU yang ditonjolkan memerlukan delapan B300; hasil throughput tertinggi memakai 512. Ai2 tidak memberikan tarif sewa umum per jam atau anggaran pelatihan penuh dalam rilis. Lisensi Apache 2.0 menghapus biaya lisensi perangkat lunak untuk kode ini, tetapi tidak menyediakan GPU, driver kompatibel, akses data yang disebutkan, atau waktu operator. README acuan juga menyebut pengukuran tumpang tindih dua batch pada laporan memakai cabang sebelum penggabungan dan tidak dapat direproduksi dari skrip bertag.

Sistem terbuka berguna karena klaimnya dapat diperiksa terhadap konfigurasi nyata. Ringkasan Ai2 menjelaskan kasus ketika skor keseimbangan routing yang tampak lebih baik menyembunyikan pekerjaan yang kurang seimbang, serta tumpang tindih komunikasi dengan komputasi memperlambat pelatihan. Temuan itu membuat rencana pengukuran lokal makin penting: kernel cepat atau satu metrik bagus bukan hasil pelatihan end-to-end. Ai2 mengatakan generasi Olmo berikutnya akan memakai arsitektur MoE; rilis ini menyediakan stack pelatihan dan pengukuran sistem sebelum penilaian kualitas model masa depan itu.

## Sumber dan bacaan lanjutan

- [Rilis Ai2 1 Oktober](https://allenai.org/blog/olmocore3) menjelaskan arsitektur dan angka throughput, memori, skala yang terbatas. Angka berasal dari pengukuran Ai2; BIG CHANGE tidak mereproduksinya.
- [Rilis Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) menetapkan versi bertag, tanggal 1 Oktober, minimum PyTorch, dan perubahan kode.[ README repositori](https://github.com/allenai/Olmo-core) mendokumentasikan instalasi, dependensi opsional, dan catatan image Docker.
- [Panduan skrip acuan MoE bertag](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) menghubungkan konfigurasi laporan dengan jumlah GPU, routing, presisi, serta menjelaskan batas perbandingan stack lama dan baru.[ Laporan teknis](https://allenai.org/papers/olmocore3) merupakan sumber utama eksperimen sistem; PDF tidak dapat diperoleh di lingkungan riset kami, jadi klaim rinci di sini mengacu pada rilis Ai2 yang dapat diakses dan skrip bertag.

## Sources

- [Ai2, Introducing Olmo-core 3](https://allenai.org/blog/olmocore3) — Pengumuman utama arsitektur dan hasil pengukuran; angka dilaporkan Ai2.
- [Rilis Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) — Versi bertag, tanggal rilis 1 Oktober, minimum PyTorch, dan catatan perubahan kode.
- [README skrip acuan MoE Olmo-core v3.0.0](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) — Titik operasi, routing acak, jumlah GPU, prasyarat, dan batas perbandingan.
- [README repositori Olmo-core dan lisensi](https://github.com/allenai/Olmo-core) — Instalasi, dependensi opsional, catatan Docker, dan lisensi Apache 2.0.
- [Laporan teknis Ai2](https://allenai.org/papers/olmocore3) — Laporan utama yang ditautkan; pengambilan PDF penuh gagal; tidak ada rincian teknis unik yang disandarkan pada PDF yang belum dibaca.