Ai2 於 10 月 1 日發布 Olmo-core 3，作為混合專家（MoE）語言模型的開放訓練框架。對系統工程師最有用的結果，比兆級參數標題更有限：Ai2 公開了程式、參考設定與有範圍限制的 GPU 測量，讓人判斷此工具鏈是否值得在特定叢集試用。

MoE 會把每個 token 路由到部分專家網路。這能限制每個 token 的計算量，但完整專家池及其最佳化器狀態仍須分散存放在 GPU 上；將 token 傳送給專家也會耗時。Olmo-core 3 改變 Ai2 處理這兩項限制的方式：其 DDP 系統讓專家常駐 GPU 並把資料路由過去；舊版 FSDP 實作則會為微批次反覆聚集並重新分片權重。新工具鏈結合專家與流水線平行化、分散式最佳化器狀態、GPU 常駐路由和分組專家計算。Ai2 也支援特定操作使用 MXFP8。這些是團隊可檢視和設定的設計選擇，不保證在其他叢集也有相同速度。

重大變化

Olmo-core 3 以 Apache 2.0 程式碼和參考腳本開放 Ai2 的大型 MoE 訓練工具。Ai2 測試顯示，在特定的 8 張 B300 比較中，吞吐量高於舊工具鏈；也顯示隨機路由的 1.2 兆參數設定能在 512 張 B300 上執行。這些結果不代表訓練出的兆級模型品質，也不代表讀者工作負載的速度。實際價值是可檢視的起點，讓團隊重現設定、測量本機瓶頸，並判斷哪些平行化與精度設定值得投入昂貴訓練。

三個數字，三種分母

Ai2 對 470 億參數 MoE 的初步比較使用 8 張 Nvidia B300。新工具鏈每張 GPU 每秒處理 52,000 個 token 每張 GPU，舊版 FSDP 實作為 19,400。52,000 ÷ 19,400 = 2.68，四捨五入為 2.7 倍。這是內部新舊 工具鏈 比較，不是與 Megatron-Core 的測試，也不是乾淨的純 DDP 消融。標記版本中最接近的 DDP+專家平行與 FSDP/HSDP 比較，維持模型形狀與測量時段一致，但路由器、稀疏核心、最佳化器等實作細節也不同。

「低於 5%」回答的是另一個問題。Ai2 將專家池從 8 個增加到 128 個，每個 token 選 4 個。總容量從 46 億增至 470 億參數，而每個 token 的啟用參數維持約 32 億。這兩種專家池設定之間的吞吐量下降不到 5% 兩種專家池設定之間。這不表示新工具鏈只比舊版慢 5%，也不代表所有設定加入 16 倍專家都沒有成本。發布資料不足以換算成讀者的美元支出。

規模結果有第三種分母：Ai2 報告，在 512 張 B300 上，總參數 1.2 兆、每個 token 啟用 583.6 億參數的設定，觀測到最高每張 GPU 858 TFLOP/s 每張 GPU 。v3.0.0 參考表將這一 Ultra-128E 列標示為隨機路由、MXFP8、逐層重計算。隨機路由衡量系統路徑，並未測試學得的路由器能否產生優良模型。另一個 2.38 兆參數設定使用 DeepEP v2，僅進行短時間容量測試。Ai2 將它描述為規模檢查，而非持續訓練。兩個數字都不是訓練模型的準確度、實用輸出品質或完整訓練經濟效益穩定的證據。

Ai2 也報告一項受控的四張 B300 比較：相較 BF16，MXFP8 將端到端訓練吞吐量提高約 21%，並將啟用記憶體峰值從 103 GiB 降至 95 GiB，工作平均分配到各專家。此結果只適用於測試的精度選項與工作負載。不能把它加到 2.7 倍數字上，假裝兩次測量共用一個基準。

工程師實際能嘗試什麼

儲存庫的 10 月 1 日 v3.0.0 採 Apache 2.0 公開。README 表示，先為目標作業系統與硬體安裝 PyTorch，再從 PyPI 安裝 ai2-olmo-core，或為開發安裝複製的儲存庫。標記版 src/examples/olmo_ddp/README.md 會將報告中的運作點對應到腳本，並將 torchrun 作為通用啟動方式。正式腳本假設每個節點有 8 張 GPU，並在 REF_NUM_NODES 中指定節點數。這些範例是給已有分散式 GPU 環境的人，不是重現 Ai2 B300 結果的一鍵途徑。

報告腳本有實際存取需求。README 列出額外的 beaker 套件、FlashAttention 4、可寫入的 /workspace，以及讀取 Ai2 s3://ai2-llm 資料混合的權限；DeepEP v2 路徑還需要 DeepEP 儲存庫。Ai2 主 README 表示，公開 Docker 映像含依賴項，但不含 Olmo-core 套件，並提醒不同硬體或驅動程式／CUDA 版本可能需要調整映像。v3.0.0 將最低 PyTorch 版本提高至 2.10.0。我們檢視了這些文件和標記版參考表；BIG CHANGE 未安裝套件、取得資料混合存取權、預約 GPU 或執行訓練工作。

本機評估時，先選最接近預定模型規模與可用硬體的標記參考列，再確認每項依賴及無法存取的資料路徑，才預約運算資源。以相同序列長度、批次、路由、精度和測量時段比較每 GPU 每秒 token；另行監控記憶體峰值與檢查點行為。正式參考列使用序列長度 8,192、top-four 路由和一個共享專家。Tiny 與 Small 有學習式路由配套腳本；大型標題列則採隨機路由。團隊的學習式路由資料分布會改變通訊負載與吞吐量，因此在推估完整訓練前仍需代表性試跑。

成本界線不只在軟體，也在實體硬體。特色八 GPU 比較需要八張 B300；最高吞吐量結果用了 512 張。Ai2 未在發布資料中提供一般時租價格或完整訓練預算。Apache 2.0 授權免除這段程式的軟體授權費，卻不提供 GPU、相容驅動程式、指定資料存取權或操作人力。參考 README 也說，報告中兩批次重疊測量使用了合併前分支，無法用標記腳本重現。

開放系統的價值，在於其主張可對照實際設定檢查。Ai2 的發布摘要說明，某些情況下看似較佳的路由平衡分數掩蓋了較不平衡的工作；通訊與計算重疊也曾拖慢訓練。這些發現使本機測量計畫更重要：快速核心或有利的單項指標不等於端到端訓練結果。Ai2 表示下一代 Olmo 將採 MoE 架構；本次發布先提供訓練工具鏈和系統測量，尚未評估未來模型品質。

來源與延伸閱讀

  • Ai2 的 10 月 1 日發布 說明架構，並列出有範圍限制的吞吐量、記憶體與規模數字。數字是 Ai2 的測量；BIG CHANGE 未重現。
  • Olmo-core v3.0.0 發布 確認標記版本、10 月 1 日發布、PyTorch 最低版本與程式碼變更。 儲存庫 README 說明安裝、可選依賴項和 Docker 映像注意事項。
  • 標記版 MoE 參考腳本指南 將報告設定對應至 GPU 數量、路由與精度，並說明新舊工具鏈比較的限制。 技術報告 是系統實驗的主要說明；研究環境無法取回 PDF，因此本文詳細主張依據 Ai2 可讀取的發布資料與標記腳本。