Markdown 版本

AI-translated from English; not yet reviewed by a fluent editor.

# Olmo-core 3 开放 Ai2 的 MoE 训练技术栈，但 GPU 结果有明确范围

> Ai2 于 10 月 1 日发布 Olmo-core 3，提供开放的 MoE 训练代码和 B300 基准测试。其规模测试衡量系统吞吐量，而非训练后模型的质量。

By BIG CHANGE Editorial

Published: 2026-10-13T02:08:18.598Z
Updated: 2026-10-13T02:08:18.598Z
Canonical: https://bigchange.ai/blog/ai2-olmo-core-3-moe-training-stack-benchmarks

![Conceptual charcoal illustration of an unbranded accelerator circuit board beside its separate finned heat sink.](https://bigchange.ai/api/media/file/olmocore3-gpu-board-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE. Generic accelerator components; no specific B300 design, Ai2 installation, completed training run or BIG CHANGE hardware test is depicted.

Ai2 于 10 月 1 日发布 Olmo-core 3，作为面向混合专家（MoE）语言模型的开放训练框架。对系统工程师最有用的结果比万亿参数标题更有限：Ai2 公布了代码、参考配置和范围明确的 GPU 测量，供团队判断是否值得在特定集群上试用这套技术栈。

MoE 将每个 token 路由到一部分专家网络。这限制了每个 token 的计算量，但完整专家池及其优化器状态仍需分布在 GPU 上；将 token 移至专家也需要时间。Olmo-core 3 改变了 Ai2 处理这两项约束的方式：基于 DDP 的系统让专家常驻 GPU，并将数据路由给它们；较早的 FSDP 实现则会为微批次反复聚集并重新分片权重。新技术栈结合了专家并行与流水线并行、分布式优化器状态、GPU 常驻路由及分组专家计算。Ai2 还支持在选定操作中使用 MXFP8。这些是团队可检查和配置的设计选择，并不保证在其他集群上速度相同。

## 重大变化

Olmo-core 3 以 Apache 2.0 代码和参考脚本开放 Ai2 的大型 MoE 训练工具。Ai2 的测试显示，在一项特定的八张 B300 对比中，其吞吐量高于旧技术栈；还显示，采用随机路由的 1.2 万亿参数配置可在 512 张 B300 上运行。这些结果并未证明训练出的万亿参数模型质量，也未证明读者工作负载的速度。实际价值是提供一个可检查的起点，用于复现配置、测量本地瓶颈，并判断哪些并行和精度设置值得投入昂贵的训练运行。

## 三个数字，三个分母

Ai2 对 470 亿参数 MoE 的初步对比使用了 8 张 Nvidia B300 GPU。新技术栈每秒处理 52,000 个 token **每张 GPU**,旧版 FSDP 实现为 19,400。比值为 52,000 ÷ 19,400 = 2.68，四舍五入约为 2.7 倍。这是新旧 *技术栈* 的内部对比，并非与 Megatron-Core 的测量，也不是纯粹的 DDP 消融。标记示例中最接近的是 DDP+专家并行与 FSDP/HSDP 的对比：模型形状和测量时间窗相同，但路由器、稀疏内核、优化器等实现细节也有差异。

“低于 5%”回答的是另一个问题。Ai2 将专家池从 8 个扩大到 128 个，每个 token 选择 4 个。总容量从 46 亿增至 470 亿参数，而每个 token 的活跃参数仍约为 32 亿。两个专家池配置之间的吞吐量下降不到 5% **在这两种专家池配置之间**。这不表示新技术栈只比旧版慢 5%，也不表示在所有设置下增加 16 倍专家都没有代价。发布资料不足以把这个百分比换算为读者的美元成本。

规模结果的第三个分母是：Ai2 报告，在 512 张 B300 GPU 上，一个总计 1.2 万亿参数、每个 token 活跃 583.6 亿参数的配置，最高观测到 858 TFLOP/s **每张 GPU** 。v3.0.0 参考表将该 Ultra-128E 行标记为随机路由、MXFP8 和逐层重计算。随机路由衡量的是系统路径，并不检验训练出的路由器是否能生成优秀模型。另一个 2.38 万亿参数配置在短时容量测试中使用 DeepEP v2。Ai2 将其描述为规模检查，而非持续训练。这些数字均不能证明训练模型的准确率、实用输出质量或完整训练的稳定经济性。

Ai2 还报告了一项四张 B300 的受控对比：与 BF16 相比，MXFP8 将端到端训练吞吐量提高约 21%，并把峰值活跃内存从 103 GiB 降至 95 GiB，工作均匀分配给专家。该结果仅适用于测试的精度选项和工作负载。不能将其加到 2.7 倍数字上，仿佛两次测量使用了同一基线。

## 工程师实际可以尝试什么

10 月 1 日的仓库 `v3.0.0`以 Apache 2.0 许可公开。README 建议先为目标操作系统和硬件安装 PyTorch，再从 PyPI 安装 `ai2-olmo-core`，或为开发安装克隆的仓库。标记版本 `src/examples/olmo_ddp/README.md`将报告中的运行点对应到脚本，并把 `torchrun`列为通用启动方式。生产脚本假设每个节点有 8 张 GPU，并在 `REF_NUM_NODES`中指定节点数量。这些示例适用于已有分布式 GPU 环境的人，并非一条命令即可复现 Ai2 的 B300 结果。

报告脚本有重要的访问要求。其 README 列出 `beaker`附加组件、FlashAttention 4、可写入的 `/workspace`以及读取 Ai2 `s3://ai2-llm`数据集的权限；DeepEP v2 路径还需要克隆 DeepEP 仓库。Ai2 主 README 表示，其公开 Docker 镜像包含依赖，但不含 Olmo-core 软件包，并提醒不同硬件或驱动/CUDA 版本可能需要定制镜像。v3.0.0 将最低支持的 PyTorch 版本提高到 2.10.0。我们查看了这些文档和标记版参考表；BIG CHANGE 未安装该软件包、获取数据集访问权、预订 GPU 或运行训练任务。

进行本地评估时，应先选择最接近目标模型规模和可用硬件的标记参考行，再在预订算力前核算每项依赖和无法访问的数据路径。比较每 GPU 每秒 token 时，要保持序列长度、批次、路由、精度和测量时间窗一致；另行监控峰值内存与检查点行为。已发布的生产行采用 8,192 序列长度、top-four 路由和一个共享专家。Tiny 和 Small 有配套的学习式路由脚本，而标题中的大型行采用随机路由。团队的学习式路由数据分布可能改变通信平衡与吞吐量，因此在推算完整运行前仍需有代表性的试点。

成本边界既是物理资源问题，也是软件问题。重点介绍的八 GPU 对比需要八张 B300；最高吞吐量结果使用了 512 张。Ai2 未在发布资料中提供通用小时租赁价格或完整训练预算。Apache 2.0 许可免除了这段代码的软件授权费，但不提供 GPU、兼容驱动、指定数据访问权或操作人员时间。参考 README 还指出，报告中的双批次重叠测量使用了合并前分支，无法通过标记脚本复现。

开放系统的价值在于其主张可依据实际配置进行核验。Ai2 的发布总结了若干情况：表面上更好的路由平衡分数掩盖了更不平衡的工作，通信与计算重叠反而拖慢了训练。这些发现使本地测量计划更重要：快速内核或有利的单项指标并不等于端到端训练结果。Ai2 表示下一代 Olmo 将采用 MoE 架构；本次发布先提供训练技术栈和系统测量，未来模型质量尚未评估。

## 来源与延伸阅读

- [Ai2 10 月 1 日发布](https://allenai.org/blog/olmocore3) 解释架构，并给出范围明确的吞吐量、内存和规模数据。数字为 Ai2 测量结果；BIG CHANGE 未复现。
- [Olmo-core v3.0.0 发布](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) 确定标记版本、10 月 1 日发布日期、PyTorch 最低版本和代码变更。[ 仓库 README](https://github.com/allenai/Olmo-core) 记录安装、可选依赖和 Docker 镜像注意事项。
- [标记版 MoE 参考脚本指南](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) 将报告配置对应到 GPU 数量、路由和精度，并解释新旧技术栈对比的限制。[ 技术报告](https://allenai.org/papers/olmocore3) 是系统实验的主要资料；我们的研究环境无法获取其 PDF，因此本文详细主张依据 Ai2 可访问的发布资料和标记脚本。

## Sources

- [Ai2：《Introducing Olmo-core 3》](https://allenai.org/blog/olmocore3) — 架构和测量结果的主要公告；数字由 Ai2 报告。
- [Olmo-core v3.0.0 发布](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) — 标记版发布、版本、10 月 1 日日期、PyTorch 最低版本及代码变更记录。
- [Olmo-core v3.0.0 MoE 参考脚本 README](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) — 运行点、随机路由、GPU 数量、前提条件和对比限制。
- [Olmo-core 仓库 README 与许可](https://github.com/allenai/Olmo-core) — 安装、可选依赖、Docker 注意事项和 Apache 2.0 许可。
- [Ai2 技术报告](https://allenai.org/papers/olmocore3) — 链接的主要报告；完整 PDF 获取失败；未将任何独有技术细节归于未读 PDF。