Ai2 于 10 月 1 日发布 Olmo-core 3，作为面向混合专家（MoE）语言模型的开放训练框架。对系统工程师最有用的结果比万亿参数标题更有限：Ai2 公布了代码、参考配置和范围明确的 GPU 测量，供团队判断是否值得在特定集群上试用这套技术栈。

MoE 将每个 token 路由到一部分专家网络。这限制了每个 token 的计算量，但完整专家池及其优化器状态仍需分布在 GPU 上；将 token 移至专家也需要时间。Olmo-core 3 改变了 Ai2 处理这两项约束的方式：基于 DDP 的系统让专家常驻 GPU，并将数据路由给它们；较早的 FSDP 实现则会为微批次反复聚集并重新分片权重。新技术栈结合了专家并行与流水线并行、分布式优化器状态、GPU 常驻路由及分组专家计算。Ai2 还支持在选定操作中使用 MXFP8。这些是团队可检查和配置的设计选择，并不保证在其他集群上速度相同。

重大变化

Olmo-core 3 以 Apache 2.0 代码和参考脚本开放 Ai2 的大型 MoE 训练工具。Ai2 的测试显示，在一项特定的八张 B300 对比中，其吞吐量高于旧技术栈；还显示，采用随机路由的 1.2 万亿参数配置可在 512 张 B300 上运行。这些结果并未证明训练出的万亿参数模型质量，也未证明读者工作负载的速度。实际价值是提供一个可检查的起点，用于复现配置、测量本地瓶颈，并判断哪些并行和精度设置值得投入昂贵的训练运行。

三个数字，三个分母

Ai2 对 470 亿参数 MoE 的初步对比使用了 8 张 Nvidia B300 GPU。新技术栈每秒处理 52,000 个 token 每张 GPU,旧版 FSDP 实现为 19,400。比值为 52,000 ÷ 19,400 = 2.68，四舍五入约为 2.7 倍。这是新旧 技术栈 的内部对比，并非与 Megatron-Core 的测量，也不是纯粹的 DDP 消融。标记示例中最接近的是 DDP+专家并行与 FSDP/HSDP 的对比：模型形状和测量时间窗相同，但路由器、稀疏内核、优化器等实现细节也有差异。

“低于 5%”回答的是另一个问题。Ai2 将专家池从 8 个扩大到 128 个，每个 token 选择 4 个。总容量从 46 亿增至 470 亿参数，而每个 token 的活跃参数仍约为 32 亿。两个专家池配置之间的吞吐量下降不到 5% 在这两种专家池配置之间。这不表示新技术栈只比旧版慢 5%，也不表示在所有设置下增加 16 倍专家都没有代价。发布资料不足以把这个百分比换算为读者的美元成本。

规模结果的第三个分母是：Ai2 报告，在 512 张 B300 GPU 上，一个总计 1.2 万亿参数、每个 token 活跃 583.6 亿参数的配置，最高观测到 858 TFLOP/s 每张 GPU 。v3.0.0 参考表将该 Ultra-128E 行标记为随机路由、MXFP8 和逐层重计算。随机路由衡量的是系统路径，并不检验训练出的路由器是否能生成优秀模型。另一个 2.38 万亿参数配置在短时容量测试中使用 DeepEP v2。Ai2 将其描述为规模检查，而非持续训练。这些数字均不能证明训练模型的准确率、实用输出质量或完整训练的稳定经济性。

Ai2 还报告了一项四张 B300 的受控对比：与 BF16 相比，MXFP8 将端到端训练吞吐量提高约 21%，并把峰值活跃内存从 103 GiB 降至 95 GiB，工作均匀分配给专家。该结果仅适用于测试的精度选项和工作负载。不能将其加到 2.7 倍数字上，仿佛两次测量使用了同一基线。

工程师实际可以尝试什么

10 月 1 日的仓库 v3.0.0以 Apache 2.0 许可公开。README 建议先为目标操作系统和硬件安装 PyTorch，再从 PyPI 安装 ai2-olmo-core，或为开发安装克隆的仓库。标记版本 src/examples/olmo_ddp/README.md将报告中的运行点对应到脚本，并把 torchrun列为通用启动方式。生产脚本假设每个节点有 8 张 GPU，并在 REF_NUM_NODES中指定节点数量。这些示例适用于已有分布式 GPU 环境的人，并非一条命令即可复现 Ai2 的 B300 结果。

报告脚本有重要的访问要求。其 README 列出 beaker附加组件、FlashAttention 4、可写入的 /workspace以及读取 Ai2 s3://ai2-llm数据集的权限；DeepEP v2 路径还需要克隆 DeepEP 仓库。Ai2 主 README 表示，其公开 Docker 镜像包含依赖，但不含 Olmo-core 软件包，并提醒不同硬件或驱动/CUDA 版本可能需要定制镜像。v3.0.0 将最低支持的 PyTorch 版本提高到 2.10.0。我们查看了这些文档和标记版参考表；BIG CHANGE 未安装该软件包、获取数据集访问权、预订 GPU 或运行训练任务。

进行本地评估时，应先选择最接近目标模型规模和可用硬件的标记参考行，再在预订算力前核算每项依赖和无法访问的数据路径。比较每 GPU 每秒 token 时，要保持序列长度、批次、路由、精度和测量时间窗一致；另行监控峰值内存与检查点行为。已发布的生产行采用 8,192 序列长度、top-four 路由和一个共享专家。Tiny 和 Small 有配套的学习式路由脚本，而标题中的大型行采用随机路由。团队的学习式路由数据分布可能改变通信平衡与吞吐量，因此在推算完整运行前仍需有代表性的试点。

成本边界既是物理资源问题，也是软件问题。重点介绍的八 GPU 对比需要八张 B300；最高吞吐量结果使用了 512 张。Ai2 未在发布资料中提供通用小时租赁价格或完整训练预算。Apache 2.0 许可免除了这段代码的软件授权费，但不提供 GPU、兼容驱动、指定数据访问权或操作人员时间。参考 README 还指出，报告中的双批次重叠测量使用了合并前分支，无法通过标记脚本复现。

开放系统的价值在于其主张可依据实际配置进行核验。Ai2 的发布总结了若干情况：表面上更好的路由平衡分数掩盖了更不平衡的工作，通信与计算重叠反而拖慢了训练。这些发现使本地测量计划更重要：快速内核或有利的单项指标并不等于端到端训练结果。Ai2 表示下一代 Olmo 将采用 MoE 架构；本次发布先提供训练技术栈和系统测量，未来模型质量尚未评估。

来源与延伸阅读

  • Ai2 10 月 1 日发布 解释架构，并给出范围明确的吞吐量、内存和规模数据。数字为 Ai2 测量结果；BIG CHANGE 未复现。
  • Olmo-core v3.0.0 发布 确定标记版本、10 月 1 日发布日期、PyTorch 最低版本和代码变更。 仓库 README 记录安装、可选依赖和 Docker 镜像注意事项。
  • 标记版 MoE 参考脚本指南 将报告配置对应到 GPU 数量、路由和精度，并解释新旧技术栈对比的限制。 技术报告 是系统实验的主要资料；我们的研究环境无法获取其 PDF，因此本文详细主张依据 Ai2 可访问的发布资料和标记脚本。