AI-translated from English; not yet reviewed by a fluent editor. # 微软 MAI-Base-2 报告衡量的是预训练，并非已发布模型 > 微软公布了 MAI-Base-2 在保留文本上的结果，以及通过拟合得出的训练效率估计。基础模型仍在后训练阶段，尚无公开检查点可供测试。 By BIG CHANGE Editorial Published: 2026-10-16T16:13:14.938Z Updated: 2026-10-16T16:13:14.938Z Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report ![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png) AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result. Microsoft AI 表示，已完成 MAI-Base-2 的预训练。这是一个混合专家模型，激活参数为 800 亿，总参数为 2.8 万亿。其[10 月 15 日技术报告](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/)介绍了 2026 年 8 月和 9 月使用 16,000 块 GB200 GPU、历时 38 天的训练。对评估结果的工程师而言，值得问的问题比模型排名更具体：在后训练与公开访问之前，这份报告究竟衡量了什么？ 答案分为两部分。微软报告，在四类保留评估数据上，MAI-Base-2 的每字节比特数（BPB）低于其测试的检查点。另外，微软利用自身规模阶梯实验的拟合曲线，估计其训练方案在达到相同 BPB 时，所需训练 FLOPs 比 DeepSeek-V4-Pro-Base 少 4.2–12.3 倍。这是两项不同的发现，也各有限制。 ## 大变化 - **发生了什么变化：**微软报告已完成一次大规模基础模型训练，并提供保留文本评估及训练方案的详细说明。MAI-Base-2 仍处于后训练阶段。 - **为什么重要：**工程师可以检查微软如何将模型质量与训练计算量联系起来，以及微软认为哪些数据、架构和基础设施选择作出了贡献。证据涉及预训练损失与微软的内部测量；目前没有公开的 MAI-Base-2 推理服务或已发布检查点可供实际工作负载测试。 - **值得关注：**后训练结果与访问条款将决定这一基础能否对产品或外部团队有用。微软所述通过 Foundry 授权模型权重的计划，是未来的服务，并非目前已可获取。 ## 保留数据比较说明了什么 微软使用 BPB 评估预训练模型在保留文本上的表现。该指标表示每字节的预测损失，可避免分数依赖特定分词器。报告列出了代码、STEM、数学与问答评估，表示代码数据集来自 MAI 自有代码库，其他数据集则由微软委托供应商制作；微软称，已针对训练数据对四类数据集进行去污染处理。这些是评估者自行描述的保障措施，并非经独立复现的数据审计。 微软报告，在这些数据集上，MAI-Base-2 的 BPB 低于所有受测模型。检查点类型的差异很重要。DeepSeek-V4-Pro-Base 是微软用作训练方案参考、已发布的*基础*模型。微软表示，对 Kimi K3、Qwen3.8-2.4T-A95B 和 MiMo-V2.6-Pro-RL，只能获取*经过后训练的*检查点，并承认后训练会影响这些评估。因此，将基础模型与后训练模型放在一起的 BPB 图表，并不是对这四个竞争模型预训练方案的受控比较。报告没有测试 OpenAI 检查点，因此不能据此声称 MAI-Base-2 胜过 OpenAI 模型。 BPB 回答的问题也不同于助手是否好用。它衡量所选保留材料上的损失，而不是指令遵循、后训练后的推理能力、延迟、安全性或应用运行成本。微软表示 MAI-Base-2 仍在进行后训练；报告未提供公开权重、推理端点、价格或客户成果。 ## 计算效率范围的来源 4.2–12.3 倍的说法来自拟合的规模曲线。微软利用自身规模阶梯实验与已知的最终 MAI-Base-2 结果，为四类评估分别拟合 BPB 与训练 FLOPs 的关系曲线。接着估计自身方案要达到 DeepSeek-V4-Pro-Base 相同 BPB 所需的计算量，再将估计值与参考模型报告的训练计算量比较。微软表示，这些匹配点位于拟合模型的范围内，并非超出范围的外推。 这个范围是微软方案在上述评估中的*同等损失估计*。它并非 MAI-Base-2 实际训练账单的实测降幅，也不是推理加速幅度，更不能证明其他实验室会得到相同结果。微软另报告，相较自家的 MAI-Base-1，估计 FLOPs 效率提升了 6.3–12.7 倍。两种情况下，读者都需要知道所选参考、评估数据集与拟合方法，才能解读数字。 微软还提供了正式训练运行的两个数字：平均模型 FLOPs 利用率（MFU）为 21%，goodput 为 89%；其中 goodput 指训练确实向前推进的时间占比。报告以每块 GB200 在 BF16 下理论 2.5 PFLOPS 为基准归一化 MFU，并排除重计算（rematerialization）与优化器的 FLOPs。MFU 关注训练计算使用了多少理论计算能力，goodput 关注经过时间中的中断与进展。两者都不是相同 BPB 下的 FLOPs 效率比值。微软评估设计选择时，明确区分了以训练 FLOPs 衡量的提升与以实际经过时间衡量的提升。 ## 微软称促成结果的训练方案 报告提出了合理的作用机制，也交代了证据的限制。其规模阶梯实验限制小规模训练中的独特样本数，使数据集的重复次数与完整训练相同。微软表示，这可以防止小型实验偏好在大规模训练时会过拟合的选择。报告还介绍了学习率、权重衰减与 dropout 的实证规模调整规则，并在完整训练之前，以中等大小模型进行检查。 在稀疏模型方面，微软表示，对专家路由、固定内存容量与分组通信的调整，使 MoE 层的 MFU 从 24% 升至 35%，从而让每一层都能使用 MoE。这是组件级别的内部测量，并非整段 38 天训练的平均 MFU 21%。报告介绍了优化器方面的工作，使 Muon 耗时达到 165 毫秒，占平均一次训练迭代的 2.1%，另以激活梯度裁剪稳定训练。数据章节表示，独特 token 语料库相较 MAI-Base-1 增长约 36%。报告称有 4.5 万亿个独特视觉语言 token；计入重复使用后，视觉语言数据占 50 万亿 token 训练混合数据的 18%。 这些细节让报告成为了解微软如何处理大规模训练的有用工程记录。但它们没有通过独立复现的训练，分离出每项变更的因果贡献。微软将结果归因于数据质量与建模选择，外部团队无法仅凭报告确认这些影响。目前的直接证据是已完成的基础模型、微软所选保留数据的损失，以及拟合的训练方案效率分析。产品表现仍须在之后的检查点单独衡量。 ## 来源与延伸阅读 - [Microsoft AI《Microsoft AI 的前沿预训练》](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/)，2026 年 10 月 15 日。第一方技术报告，提供架构、训练运行、保留数据 BPB 比较、拟合计算效率范围、利用率、数据及所述发布阶段。本文所有测量与实现效果均由微软报告；BIG CHANGE 未复现训练，也未评估 MAI-Base-2。 ## Sources - [Microsoft AI：Microsoft AI 的前沿预训练](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — 第一方技术报告；所有量化说法与实现描述的来源。表现与作用机制由微软报告，未经独立复现。