AI-translated from English; not yet reviewed by a fluent editor. # 微軟 MAI-Base-2 報告衡量的是預訓練，並非已發布模型 > 微軟公布 MAI-Base-2 在保留文本上的結果，以及透過擬合得出的訓練效率估計。這個基礎模型仍在後訓練階段，尚無公開檢查點可供測試。 By BIG CHANGE Editorial Published: 2026-10-16T16:13:14.938Z Updated: 2026-10-16T16:13:14.938Z Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report ![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png) AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result. Microsoft AI 表示，已完成 MAI-Base-2 的預訓練。這是一個混合專家模型，啟用參數為 800 億，總參數為 2.8 兆。其[10 月 15 日技術報告](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/)描述了 2026 年 8 月和 9 月使用 16,000 顆 GB200 GPU、歷時 38 天的訓練。對評估結果的工程師而言，值得問的問題比模型排名更具體：在後訓練與公開使用之前，這份報告究竟衡量了什麼？ 答案有兩部分。微軟報告，在四類保留評估資料上，MAI-Base-2 的每位元組位元數（BPB）低於其測試的檢查點。另外，微軟利用自身規模階梯實驗的擬合曲線，估計其訓練方案在達到相同 BPB 時，所需訓練 FLOPs 比 DeepSeek-V4-Pro-Base 少 4.2–12.3 倍。這是兩項不同的發現，也各有限制。 ## 重大改變 - **改變了什麼：**微軟報告已完成一次大規模基礎模型訓練，並提供保留文本評估及訓練方案的詳細說明。MAI-Base-2 仍處於後訓練階段。 - **為何重要：**工程師可以檢視微軟如何將模型品質與訓練算力連結，以及微軟認為哪些資料、架構與基礎設施選擇帶來了貢獻。證據涉及預訓練損失與微軟的內部量測；目前沒有公開的 MAI-Base-2 推論服務或已發布檢查點可供實際工作負載測試。 - **值得關注：**後訓練結果與使用條款將決定這個基礎能否對產品或外部團隊有用。微軟所述透過 Foundry 授權模型權重的計畫，是未來的服務，並非目前已可取得。 ## 保留資料比較說明了什麼 微軟以 BPB 評估預訓練模型在保留文本上的表現。這個指標表示每位元組的預測損失，可避免分數依賴特定 tokenizer。報告列出程式碼、STEM、數學與問答四類評估，表示程式碼資料集來自 MAI 自有程式碼庫，其他資料集則由微軟委託供應商製作；微軟稱，已對四類資料集與訓練資料進行去污染處理。這些是評估者自行描述的防護措施，並非經獨立重現的資料稽核。 微軟報告，在這些資料集上，MAI-Base-2 的 BPB 低於所有受測模型。檢查點類型的差異很重要。DeepSeek-V4-Pro-Base 是微軟用作訓練方案參考、已發布的*基礎*模型。微軟表示，對 Kimi K3、Qwen3.8-2.4T-A95B 和 MiMo-V2.6-Pro-RL，只能取得*經過後訓練的*檢查點，並承認後訓練會影響這些評估。因此，將基礎模型與後訓練模型放在一起的 BPB 圖表，並不是對這四個競爭模型預訓練方案的受控比較。報告沒有測試 OpenAI 檢查點，因此不能據此聲稱 MAI-Base-2 勝過 OpenAI 模型。 BPB 回答的問題也不同於助理是否好用。它衡量所選保留資料上的損失，而不是指令遵循、後訓練後的推理、延遲、安全性或應用程式的運作成本。微軟表示 MAI-Base-2 仍在進行後訓練；報告未提供公開權重、推論端點、價格或客戶成果。 ## 算力效率範圍的來源 4.2–12.3 倍的說法來自擬合的規模曲線。微軟利用自身規模階梯實驗與已知的最終 MAI-Base-2 結果，為四類評估各自擬合一條 BPB 與訓練 FLOPs 的關係曲線。接著估計自身方案要達到 DeepSeek-V4-Pro-Base 相同 BPB 所需的算力，再將估計值與參考模型所報告的訓練算力比較。微軟表示，這些配對點位於擬合模型的範圍內，並非超出範圍的外推。 這個範圍是微軟方案在上述評估中的*相同損失估計*。它並非 MAI-Base-2 實際訓練費用的實測降幅，也不是推論加速幅度，更不能證明其他實驗室會得到相同結果。微軟另報告，相較自家的 MAI-Base-1，估計 FLOPs 效率提升了 6.3–12.7 倍。兩種情況下，讀者都需要知道所選參考模型、評估資料集與擬合方法，才能解讀數字。 微軟另外提供了正式訓練執行的兩個數字：平均模型 FLOPs 使用率（MFU）為 21%，goodput 為 89%；其中 goodput 指訓練確實向前推進的時間占比。報告以每顆 GB200 在 BF16 下理論 2.5 PFLOPS 為基準正規化 MFU，並排除重計算（rematerialization）與最佳化器的 FLOPs。MFU 關注訓練運算使用了多少理論算力，goodput 關注經過時間中的中斷與進度。兩者都不是相同 BPB 下的 FLOPs 效率比值。微軟評估設計選擇時，明確區分了以訓練 FLOPs 衡量的提升與以實際經過時間衡量的提升。 ## 微軟稱促成結果的訓練方案 報告提出了合理的作用機制，也交代了證據的限制。其規模階梯實驗會限制小規模訓練中的不重複樣本數，使資料集的重複次數與完整訓練相同。微軟表示，這可防止小型實驗偏好在大規模訓練時會過度擬合的選擇。報告也描述了學習率、權重衰減與 dropout 的實證規模調整規則，並在完整訓練之前，以中等大小模型進行檢查。 在稀疏模型方面，微軟表示，專家路由、固定記憶體容量與分組通訊的調整，使 MoE 層的 MFU 從 24% 升至 35%，讓每一層都能使用 MoE。這是元件層級的內部量測，並非整段 38 天訓練的平均 MFU 21%。報告描述了最佳化器方面的工作，使 Muon 耗時降至 165 毫秒，占平均一次訓練迭代的 2.1%，另以啟用值梯度裁切來穩定訓練。資料章節表示，不重複 token 語料庫相較 MAI-Base-1 成長約 36%。報告稱有 4.5 兆個不重複視覺語言 token；計入重複使用後，視覺語言資料占 50 兆 token 訓練混合資料的 18%。 這些細節讓報告成為理解微軟如何處理大規模訓練的有用工程紀錄。但它們未透過獨立重現的訓練，分離出每項變更的因果貢獻。微軟將結果歸因於資料品質與模型設計選擇，外部團隊無法僅憑報告確認這些影響。目前的直接證據是已完成的基礎模型、微軟所選保留資料的損失，以及擬合的訓練方案效率分析。產品表現仍須在之後的檢查點另行衡量。 ## 來源與延伸閱讀 - [Microsoft AI〈Microsoft AI 的前沿預訓練〉](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/)，2026 年 10 月 15 日。第一手技術報告，提供架構、訓練執行、保留資料 BPB 比較、擬合算力效率範圍、使用率、資料及所述發布階段。本文所有量測與實作效果均由微軟報告；BIG CHANGE 未重現訓練，也未評估 MAI-Base-2。 ## Sources - [Microsoft AI：Microsoft AI 的前沿預訓練](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — 第一手技術報告；所有量化說法與實作描述的來源。表現與作用機制由微軟報告，未經獨立重現。