世界は立ち止まらない。RSS
BIG CHANGE.

Markdown版

AI-translated from English; not yet reviewed by a fluent editor.

# MicrosoftのMAI-Base-2報告が測るのは事前学習であり、公開済みモデルではない

> MicrosoftはMAI-Base-2のホールドアウトテキストでの結果と、曲線の当てはめによる学習効率の推定を報告した。基盤モデルは事後学習中で、試せる公開チェックポイントはない。

By BIG CHANGE Editorial

Published: 2026-10-16T16:13:14.938Z
Updated: 2026-10-16T16:13:14.938Z
Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report

![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result.

Microsoft AIは、有効パラメーター800億、総パラメーター2兆8000億の混合専門家モデルMAI-Base-2の事前学習を終えたと述べた。同社の[10月15日の技術報告](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/)は、2026年8～9月に16,000基のGB200 GPUで行った38日間の学習を説明している。結果を評価するエンジニアに役立つ問いは、モデルの順位よりも範囲が狭い。事後学習と一般公開の前に、この報告は何を測ったのか。

答えは2つに分かれる。Microsoftは、学習から取り分けた4つの評価区分で、試験したチェックポイントよりもバイト当たりのビット数（BPB）が低かったと報告している。それとは別に、自社の規模別実験系列に当てはめた曲線を使い、同じBPBに到達するのに自社の学習手法が必要とする学習FLOPsはDeepSeek-V4-Pro-Baseの4.2～12.3分の1だと推定する。異なる知見であり、限界もそれぞれ異なる。

## 大きな変化

- **何が変わったか：**Microsoftは大規模な基盤モデルの学習完了を報告し、ホールドアウトテキストでの評価と学習手法の詳細を示した。MAI-Base-2はまだ事後学習中だ。
- **なぜ重要か：**エンジニアは、Microsoftがモデル品質を学習計算量とどう結び付け、データ、アーキテクチャー、インフラのどの選択が寄与したと説明しているかを検討できる。根拠は事前学習損失とMicrosoftの内部測定に関するものであり、実際のワークロードで試せるMAI-Base-2の公開推論サービスや公開済みチェックポイントはない。
- **注目点：**この基盤が製品や外部チームに役立つかどうかは、事後学習の結果とアクセス条件で決まる。Microsoftが示したFoundry経由で重みをライセンス提供する計画は将来の提供であり、現在利用できるという意味ではない。

## ホールドアウト比較が示すこと

Microsoftは事前学習済みモデルをホールドアウトテキスト上でBPBにより評価している。BPBはバイト当たりの予測損失を表し、トークナイザーに依存するスコアを避ける。報告にはコード、STEM、数学、質疑応答の評価が挙げられている。コードのデータはMAI自身のコードベースから取り、残りのデータはMicrosoftがベンダーに依頼したという。同社は4つすべてについて学習データとの汚染を除去したと述べている。これらは評価者が説明する対策であり、独立に再現されたデータ監査ではない。

Microsoftによれば、これらのデータでMAI-Base-2のBPBは試験したすべてのモデルを下回った。チェックポイントの種類の違いが重要だ。DeepSeek-V4-Pro-Baseは、Microsoftが学習手法の基準に使う公開済みの*基盤*モデルである。同社によれば、Kimi K3、Qwen3.8-2.4T-A95B、MiMo-V2.6-Pro-RLでは、*事後学習済みの*チェックポイントしか利用できず、事後学習がこれらの評価に影響する可能性を認めている。したがって、基盤モデルと事後学習済みモデルのBPBを並べた図は、4つの競合すべての事前学習手法を条件統制して比べたものではない。報告にはOpenAIチェックポイントの試験がなく、MAI-Base-2がOpenAIモデルを上回るという主張の根拠にはならない。

BPBが答える問いは、アシスタントの有用性とも異なる。選ばれたホールドアウト資料の損失を測るもので、指示への追従、事後学習後の推論、遅延、安全性、アプリケーションの運用費は測らない。MicrosoftによればMAI-Base-2はまだ事後学習中で、報告は公開重み、推論エンドポイント、料金、顧客の成果を示していない。

## 計算効率の範囲はどこから来たのか

4.2～12.3倍という主張は、当てはめたスケーリング曲線に由来する。Microsoftは自社の規模別実験系列と既知のMAI-Base-2の最終結果を使い、4つの評価それぞれに独立したBPB対学習FLOPs曲線を当てはめた。その後、自社手法がDeepSeek-V4-Pro-Baseと同じBPBに達するのに必要な計算量を推定し、基準モデルが報告する学習計算量と比べた。同社によれば、同等になる点は当てはめたモデルの範囲内にあり、その外側への外挿ではない。

この範囲は、その評価におけるMicrosoftの手法の*同等損失での推定*である。MAI-Base-2の実際の学習請求額がどれだけ減ったかの実測値でも、推論の高速化でも、別の研究所が同じ結果を得る証拠でもない。Microsoftは、自社のMAI-Base-1に対して推定6.3～12.7倍のFLOPs効率改善も報告する。どちらも、数値を解釈するには選ばれた基準、評価データ、曲線の当てはめ手法が必要だ。

Microsoftは本番の学習実行について別の2つの数値も示す。平均モデルFLOPs利用率（MFU）は21%、goodputは89%で、goodputは学習が前進した時間の割合を表す。報告はBF16でGB200当たり理論2.5 PFLOPSを基準にMFUを正規化し、再計算（rematerialization）とオプティマイザーのFLOPsを除いている。MFUは学習計算が理論計算能力をどれだけ使ったか、goodputは経過時間中の中断と進捗に関するものだ。どちらも同等BPBでのFLOPs効率比ではない。Microsoftは設計上の選択を評価する際、学習FLOPsで測った改善と実際の経過時間で測った改善を明確に区別している。

## Microsoftが結果を生んだとする学習手法

報告は、もっともらしい仕組みとともに根拠の限界も示す。規模別実験系列では、小さな学習での固有サンプル数を制限し、データセットが全体学習と同じ回数だけ繰り返されるようにしている。Microsoftによれば、これにより小規模実験が大規模では過学習する選択を好むことを防いだ。学習率、重み減衰、ドロップアウトの経験的なスケーリング規則も説明し、全体学習の前に中間サイズのモデルで確認したとしている。

疎なモデルについてMicrosoftは、専門家ルーティング、固定メモリー容量、グループ化通信の変更でMoE層のMFUが24%から35%に上がり、すべての層でMoEを使えたと説明する。これは構成要素単位の内部測定であり、38日間の学習全体の平均MFU21%ではない。報告は、オプティマイザーの改良でMuonが平均学習反復の2.1%に当たる165ミリ秒となり、活性値の勾配クリッピングで学習を安定化したと記す。データの節によれば、固有トークンのコーパスはMAI-Base-1から約36%増えた。固有の視覚・言語トークンは4兆5000億で、繰り返しを含めると視覚・言語データは50兆トークンの学習混合物の18%を占めたという。

これらの詳細は、Microsoftが規模拡大にどう取り組んだかを知る有用な工学的記録となる。ただし、独立に再現した学習実行を通じて、各変更の因果的寄与を切り分けたものではない。Microsoftはデータ品質とモデル設計上の選択が結果をもたらしたとするが、外部チームは報告だけからその効果を確定できない。現時点の直接の根拠は、完成した基盤モデル、Microsoftが選んだホールドアウト損失、当てはめた曲線による学習手法の効率分析である。製品性能は、後のチェックポイントで別途測るべきものとして残る。

## 出典と参考資料

- [Microsoft AI「Microsoft AIにおける最先端の事前学習」](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/)、2026年10月15日。アーキテクチャー、学習実行、ホールドアウトBPB比較、当てはめた計算効率範囲、利用率、データ、発表された公開段階を扱う当事者の技術報告。ここにある測定と実装上の効果はすべてMicrosoftの報告による。BIG CHANGEは学習を再現しておらず、MAI-Base-2の評価も行っていない。

## Sources

- [Microsoft AI：Microsoft AIにおける最先端の事前学習](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — すべての定量的主張と実装の説明の出典となる当事者の技術報告。性能と仕組みはMicrosoftによる報告で、独立に再現されたものではない。