AI-translated from English; not yet reviewed by a fluent editor.

# Le rapport de Microsoft sur MAI-Base-2 mesure le préentraînement, pas un modèle publié

> Microsoft présente les résultats de MAI-Base-2 sur du texte réservé à l’évaluation et des estimations ajustées d’efficacité de l’entraînement. Le modèle de base est encore en post-entraînement, sans point de contrôle public à tester.

By BIG CHANGE Editorial

Published: 2026-10-16T16:13:14.938Z
Updated: 2026-10-16T16:13:14.938Z
Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report

![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result.

Microsoft AI dit avoir achevé le préentraînement de MAI-Base-2, un modèle à mélange d’experts comptant 80 milliards de paramètres actifs et 2 800 milliards au total. Son [rapport technique du 15 octobre](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) décrit un entraînement de 38 jours sur 16 000 GPU GB200 en août et septembre 2026. Pour les ingénieurs qui évaluent le résultat, la question utile est plus précise qu’un classement de modèles : que mesure ce rapport avant le post-entraînement et l’accès public ?

La réponse comporte deux volets. Microsoft rapporte moins de bits par octet (BPB) dans quatre catégories d’évaluation réservées que pour les points de contrôle testés. Séparément, l’entreprise estime que sa recette d’entraînement exige 4,2 à 12,3 fois moins de FLOPs d’entraînement que DeepSeek-V4-Pro-Base pour atteindre un BPB identique, à partir de courbes ajustées à sa propre série d’expériences à différentes échelles. Ce sont des constats distincts, assortis de limites différentes.

## Le grand changement

- **Ce qui change :** Microsoft a annoncé avoir terminé l’entraînement d’un grand modèle de base, avec des évaluations sur du texte réservé et un compte rendu détaillé de sa recette. MAI-Base-2 reste en post-entraînement.
- **Pourquoi c’est important :** Les ingénieurs peuvent examiner comment Microsoft relie la qualité du modèle au calcul d’entraînement, et quels choix de données, d’architecture et d’infrastructure auraient contribué selon l’entreprise. Les preuves portent sur la perte de préentraînement et des mesures internes de Microsoft ; aucun service public d’inférence MAI-Base-2 ni point de contrôle publié ne permet de tester une charge de travail.
- **Ce qu’il faut surveiller :** Les résultats du post-entraînement et les conditions d’accès détermineront si cette base devient utile dans des produits ou pour des équipes externes. Le projet déclaré de Microsoft de proposer les poids sous licence via Foundry est une offre future, pas une disponibilité actuelle.

## Ce que dit la comparaison sur les données réservées

Microsoft évalue des modèles préentraînés sur du texte réservé avec le BPB, qui exprime la perte de prédiction par octet et évite un score dépendant du tokenizer. Le rapport cite des évaluations de code, de STEM, de mathématiques et de questions-réponses. Il indique que le jeu de code provient de la propre base de code de MAI, les autres ayant été commandés à des fournisseurs par Microsoft ; l’entreprise affirme avoir décontaminé les quatre par rapport à ses données d’entraînement. Ce sont des précautions décrites par l’évaluateur, pas un audit des données reproduit indépendamment.

Sur ces jeux, Microsoft rapporte que MAI-Base-2 présente un BPB inférieur à celui de tous les modèles testés. La distinction entre points de contrôle compte. DeepSeek-V4-Pro-Base est le modèle *de base* publié que Microsoft utilise comme référence pour sa recette. Microsoft précise que seuls des points de contrôle *post-entraînés* étaient disponibles pour Kimi K3, Qwen3.8-2.4T-A95B et MiMo-V2.6-Pro-RL, et reconnaît que le post-entraînement peut influer sur ces évaluations. Un graphique BPB comparant modèles de base et modèles post-entraînés n’est donc pas une comparaison contrôlée des recettes de préentraînement des quatre concurrents. Le rapport ne teste aucun point de contrôle OpenAI et ne permet donc pas d’affirmer que MAI-Base-2 dépasse un modèle OpenAI.

Le BPB répond aussi à une autre question que celle de l’utilité d’un assistant. Il mesure la perte sur le matériel réservé sélectionné, pas le suivi des instructions, le raisonnement après post-entraînement, la latence, la sécurité ou le coût d’exploitation d’une application. Microsoft indique que MAI-Base-2 est encore en post-entraînement ; son rapport ne fournit ni poids publics, ni point d’accès d’inférence, ni tarifs, ni résultats clients.

## D’où vient la plage d’efficacité de calcul

L’affirmation de 4,2–12,3× vient de courbes de mise à l’échelle ajustées. Microsoft a ajusté une courbe indépendante de BPB en fonction des FLOPs d’entraînement pour chacune des quatre évaluations, à partir de sa série d’échelles et du résultat final connu de MAI-Base-2. L’entreprise a ensuite estimé le calcul nécessaire à sa recette pour égaler le BPB de DeepSeek-V4-Pro-Base et comparé cette estimation au calcul d’entraînement déclaré du modèle de référence. Selon Microsoft, les points d’équivalence sont dans la plage du modèle ajusté, et non extrapolés au-delà.

Cette plage est une *estimation à perte égale* de la recette de Microsoft sur ces évaluations. Ce n’est ni une baisse mesurée de la facture réelle d’entraînement de MAI-Base-2, ni une accélération de l’inférence, ni la preuve qu’un autre laboratoire obtiendrait le même résultat. Microsoft rapporte aussi une amélioration estimée de l’efficacité en FLOPs de 6,3–12,7× par rapport à son propre MAI-Base-1. Dans les deux cas, le lecteur a besoin de la référence choisie, du jeu d’évaluation et de la méthode d’ajustement pour interpréter le chiffre.

Microsoft donne deux autres chiffres pour l’entraînement principal : une utilisation moyenne des FLOPs du modèle (MFU) de 21 % et un goodput de 89 %, ce dernier désignant la fraction du temps pendant laquelle l’entraînement progressait. Le rapport normalise la MFU sur une capacité théorique de 2,5 PFLOPS par GB200 en BF16 et exclut les FLOPs de rematérialisation et de l’optimiseur. La MFU concerne la part de cette capacité théorique utilisée par le calcul d’entraînement ; le goodput concerne les interruptions et la progression au fil du temps écoulé. Aucun des deux n’est le ratio d’efficacité en FLOPs à BPB égal. Lorsqu’il évalue des choix de conception, Microsoft distingue explicitement les gains mesurés en FLOPs d’entraînement de ceux mesurés en temps réellement écoulé.

## La recette qui, selon Microsoft, a produit le résultat

Le rapport propose des mécanismes plausibles, avec les limites de ses preuves. Sa série d’échelles restreint les échantillons uniques dans les petits entraînements pour que les jeux de données se répètent autant de fois que dans l’entraînement complet. Selon Microsoft, cela a empêché les petites expériences de favoriser des choix qui provoqueraient un surapprentissage à plus grande échelle. Le rapport décrit aussi des règles empiriques de mise à l’échelle du taux d’apprentissage, de la décroissance des poids et du dropout, vérifiées sur une taille de modèle intermédiaire avant l’entraînement complet.

Dans le modèle parcimonieux, Microsoft affirme que des changements du routage des experts, de la capacité mémoire fixe et des communications groupées ont fait passer la MFU des couches MoE de 24 % à 35 %, permettant d’utiliser MoE dans chaque couche. Il s’agit d’une mesure interne à un composant, pas de la MFU moyenne de 21 % de l’ensemble des 38 jours d’entraînement. Le rapport décrit des travaux sur l’optimiseur ayant ramené Muon à 165 millisecondes, soit 2,1 % d’une itération d’entraînement moyenne, ainsi que l’écrêtage des gradients d’activation pour stabiliser l’entraînement. Sa section sur les données indique que le corpus de tokens uniques a augmenté d’environ 36 % par rapport à MAI-Base-1. Elle rapporte 4 500 milliards de tokens vision-langage uniques ; avec les répétitions, les données vision-langage représentaient 18 % du mélange d’entraînement de 50 000 milliards de tokens.

Ces détails rendent le document utile comme récit d’ingénierie de l’approche de Microsoft face au changement d’échelle. Ils n’isolent pas la contribution causale de chaque modification au moyen d’entraînements reproduits indépendamment. Microsoft attribue le résultat à la qualité des données et aux choix de modélisation ; les équipes externes ne peuvent pas établir ces effets à partir du seul rapport. Les preuves immédiates sont un modèle de base achevé, les pertes sélectionnées par Microsoft sur des données réservées et son analyse ajustée de l’efficacité de la recette. Les performances du produit restent une mesure distincte pour un point de contrôle ultérieur.

## Sources et lectures complémentaires

- [Microsoft AI, « Préentraînement de pointe chez Microsoft AI »](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/), 15 octobre 2026. Rapport technique de première main sur l’architecture, l’entraînement, les comparaisons BPB sur des données réservées, les plages ajustées d’efficacité de calcul, l’utilisation, les données et le stade de publication annoncé. Toutes les mesures et tous les effets de mise en œuvre présentés ici sont rapportés par Microsoft ; BIG CHANGE n’a ni reproduit l’entraînement ni évalué MAI-Base-2.

## Sources

- [Microsoft AI : Préentraînement de pointe chez Microsoft AI](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — Rapport technique de première main ; source de toutes les affirmations quantitatives et descriptions de mise en œuvre. Les performances et mécanismes sont rapportés par Microsoft et n’ont pas été reproduits indépendamment.