AI-translated from English; not yet reviewed by a fluent editor. # Microsofts MAI-Base-2-Bericht misst Vortraining, kein veröffentlichtes Modell > Microsoft berichtet über MAI-Base-2-Ergebnisse auf zurückgehaltenem Text und angepasste Schätzungen zur Trainingseffizienz. Das Basismodell befindet sich noch im Nachtraining; ein öffentlicher Checkpoint zum Testen fehlt. By BIG CHANGE Editorial Published: 2026-10-16T16:13:14.938Z Updated: 2026-10-16T16:13:14.938Z Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report ![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png) AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result. Microsoft AI hat nach eigenen Angaben das Vortraining von MAI-Base-2 abgeschlossen, einem Mixture-of-Experts-Modell mit 80 Milliarden aktiven und insgesamt 2,8 Billionen Parametern. Der [technische Bericht vom 15. Oktober](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) beschreibt einen 38-tägigen Lauf auf 16.000 GB200-GPUs im August und September 2026. Für Ingenieure, die das Ergebnis beurteilen, ist die nützliche Frage enger gefasst als eine Modellrangliste: Was misst der Bericht vor Nachtraining und öffentlichem Zugang? Die Antwort hat zwei Teile. Microsoft berichtet über niedrigere Bits pro Byte (BPB) in vier zurückgehaltenen Evaluationskategorien als bei den getesteten Checkpoints. Unabhängig davon schätzt das Unternehmen anhand von Kurven, die an seine eigene Skalierungsreihe angepasst wurden, dass sein Trainingsrezept 4,2–12,3-mal weniger Trainings-FLOPs als DeepSeek-V4-Pro-Base benötigt, um denselben BPB-Wert zu erreichen. Das sind unterschiedliche Befunde mit unterschiedlichen Grenzen. ## Die große Veränderung - **Was sich geändert hat:** Microsoft hat einen abgeschlossenen Trainingslauf für ein großes Basismodell gemeldet, mit Bewertungen auf zurückgehaltenem Text und einer ausführlichen Darstellung seines Trainingsrezepts. MAI-Base-2 befindet sich weiter im Nachtraining. - **Warum das wichtig ist:** Ingenieure können untersuchen, wie Microsoft Modellqualität und Trainingsrechenaufwand verknüpft und welche Daten-, Architektur- und Infrastrukturentscheidungen nach eigenen Angaben dazu beitrugen. Die Belege betreffen den Vortrainingsverlust und interne Messungen von Microsoft. Es gibt keinen öffentlichen MAI-Base-2-Inferenzdienst und keinen veröffentlichten Checkpoint, der sich mit einer konkreten Arbeitslast testen ließe. - **Worauf zu achten ist:** Ergebnisse des Nachtrainings und Zugangsbedingungen werden entscheiden, ob diese Grundlage in Produkten oder für externe Teams nützlich wird. Microsofts erklärter Plan, Gewichte über Foundry zu lizenzieren, ist ein künftiges Angebot, keine heutige Verfügbarkeit. ## Was der Vergleich auf zurückgehaltenen Daten aussagt Microsoft bewertet vortrainierte Modelle auf zurückgehaltenem Text mit BPB. Die Kennzahl drückt den Vorhersageverlust pro Byte aus und vermeidet einen vom Tokenizer abhängigen Wert. Der Bericht nennt Evaluationen für Code, STEM, Mathematik und Fragen und Antworten. Der Code-Datensatz stammt demnach aus MAIs eigener Codebasis, während Microsoft die übrigen Datensätze bei Anbietern in Auftrag gab. Microsoft erklärt, alle vier gegenüber seinen Trainingsdaten dekontaminiert zu haben. Das sind vom Bewertenden beschriebene Schutzmaßnahmen, keine unabhängig reproduzierte Datenprüfung. Auf diesen Datensätzen hat MAI-Base-2 laut Microsoft niedrigere BPB-Werte als jedes getestete Modell. Die Unterscheidung der Checkpoints ist wichtig. DeepSeek-V4-Pro-Base ist das veröffentlichte *Basismodell*, das Microsoft als Referenz für sein Rezept nutzt. Nach Angaben von Microsoft waren nur *nachtrainierte* Checkpoints für Kimi K3, Qwen3.8-2.4T-A95B und MiMo-V2.6-Pro-RL verfügbar. Microsoft räumt ein, dass Nachtraining diese Bewertungen beeinflussen kann. Ein BPB-Diagramm mit Basis- und nachtrainierten Modellen ist daher kein kontrollierter Vergleich der Vortrainingsrezepte aller vier Konkurrenten. Der Bericht enthält keinen Test eines OpenAI-Checkpoints und liefert somit keine Grundlage für die Behauptung, MAI-Base-2 übertreffe ein OpenAI-Modell. BPB beantwortet außerdem eine andere Frage als die Nützlichkeit eines Assistenten. Gemessen wird der Verlust auf dem ausgewählten zurückgehaltenen Material, nicht das Befolgen von Anweisungen, Schlussfolgern nach dem Nachtraining, Latenz, Sicherheit oder Betriebskosten einer Anwendung. Laut Microsoft durchläuft MAI-Base-2 noch das Nachtraining. Der Bericht bietet weder öffentliche Gewichte noch einen Inferenzendpunkt, Preise oder Kundenergebnisse. ## Woher die Spanne der Recheneffizienz stammt Die Angabe von 4,2–12,3× stammt aus angepassten Skalierungskurven. Microsoft passte für jede der vier Evaluationen eine eigene Kurve von BPB zu Trainings-FLOPs an, gestützt auf seine Skalierungsreihe und das bekannte Endergebnis von MAI-Base-2. Anschließend schätzte das Unternehmen den Rechenaufwand, den sein Rezept zum Erreichen des BPB-Werts von DeepSeek-V4-Pro-Base benötigen würde, und verglich ihn mit dem gemeldeten Trainingsrechenaufwand des Referenzmodells. Laut Microsoft liegen die Abgleichpunkte innerhalb des angepassten Modellbereichs; sie wurden nicht über diesen hinaus extrapoliert. Die Spanne ist eine *Schätzung bei gleichem Verlust* für Microsofts Rezept auf diesen Evaluationen. Sie ist keine gemessene Senkung der tatsächlichen Trainingsrechnung von MAI-Base-2, keine Beschleunigung der Inferenz und kein Beweis, dass ein anderes Labor dasselbe Ergebnis erzielen würde. Microsoft berichtet außerdem über eine geschätzte FLOPs-Effizienzsteigerung von 6,3–12,7× gegenüber dem eigenen MAI-Base-1. In beiden Fällen braucht der Leser die gewählte Referenz, den Evaluationsdatensatz und das Anpassungsverfahren, um die Zahl einzuordnen. Für den eigentlichen Trainingslauf nennt Microsoft ein weiteres Zahlenpaar: eine durchschnittliche Model FLOPs Utilization (MFU) von 21% und einen Goodput von 89%. Goodput bezeichnet dabei den Zeitanteil, in dem das Training Fortschritte machte. Der Bericht normiert die MFU auf theoretische 2,5 PFLOPS pro GB200 in BF16 und schließt Rematerialisierungs- und Optimierer-FLOPs aus. Die MFU betrifft den Anteil der theoretischen Rechenkapazität, den die Trainingsberechnung nutzte; Goodput betrifft Unterbrechungen und Fortschritt während der verstrichenen Zeit. Keiner der beiden Werte ist das FLOPs-Effizienzverhältnis bei gleichem BPB. Microsoft unterscheidet bei der Bewertung von Designentscheidungen ausdrücklich zwischen in Trainings-FLOPs und in tatsächlich verstrichener Zeit gemessenen Gewinnen. ## Das Rezept, das laut Microsoft das Ergebnis hervorbrachte Der Bericht beschreibt plausible Mechanismen und zugleich die Grenzen seiner Belege. Die Skalierungsreihe begrenzt die einzigartigen Beispiele in kleineren Läufen, damit sich Datensätze genauso oft wiederholen wie im vollständigen Lauf. Laut Microsoft verhinderte das, dass kleine Experimente Entscheidungen bevorzugten, die bei größerem Maßstab zu Überanpassung führen würden. Außerdem beschreibt der Bericht empirische Skalierungsregeln für Lernrate, Weight Decay und Dropout, die vor dem vollständigen Lauf an einer mittleren Modellgröße geprüft wurden. Beim dünn besetzten Modell erhöhten Änderungen an Experten-Routing, fester Speicherkapazität und gruppierter Kommunikation laut Microsoft die MFU der MoE-Schichten von 24% auf 35%. Dadurch wurde MoE in jeder Schicht möglich. Dies ist eine interne Messung auf Komponentenebene, nicht die durchschnittliche MFU von 21% für den gesamten 38-tägigen Lauf. Der Bericht beschreibt Optimiererarbeit, nach der Muon 165 Millisekunden beziehungsweise 2,1% einer durchschnittlichen Trainingsiteration beanspruchte, sowie das Begrenzen von Aktivierungsgradienten zur Stabilisierung des Trainings. Laut Datenabschnitt wuchs der Korpus einmaliger Token gegenüber MAI-Base-1 um rund 36%. Genannt werden 4,5 Billionen einmalige Bild-Sprach-Token. Mit Wiederholungen machten Bild-Sprach-Daten 18% der Trainingsmischung von 50 Billionen Token aus. Diese Details machen das Papier als technischen Bericht darüber nützlich, wie Microsoft große Maßstäbe angegangen ist. Sie isolieren nicht den kausalen Beitrag jeder Änderung anhand unabhängig reproduzierter Läufe. Microsoft führt das Ergebnis auf Datenqualität und Modellierungsentscheidungen zurück; externe Teams können diese Effekte nicht allein aus dem Bericht ableiten. Die unmittelbaren Belege sind ein fertig trainiertes Basismodell, Microsofts ausgewählte Verluste auf zurückgehaltenen Daten und seine angepasste Analyse der Rezepteffizienz. Produktleistung bleibt eine gesonderte Messung für einen späteren Checkpoint. ## Quellen und weiterführende Informationen - [Microsoft AI, „Frontier-Vortraining bei Microsoft AI“](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/), 15. Oktober 2026. Technischer Bericht des Herstellers zu Architektur, Trainingslauf, BPB-Vergleichen auf zurückgehaltenen Daten, angepassten Recheneffizienzspannen, Auslastung, Daten und angegebenem Veröffentlichungsstand. Alle Messungen und Implementierungseffekte hier stammen von Microsoft. BIG CHANGE hat weder das Training reproduziert noch MAI-Base-2 evaluiert. ## Sources - [Microsoft AI: Frontier-Vortraining bei Microsoft AI](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — Technischer Bericht des Herstellers; Quelle aller quantitativen Aussagen und Implementierungsbeschreibungen. Leistung und Mechanismen werden von Microsoft berichtet und wurden nicht unabhängig reproduziert.