Отчёт Microsoft о MAI-Base-2 измеряет предобучение, а не выпущенную модель

Microsoft AI заявляет, что завершила предобучение MAI-Base-2, модели со смесью экспертов с 80 миллиардами активных параметров и 2,8 триллионами параметров всего. Её технический отчёт от 15 октября описывает 38-дневное обучение на 16 000 GPU GB200 в августе и сентябре 2026 года. Для инженеров, оценивающих результат, полезный вопрос уже, чем рейтинг моделей: что измеряет отчёт до постобучения и публичного доступа?

Ответ состоит из двух частей. Microsoft сообщает о меньшем числе битов на байт (BPB) в четырёх категориях отложенной оценки, чем у протестированных контрольных точек. Отдельно компания оценивает, что её рецепту обучения требуется в 4,2–12,3 раза меньше обучающих FLOPs, чем DeepSeek-V4-Pro-Base, для достижения того же BPB. Расчёт использует кривые, подогнанные по собственной лестнице масштабирования. Это разные выводы с разными ограничениями.

Большая перемена

• Что изменилось: Microsoft сообщила о завершённом крупномасштабном обучении базовой модели, представив оценки на отложенном тексте и подробное описание рецепта обучения. MAI-Base-2 остаётся на стадии постобучения.
• Почему это важно: Инженеры могут изучить, как Microsoft связывает качество модели с вычислениями при обучении и какие решения по данным, архитектуре и инфраструктуре, по её словам, внесли вклад. Доказательства касаются потерь предобучения и внутренних измерений Microsoft; нет публичного сервиса инференса MAI-Base-2 или выпущенной контрольной точки, которую можно проверить на рабочей нагрузке.
• За чем следить: Результаты постобучения и условия доступа определят, станет ли эта основа полезной в продуктах или для внешних команд. Заявленный план Microsoft лицензировать веса через Foundry — будущее предложение, а не текущая доступность.

Что говорит сравнение на отложенных данных

Microsoft оценивает предобученные модели на отложенном тексте с помощью BPB: метрика выражает потери предсказания на байт и исключает зависимость оценки от токенизатора. В отчёте названы оценки кода, STEM, математики и вопросов и ответов. Указывается, что набор кода взят из собственной кодовой базы MAI, а остальные наборы Microsoft заказала поставщикам; Microsoft утверждает, что очистила все четыре от пересечений с обучающими данными. Это меры защиты, описанные оценщиком, а не независимо воспроизведённый аудит данных.

На этих наборах, по данным Microsoft, у MAI-Base-2 ниже BPB, чем у каждой протестированной модели. Различие контрольных точек важно. DeepSeek-V4-Pro-Base — выпущенная базовая модель, которую Microsoft использует как ориентир своего рецепта. Microsoft говорит, что были доступны только прошедшие постобучение контрольные точки Kimi K3, Qwen3.8-2.4T-A95B и MiMo-V2.6-Pro-RL, и признаёт, что постобучение может влиять на эти оценки. Поэтому график BPB базовых и постобученных моделей — не контролируемое сравнение рецептов предобучения всех четырёх конкурентов. Отчёт не содержит теста контрольной точки OpenAI, поэтому не даёт оснований утверждать, что MAI-Base-2 превосходит модель OpenAI.

BPB также отвечает на иной вопрос, чем полезность ассистента. Она измеряет потери на выбранном отложенном материале, а не следование инструкциям, рассуждения после постобучения, задержку, безопасность или эксплуатационные затраты приложения. Microsoft говорит, что MAI-Base-2 ещё проходит постобучение; отчёт не предлагает публичных весов, точки доступа для инференса, цен или результатов клиентов.

Откуда взят диапазон вычислительной эффективности

Утверждение о 4,2–12,3× получено из подогнанных кривых масштабирования. Microsoft подогнала отдельную кривую BPB относительно обучающих FLOPs для каждой из четырёх оценок, используя свою лестницу масштабирования и известный финальный результат MAI-Base-2. Затем компания оценила, сколько вычислений понадобится её рецепту для совпадения с BPB DeepSeek-V4-Pro-Base, и сравнила оценку с заявленными вычислениями на обучение эталонной модели. Microsoft утверждает, что точки совпадения находятся внутри диапазона подогнанной модели, а не экстраполированы за его пределы.

Этот диапазон — оценка при одинаковых потерях для рецепта Microsoft на этих оценках. Это не измеренное снижение реального счёта за обучение MAI-Base-2, не ускорение инференса и не доказательство того, что другая лаборатория получит такой же результат. Microsoft также сообщает расчётное улучшение эффективности по FLOPs в 6,3–12,7 раза относительно собственного MAI-Base-1. В обоих случаях для интерпретации числа читателю нужны выбранный ориентир, оценочный набор и метод подгонки.

Для основного обучения Microsoft приводит ещё пару чисел: среднее использование FLOPs модели (MFU) 21% и goodput 89%, где goodput — доля времени, в течение которого обучение продвигалось. Отчёт нормирует MFU на теоретические 2,5 PFLOPS на GB200 в BF16 и исключает FLOPs рематериализации и оптимизатора. MFU показывает, какую долю этой теоретической мощности использовали вычисления обучения; goodput относится к перерывам и прогрессу за прошедшее время. Ни то ни другое не является коэффициентом эффективности FLOPs при одинаковом BPB. Оценивая проектные решения, Microsoft явно различает выигрыш, измеренный в обучающих FLOPs, и выигрыш, измеренный в реально прошедшем времени.

Рецепт, который, по словам Microsoft, дал результат

Отчёт предлагает правдоподобные механизмы вместе с ограничениями доказательств. Лестница масштабирования ограничивает уникальные образцы в меньших запусках, чтобы наборы данных повторялись столько же раз, сколько в полном обучении. Microsoft утверждает, что это не позволяло малым экспериментам отдавать предпочтение решениям, вызывающим переобучение в большем масштабе. Компания также описывает эмпирические правила масштабирования скорости обучения, затухания весов и dropout, проверенные на промежуточном размере модели до полного запуска.

В разреженной модели, по словам Microsoft, изменения маршрутизации экспертов, фиксированной ёмкости памяти и групповой коммуникации повысили MFU слоёв MoE с 24% до 35%, позволив использовать MoE в каждом слое. Это внутреннее измерение на уровне компонента, а не среднее MFU 21% за всё 38-дневное обучение. В отчёте описана работа с оптимизатором, после которой Muon занимал 165 миллисекунд, или 2,1% средней обучающей итерации, а также обрезка градиентов активаций для стабилизации обучения. По разделу о данных, корпус уникальных токенов вырос примерно на 36% относительно MAI-Base-1. Сообщается о 4,5 триллиона уникальных визуально-языковых токенов; с повторениями визуально-языковые данные составили 18% обучающей смеси из 50 триллионов токенов.

Эти подробности делают работу полезным инженерным описанием того, как Microsoft подошла к масштабированию. Они не выделяют причинный вклад каждого изменения по независимо воспроизведённым запускам. Microsoft объясняет результат качеством данных и решениями по моделированию; внешние команды не могут установить эти эффекты по одному отчёту. Непосредственные доказательства — завершённая базовая модель, выбранные Microsoft потери на отложенных данных и подогнанный анализ эффективности рецепта. Продуктовая производительность остаётся отдельным измерением для более поздней контрольной точки.

Источники и дополнительные материалы

• Microsoft AI, «Передовое предобучение в Microsoft AI», 15 октября 2026 года. Технический отчёт самой компании об архитектуре, обучении, сравнениях BPB на отложенных данных, подогнанных диапазонах вычислительной эффективности, использовании мощности, данных и заявленной стадии выпуска. Все измерения и эффекты реализации здесь сообщены Microsoft; BIG CHANGE не воспроизводил обучение и не оценивал MAI-Base-2.