Edição em Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Relatório da Microsoft sobre MAI-Base-2 mede pré-treinamento, não um modelo lançado

> A Microsoft apresenta resultados do MAI-Base-2 em texto reservado para avaliação e estimativas ajustadas de eficiência do treinamento. O modelo base continua em pós-treinamento, sem um checkpoint público para testar.

By BIG CHANGE Editorial

Published: 2026-10-16T16:13:14.938Z
Updated: 2026-10-16T16:13:14.938Z
Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report

![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result.

A Microsoft AI diz ter concluído o pré-treinamento do MAI-Base-2, um modelo de mistura de especialistas com 80 bilhões de parâmetros ativos e 2,8 trilhões no total. Seu [relatório técnico de 15 de outubro](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) descreve uma execução de 38 dias em 16.000 GPU GB200 durante agosto e setembro de 2026. Para engenheiros que avaliam o resultado, a pergunta útil é mais específica do que uma classificação de modelos: o que o relatório mede antes do pós-treinamento e do acesso público?

A resposta tem duas partes. A Microsoft apresenta menos bits por byte (BPB) em quatro categorias de avaliação reservadas do que nos checkpoints testados. Separadamente, estima que sua receita de treinamento precisa de 4,2–12,3 vezes menos FLOPs de treinamento do que o DeepSeek-V4-Pro-Base para atingir o mesmo BPB, usando curvas ajustadas à sua própria série de experimentos em diferentes escalas. São conclusões distintas, com limites diferentes.

## A grande mudança

- **O que mudou:** A Microsoft informou a conclusão de uma execução de treinamento de um modelo base de grande escala, com avaliações em texto reservado e uma descrição detalhada da receita de treinamento. O MAI-Base-2 continua em pós-treinamento.
- **Por que importa:** Os engenheiros podem analisar como a Microsoft relaciona a qualidade do modelo com a computação de treinamento e quais escolhas de dados, arquitetura e infraestrutura ela afirma terem contribuído. As evidências se referem à perda no pré-treinamento e a medições internas da Microsoft; não existe um serviço público de inferência do MAI-Base-2 nem um checkpoint lançado para testar em uma carga de trabalho.
- **O que acompanhar:** Os resultados do pós-treinamento e os termos de acesso determinarão se essa base se torna útil em produtos ou para equipes externas. O plano declarado da Microsoft de licenciar pesos pelo Foundry é uma oferta futura, não uma disponibilidade atual.

## O que diz a comparação com dados reservados

A Microsoft avalia modelos pré-treinados em texto reservado usando BPB, que expressa a perda de previsão por byte e evita uma pontuação dependente do tokenizador. O relatório cita avaliações de código, STEM, matemática e perguntas e respostas. Diz que o conjunto de código vem da própria base de código da MAI, enquanto os outros foram encomendados pela Microsoft a fornecedores; a Microsoft afirma ter descontaminado os quatro em relação aos dados de treinamento. São salvaguardas descritas pelo avaliador, não uma auditoria dos dados reproduzida de forma independente.

Nesses conjuntos, a Microsoft afirma que o MAI-Base-2 tem um BPB inferior ao de todos os modelos testados. A distinção entre checkpoints importa. O DeepSeek-V4-Pro-Base é o modelo *base* lançado que a Microsoft usa como referência para sua receita. A Microsoft diz que apenas havia checkpoints *pós-treinados* disponíveis para Kimi K3, Qwen3.8-2.4T-A95B e MiMo-V2.6-Pro-RL, e reconhece que o pós-treinamento pode afetar essas avaliações. Um gráfico BPB de modelos base versus pós-treinados não é, portanto, uma comparação controlada das receitas de pré-treinamento dos quatro rivais. O relatório não apresenta um teste de checkpoint da OpenAI, por isso não dá base para afirmar que o MAI-Base-2 supera um modelo da OpenAI.

O BPB também responde a uma pergunta diferente da utilidade de um assistente. Ele mede a perda no material reservado selecionado, não o cumprimento de instruções, o raciocínio após o pós-treinamento, a latência, a segurança ou o custo operacional de um aplicativo. A Microsoft diz que o MAI-Base-2 continua em pós-treinamento; o relatório não oferece pesos públicos, um endpoint de inferência, preços ou resultados de clientes.

## De onde vem o intervalo de eficiência de computação

A afirmação de 4,2–12,3× vem de curvas de escala ajustadas. A Microsoft ajustou uma curva independente de BPB em função dos FLOPs de treinamento para cada uma das quatro avaliações, usando sua série de escalas e o resultado final conhecido do MAI-Base-2. Depois estimou a computação de que sua receita precisaria para igualar o BPB do DeepSeek-V4-Pro-Base e comparou a estimativa com a computação de treinamento informada para o modelo de referência. A Microsoft diz que os pontos de correspondência estão dentro do intervalo do modelo ajustado, sem extrapolação para fora dele.

O intervalo é uma *estimativa para a mesma perda* da receita da Microsoft nessas avaliações. Não é uma redução medida da conta real de treinamento do MAI-Base-2, uma aceleração da inferência nem prova de que outro laboratório obteria o mesmo resultado. A Microsoft também informa uma melhoria estimada de eficiência em FLOPs de 6,3–12,7× em relação ao seu MAI-Base-1. Nos dois casos, o leitor precisa conhecer a referência escolhida, o conjunto de avaliação e o método de ajuste para interpretar o número.

A Microsoft apresenta outro par de números para a execução de produção do treinamento: utilização média de FLOPs do modelo (MFU) de 21% e goodput de 89%, sendo goodput a fração do tempo em que o treinamento avançou. O relatório normaliza a MFU para um valor teórico de 2,5 PFLOPS por GB200 em BF16 e exclui FLOPs de rematerialização e do otimizador. A MFU se refere à parcela dessa capacidade teórica usada pela computação de treinamento; o goodput, às interrupções e ao progresso ao longo do tempo decorrido. Nenhum é a razão de eficiência em FLOPs para o mesmo BPB. Ao avaliar escolhas de projeto, a Microsoft distingue explicitamente ganhos medidos em FLOPs de treinamento dos medidos em tempo efetivamente decorrido.

## A receita que, segundo a Microsoft, produziu o resultado

O relatório apresenta mecanismos plausíveis junto com os limites das evidências. Sua série de escalas restringe amostras únicas nas execuções menores para que os conjuntos de dados se repitam tantas vezes quanto na execução completa. A Microsoft diz que isso impediu experimentos pequenos de favorecer escolhas que causariam sobreajuste em escala maior. Também descreve regras empíricas de escala para taxa de aprendizado, decaimento dos pesos e dropout, verificadas em um modelo de tamanho intermediário antes da execução completa.

No modelo esparso, a Microsoft diz que mudanças no roteamento de especialistas, na capacidade fixa de memória e na comunicação agrupada elevaram a MFU das camadas MoE de 24% para 35%, permitindo MoE em todas as camadas. É uma medição interna de um componente, não a MFU média de 21% de toda a execução de 38 dias. O relatório descreve trabalho no otimizador que deixou Muon em 165 milissegundos, ou 2,1% de uma iteração média de treinamento, além do corte de gradientes de ativação para estabilizar o treinamento. A seção de dados diz que o corpus de tokens únicos cresceu cerca de 36% em relação ao MAI-Base-1. Apresenta 4,5 trilhões de tokens únicos de visão e linguagem; com as repetições, os dados de visão e linguagem representaram 18% da mistura de treinamento de 50 trilhões de tokens.

Esses detalhes tornam o artigo útil como relato de engenharia sobre como a Microsoft abordou a escala. Eles não isolam a contribuição causal de cada mudança por meio de execuções reproduzidas de forma independente. A Microsoft atribui o resultado à qualidade dos dados e às escolhas de modelagem; equipes externas não podem estabelecer esses efeitos apenas com o relatório. As evidências imediatas são um modelo base concluído, as perdas nos dados reservados escolhidos pela Microsoft e sua análise ajustada da eficiência da receita. O desempenho do produto continua sendo uma medição separada para um checkpoint posterior.

## Fontes e leituras adicionais

- [Microsoft AI, “Pré-treinamento de fronteira na Microsoft AI”](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/), 15 de outubro de 2026. Relatório técnico da própria empresa sobre arquitetura, execução de treinamento, comparações BPB em dados reservados, intervalos ajustados de eficiência de computação, utilização, dados e fase de lançamento declarada. Todas as medições e os efeitos de implementação aqui apresentados são informados pela Microsoft; a BIG CHANGE não reproduziu o treinamento nem avaliou o MAI-Base-2.

## Sources

- [Microsoft AI: Pré-treinamento de fronteira na Microsoft AI](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — Relatório técnico da própria empresa; fonte de todas as afirmações quantitativas e descrições de implementação. O desempenho e os mecanismos são informados pela Microsoft, sem reprodução independente.