Edição Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Relatório da Microsoft sobre MAI-Base-2 mede pré-treino, não um modelo lançado

> A Microsoft apresenta resultados do MAI-Base-2 em texto reservado para avaliação e estimativas ajustadas de eficiência do treino. O modelo base continua em pós-treino, sem um checkpoint público para testar.

By BIG CHANGE Editorial

Published: 2026-10-16T16:13:14.938Z
Updated: 2026-10-16T16:13:14.938Z
Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report

![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result.

A Microsoft AI diz ter concluído o pré-treino do MAI-Base-2, um modelo de mistura de especialistas com 80 mil milhões de parâmetros ativos e 2,8 biliões no total. O seu [relatório técnico de 15 de outubro](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) descreve uma execução de 38 dias em 16.000 GPU GB200 durante agosto e setembro de 2026. Para os engenheiros que avaliam o resultado, a pergunta útil é mais específica do que uma classificação de modelos: o que mede o relatório antes do pós-treino e do acesso público?

A resposta tem duas partes. A Microsoft apresenta menos bits por byte (BPB) em quatro categorias de avaliação reservadas do que nos checkpoints que testou. Separadamente, estima que a sua receita de treino precisa de 4,2–12,3 vezes menos FLOPs de treino do que o DeepSeek-V4-Pro-Base para atingir o mesmo BPB, recorrendo a curvas ajustadas à sua própria série de experiências a diferentes escalas. São conclusões distintas, com limites diferentes.

## A grande mudança

- **O que mudou:** A Microsoft comunicou a conclusão de uma execução de treino de um modelo base de grande escala, com avaliações em texto reservado e uma descrição detalhada da receita de treino. O MAI-Base-2 continua em pós-treino.
- **Porque importa:** Os engenheiros podem analisar como a Microsoft relaciona a qualidade do modelo com o cálculo de treino e quais as escolhas de dados, arquitetura e infraestrutura que afirma terem contribuído. A evidência diz respeito à perda no pré-treino e às medições internas da Microsoft; não existe um serviço público de inferência do MAI-Base-2 nem um checkpoint lançado para testar numa carga de trabalho.
- **O que acompanhar:** Os resultados do pós-treino e os termos de acesso determinarão se esta base se torna útil em produtos ou para equipas externas. O plano declarado da Microsoft para licenciar pesos através do Foundry é uma oferta futura, não uma disponibilidade atual.

## O que diz a comparação com dados reservados

A Microsoft avalia modelos pré-treinados em texto reservado através de BPB, que exprime a perda de previsão por byte e evita uma pontuação dependente do tokenizador. O relatório refere avaliações de código, STEM, matemática e perguntas e respostas. Diz que o conjunto de código vem da própria base de código da MAI, enquanto os restantes foram encomendados pela Microsoft a fornecedores; a Microsoft afirma ter descontaminado os quatro em relação aos seus dados de treino. São salvaguardas descritas pelo avaliador, não uma auditoria dos dados reproduzida de forma independente.

Nesses conjuntos, a Microsoft afirma que o MAI-Base-2 tem um BPB inferior ao de todos os modelos que testou. A distinção entre checkpoints importa. O DeepSeek-V4-Pro-Base é o modelo *base* lançado que a Microsoft usa como referência para a sua receita. A Microsoft diz que apenas havia checkpoints *pós-treinados* disponíveis para Kimi K3, Qwen3.8-2.4T-A95B e MiMo-V2.6-Pro-RL, e reconhece que o pós-treino pode afetar estas avaliações. Um gráfico BPB de modelos base face a pós-treinados não é, portanto, uma comparação controlada das receitas de pré-treino dos quatro rivais. O relatório não apresenta um teste de checkpoint da OpenAI, pelo que não fornece base para afirmar que o MAI-Base-2 supera um modelo da OpenAI.

O BPB responde também a uma pergunta diferente da utilidade de um assistente. Mede a perda no material reservado selecionado, não o seguimento de instruções, o raciocínio após o pós-treino, a latência, a segurança ou o custo operacional de uma aplicação. A Microsoft diz que o MAI-Base-2 continua em pós-treino; o relatório não disponibiliza pesos públicos, um endpoint de inferência, preços ou resultados de clientes.

## De onde vem o intervalo de eficiência de cálculo

A afirmação de 4,2–12,3× vem de curvas de escala ajustadas. A Microsoft ajustou uma curva independente de BPB em função dos FLOPs de treino para cada uma das quatro avaliações, usando a sua série de escalas e o resultado final conhecido do MAI-Base-2. Depois estimou o cálculo de que a sua receita precisaria para igualar o BPB do DeepSeek-V4-Pro-Base e comparou essa estimativa com o cálculo de treino comunicado para o modelo de referência. A Microsoft diz que os pontos de correspondência estão dentro do intervalo do modelo ajustado, não sendo extrapolados para fora dele.

O intervalo é uma *estimativa para a mesma perda* da receita da Microsoft nessas avaliações. Não é uma redução medida da fatura real de treino do MAI-Base-2, uma aceleração da inferência nem prova de que outro laboratório obteria o mesmo resultado. A Microsoft comunica também uma melhoria estimada de eficiência em FLOPs de 6,3–12,7× face ao seu MAI-Base-1. Nos dois casos, o leitor precisa de conhecer a referência escolhida, o conjunto de avaliação e o método de ajuste para interpretar o número.

A Microsoft dá outro par de números para a execução de produção do treino: utilização média de FLOPs do modelo (MFU) de 21% e goodput de 89%, sendo goodput a fração do tempo em que o treino progrediu. O relatório normaliza a MFU para um valor teórico de 2,5 PFLOPS por GB200 em BF16 e exclui FLOPs de rematerialização e do otimizador. A MFU diz respeito à parte dessa capacidade teórica usada pelo cálculo do treino; o goodput diz respeito às interrupções e ao progresso ao longo do tempo decorrido. Nenhum é o rácio de eficiência em FLOPs para o mesmo BPB. Ao avaliar opções de desenho, a Microsoft distingue explicitamente ganhos medidos em FLOPs de treino de ganhos medidos em tempo efetivamente decorrido.

## A receita que, segundo a Microsoft, produziu o resultado

O relatório apresenta mecanismos plausíveis, juntamente com os limites da evidência. A sua série de escalas restringe amostras únicas nas execuções menores para que os conjuntos de dados se repitam tantas vezes como na execução completa. A Microsoft diz que isso impediu que as experiências pequenas favorecessem escolhas que levariam a sobreajustamento a uma escala maior. Descreve ainda regras empíricas de escala para taxa de aprendizagem, decaimento dos pesos e dropout, verificadas num modelo de tamanho intermédio antes da execução completa.

No modelo esparso, a Microsoft diz que alterações no encaminhamento de especialistas, na capacidade fixa de memória e na comunicação agrupada elevaram a MFU das camadas MoE de 24% para 35%, permitindo MoE em todas as camadas. É uma medição interna ao nível de um componente, não a MFU média de 21% de toda a execução de 38 dias. O relatório descreve trabalho no otimizador que deixou o Muon em 165 milissegundos, ou 2,1% de uma iteração média de treino, e o recorte de gradientes de ativação para estabilizar o treino. A secção de dados diz que o corpus de tokens únicos cresceu cerca de 36% face ao MAI-Base-1. Apresenta 4,5 biliões de tokens únicos de visão e linguagem; com as repetições, os dados de visão e linguagem representaram 18% da mistura de treino de 50 biliões de tokens.

Estes pormenores tornam o artigo útil enquanto relato de engenharia da forma como a Microsoft abordou a escala. Não isolam o contributo causal de cada alteração através de execuções reproduzidas de forma independente. A Microsoft atribui o resultado à qualidade dos dados e às escolhas de modelação; as equipas externas não conseguem estabelecer esses efeitos apenas a partir do relatório. A evidência imediata é um modelo base concluído, as perdas nos dados reservados escolhidos pela Microsoft e a sua análise ajustada de eficiência da receita. O desempenho do produto continua a ser uma medição distinta para um checkpoint posterior.

## Fontes e leituras adicionais

- [Microsoft AI, «Pré-treino de fronteira na Microsoft AI»](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/), 15 de outubro de 2026. Relatório técnico da própria empresa sobre arquitetura, execução de treino, comparações BPB em dados reservados, intervalos ajustados de eficiência de cálculo, utilização, dados e fase de lançamento declarada. Todas as medições e efeitos de implementação aqui apresentados são comunicados pela Microsoft; a BIG CHANGE não reproduziu o treino nem avaliou o MAI-Base-2.

## Sources

- [Microsoft AI: Pré-treino de fronteira na Microsoft AI](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — Relatório técnico da própria empresa; fonte de todas as afirmações quantitativas e descrições de implementação. O desempenho e os mecanismos são comunicados pela Microsoft, sem reprodução independente.