Relatório da Microsoft sobre MAI-Base-2 mede pré-treino, não um modelo lançado

A Microsoft AI diz ter concluído o pré-treino do MAI-Base-2, um modelo de mistura de especialistas com 80 mil milhões de parâmetros ativos e 2,8 biliões no total. O seu relatório técnico de 15 de outubro descreve uma execução de 38 dias em 16.000 GPU GB200 durante agosto e setembro de 2026. Para os engenheiros que avaliam o resultado, a pergunta útil é mais específica do que uma classificação de modelos: o que mede o relatório antes do pós-treino e do acesso público?

A resposta tem duas partes. A Microsoft apresenta menos bits por byte (BPB) em quatro categorias de avaliação reservadas do que nos checkpoints que testou. Separadamente, estima que a sua receita de treino precisa de 4,2–12,3 vezes menos FLOPs de treino do que o DeepSeek-V4-Pro-Base para atingir o mesmo BPB, recorrendo a curvas ajustadas à sua própria série de experiências a diferentes escalas. São conclusões distintas, com limites diferentes.

A grande mudança

• O que mudou: A Microsoft comunicou a conclusão de uma execução de treino de um modelo base de grande escala, com avaliações em texto reservado e uma descrição detalhada da receita de treino. O MAI-Base-2 continua em pós-treino.
• Porque importa: Os engenheiros podem analisar como a Microsoft relaciona a qualidade do modelo com o cálculo de treino e quais as escolhas de dados, arquitetura e infraestrutura que afirma terem contribuído. A evidência diz respeito à perda no pré-treino e às medições internas da Microsoft; não existe um serviço público de inferência do MAI-Base-2 nem um checkpoint lançado para testar numa carga de trabalho.
• O que acompanhar: Os resultados do pós-treino e os termos de acesso determinarão se esta base se torna útil em produtos ou para equipas externas. O plano declarado da Microsoft para licenciar pesos através do Foundry é uma oferta futura, não uma disponibilidade atual.

O que diz a comparação com dados reservados

A Microsoft avalia modelos pré-treinados em texto reservado através de BPB, que exprime a perda de previsão por byte e evita uma pontuação dependente do tokenizador. O relatório refere avaliações de código, STEM, matemática e perguntas e respostas. Diz que o conjunto de código vem da própria base de código da MAI, enquanto os restantes foram encomendados pela Microsoft a fornecedores; a Microsoft afirma ter descontaminado os quatro em relação aos seus dados de treino. São salvaguardas descritas pelo avaliador, não uma auditoria dos dados reproduzida de forma independente.

Nesses conjuntos, a Microsoft afirma que o MAI-Base-2 tem um BPB inferior ao de todos os modelos que testou. A distinção entre checkpoints importa. O DeepSeek-V4-Pro-Base é o modelo base lançado que a Microsoft usa como referência para a sua receita. A Microsoft diz que apenas havia checkpoints pós-treinados disponíveis para Kimi K3, Qwen3.8-2.4T-A95B e MiMo-V2.6-Pro-RL, e reconhece que o pós-treino pode afetar estas avaliações. Um gráfico BPB de modelos base face a pós-treinados não é, portanto, uma comparação controlada das receitas de pré-treino dos quatro rivais. O relatório não apresenta um teste de checkpoint da OpenAI, pelo que não fornece base para afirmar que o MAI-Base-2 supera um modelo da OpenAI.

O BPB responde também a uma pergunta diferente da utilidade de um assistente. Mede a perda no material reservado selecionado, não o seguimento de instruções, o raciocínio após o pós-treino, a latência, a segurança ou o custo operacional de uma aplicação. A Microsoft diz que o MAI-Base-2 continua em pós-treino; o relatório não disponibiliza pesos públicos, um endpoint de inferência, preços ou resultados de clientes.

De onde vem o intervalo de eficiência de cálculo

A afirmação de 4,2–12,3× vem de curvas de escala ajustadas. A Microsoft ajustou uma curva independente de BPB em função dos FLOPs de treino para cada uma das quatro avaliações, usando a sua série de escalas e o resultado final conhecido do MAI-Base-2. Depois estimou o cálculo de que a sua receita precisaria para igualar o BPB do DeepSeek-V4-Pro-Base e comparou essa estimativa com o cálculo de treino comunicado para o modelo de referência. A Microsoft diz que os pontos de correspondência estão dentro do intervalo do modelo ajustado, não sendo extrapolados para fora dele.

O intervalo é uma estimativa para a mesma perda da receita da Microsoft nessas avaliações. Não é uma redução medida da fatura real de treino do MAI-Base-2, uma aceleração da inferência nem prova de que outro laboratório obteria o mesmo resultado. A Microsoft comunica também uma melhoria estimada de eficiência em FLOPs de 6,3–12,7× face ao seu MAI-Base-1. Nos dois casos, o leitor precisa de conhecer a referência escolhida, o conjunto de avaliação e o método de ajuste para interpretar o número.

A Microsoft dá outro par de números para a execução de produção do treino: utilização média de FLOPs do modelo (MFU) de 21% e goodput de 89%, sendo goodput a fração do tempo em que o treino progrediu. O relatório normaliza a MFU para um valor teórico de 2,5 PFLOPS por GB200 em BF16 e exclui FLOPs de rematerialização e do otimizador. A MFU diz respeito à parte dessa capacidade teórica usada pelo cálculo do treino; o goodput diz respeito às interrupções e ao progresso ao longo do tempo decorrido. Nenhum é o rácio de eficiência em FLOPs para o mesmo BPB. Ao avaliar opções de desenho, a Microsoft distingue explicitamente ganhos medidos em FLOPs de treino de ganhos medidos em tempo efetivamente decorrido.

A receita que, segundo a Microsoft, produziu o resultado

O relatório apresenta mecanismos plausíveis, juntamente com os limites da evidência. A sua série de escalas restringe amostras únicas nas execuções menores para que os conjuntos de dados se repitam tantas vezes como na execução completa. A Microsoft diz que isso impediu que as experiências pequenas favorecessem escolhas que levariam a sobreajustamento a uma escala maior. Descreve ainda regras empíricas de escala para taxa de aprendizagem, decaimento dos pesos e dropout, verificadas num modelo de tamanho intermédio antes da execução completa.

No modelo esparso, a Microsoft diz que alterações no encaminhamento de especialistas, na capacidade fixa de memória e na comunicação agrupada elevaram a MFU das camadas MoE de 24% para 35%, permitindo MoE em todas as camadas. É uma medição interna ao nível de um componente, não a MFU média de 21% de toda a execução de 38 dias. O relatório descreve trabalho no otimizador que deixou o Muon em 165 milissegundos, ou 2,1% de uma iteração média de treino, e o recorte de gradientes de ativação para estabilizar o treino. A secção de dados diz que o corpus de tokens únicos cresceu cerca de 36% face ao MAI-Base-1. Apresenta 4,5 biliões de tokens únicos de visão e linguagem; com as repetições, os dados de visão e linguagem representaram 18% da mistura de treino de 50 biliões de tokens.

Estes pormenores tornam o artigo útil enquanto relato de engenharia da forma como a Microsoft abordou a escala. Não isolam o contributo causal de cada alteração através de execuções reproduzidas de forma independente. A Microsoft atribui o resultado à qualidade dos dados e às escolhas de modelação; as equipas externas não conseguem estabelecer esses efeitos apenas a partir do relatório. A evidência imediata é um modelo base concluído, as perdas nos dados reservados escolhidos pela Microsoft e a sua análise ajustada de eficiência da receita. O desempenho do produto continua a ser uma medição distinta para um checkpoint posterior.

Fontes e leituras adicionais

• Microsoft AI, «Pré-treino de fronteira na Microsoft AI», 15 de outubro de 2026. Relatório técnico da própria empresa sobre arquitetura, execução de treino, comparações BPB em dados reservados, intervalos ajustados de eficiência de cálculo, utilização, dados e fase de lançamento declarada. Todas as medições e efeitos de implementação aqui apresentados são comunicados pela Microsoft; a BIG CHANGE não reproduziu o treino nem avaliou o MAI-Base-2.