A Ai2 lançou o Olmo-core 3 a 1 de outubro como uma estrutura aberta de treino para modelos linguísticos de mistura de especialistas (MoE). O resultado mais útil para um engenheiro de sistemas é mais limitado do que o título sobre biliões de parâmetros: a Ai2 publicou código, configurações de referência e medições delimitadas em GPU para ajudar equipas a decidir se vale a pena testar este stack num cluster específico.

Um MoE encaminha cada token para um subconjunto das suas redes de especialistas. Isso limita o cálculo por token, mas o conjunto completo de especialistas e o respetivo estado do otimizador continuam a precisar de espaço nas GPU. A transferência de tokens para os especialistas também demora. O Olmo-core 3 altera a forma como a Ai2 trata estas duas restrições: o sistema baseado em DDP mantém os especialistas residentes nas GPU e encaminha-lhes os dados; a implementação anterior baseada em FSDP reunia e repartia repetidamente os pesos para micro-lotes. O novo stack combina paralelismo de especialistas e de pipeline, estado distribuído do otimizador, encaminhamento residente na GPU e cálculo agrupado de especialistas. A Ai2 também suporta MXFP8 em operações selecionadas. São escolhas de conceção que uma equipa pode analisar e configurar, não uma promessa de igual velocidade noutro cluster.

A grande mudança

O Olmo-core 3 disponibiliza a maquinaria de treino MoE da Ai2 como código Apache 2.0 e scripts de referência. Os testes da Ai2 mostram um débito superior ao do stack anterior numa comparação específica com oito B300 e mostram que uma configuração de 1,2 biliões de parâmetros, com encaminhamento aleatório, pode ser executada em 512 B300. Não estabelecem a qualidade de um modelo treinado dessa dimensão nem a velocidade da carga de trabalho do leitor. O benefício prático é um ponto de partida verificável para reproduzir configurações, medir um estrangulamento local e decidir que definições de paralelismo e precisão justificam um treino dispendioso.

Três números, três denominadores

A comparação preliminar da Ai2 de um MoE de 47 mil milhões de parâmetros foi executada em oito GPU Nvidia B300. O novo stack processou 52 000 tokens por segundo por GPU, contra 19 400 na implementação anterior baseada em FSDP. O rácio é 52 000 ÷ 19 400 = 2,68, arredondado para 2,7 vezes. É uma comparação interna entre o stack antigo e o novo stack , não uma medição face ao Megatron-Core nem uma ablação limpa apenas de DDP. A comparação mais próxima nos exemplos etiquetados, DDP+paralelismo de especialistas versus FSDP/HSDP, mantém a forma do modelo e a janela de medição, mas também altera o router, os kernels esparsos, o otimizador e outros detalhes da implementação.

O resultado de “menos de 5%” responde a outra pergunta. A Ai2 aumentou o conjunto de 8 para 128 especialistas, selecionando quatro por token. A capacidade total passou de 4,6 para 47 mil milhões de parâmetros, enquanto os parâmetros ativos por token se mantiveram perto de 3,2 mil milhões. O débito diminuiu menos de 5% entre essas configurações do conjunto de especialistas. Isso não significa que o novo stack seja apenas 5% mais lento do que o antigo, nem que acrescentar 16 vezes mais especialistas não tenha custo em todas as configurações. O lançamento não fornece informação suficiente para converter essa percentagem num custo em euros ou dólares para o leitor.

O resultado de escala tem um terceiro denominador: a Ai2 reporta um máximo observado de 858 TFLOP/s por GPU numa configuração de 1,2 biliões de parâmetros no total, com 58,36 mil milhões ativos por token, em 512 GPU B300. A tabela de referência v3.0.0 identifica esta linha Ultra-128E como encaminhamento aleatório, MXFP8 e recomputação por camada. O encaminhamento aleatório mede o percurso do sistema sem testar se um router aprendido produz um bom modelo. Uma configuração de 2,38 biliões de parâmetros usou o DeepEP v2 num teste de capacidade curto. A Ai2 descreve-o como uma verificação de escala, não treino sustentado. Nenhum dos números é a exatidão de um modelo treinado, a qualidade de uma saída útil ou prova de economia estável num treino completo.

A Ai2 também reporta uma comparação controlada com quatro B300 em que o MXFP8 aumentou cerca de 21% o débito de treino de ponta a ponta face ao BF16 e reduziu a memória ativa máxima de 103 GiB para 95 GiB, com o trabalho distribuído uniformemente pelos especialistas. O resultado aplica-se às opções de precisão e à carga de trabalho testadas. Não pode ser somado ao valor de 2,7 vezes como se as duas medições partilhassem a mesma base.

O que um engenheiro pode realmente experimentar

O lançamento do repositório a 1 de outubro v3.0.0 está disponível publicamente ao abrigo da licença Apache 2.0. O README recomenda instalar primeiro o PyTorch para o sistema operativo e hardware pretendidos e, depois, instalar ai2-olmo-core a partir do PyPI ou o repositório clonado para desenvolvimento. A versão etiquetada src/examples/olmo_ddp/README.md associa os pontos de funcionamento reportados aos scripts e documenta torchrun como método genérico de execução. Os scripts de produção assumem oito GPU por nó e indicam o número de nós em REF_NUM_NODES. São exemplos para quem já dispõe de um ambiente de GPU distribuído, não uma forma de reproduzir os resultados B300 da Ai2 com um único comando.

Os scripts do relatório têm requisitos de acesso importantes. O README menciona o extra beaker, FlashAttention 4, um /workspace com permissão de escrita e acesso de leitura ao conjunto de dados da Ai2 s3://ai2-llm; o percurso DeepEP v2 também exige uma cópia do repositório DeepEP. O README principal da Ai2 afirma que as imagens Docker publicadas incluem as dependências, mas não o pacote Olmo-core, e avisa que outro hardware ou versões de controladores/CUDA podem exigir uma imagem adaptada. A versão v3.0.0 aumenta a versão mínima suportada do PyTorch para 2.10.0. Analisámos estes documentos e a tabela de referência etiquetada; a BIG CHANGE não instalou o pacote, obteve acesso ao conjunto de dados, reservou GPU nem executou um trabalho de treino.

Para uma avaliação local, comece pela linha de referência etiquetada mais próxima da dimensão pretendida do modelo e do hardware disponível; depois contabilize cada dependência e caminho de dados inacessível antes de reservar capacidade de cálculo. Compare tokens por segundo por GPU com o mesmo comprimento de sequência, lote, encaminhamento, precisão e janela de medição; monitorize separadamente a memória máxima e o comportamento dos checkpoints. As linhas de produção publicadas usam comprimento de sequência 8 192, encaminhamento top-four e um especialista partilhado. Tiny e Small têm scripts complementares de encaminhamento aprendido, enquanto as linhas maiores da manchete usam encaminhamento aleatório. A distribuição de dados do encaminhamento aprendido da equipa pode alterar o equilíbrio de comunicação e o débito, pelo que continua a ser necessário um teste-piloto representativo antes de projetar uma execução completa.

O limite de custo é físico além de ser de software. A comparação destacada com oito GPU exige oito B300; o maior resultado de débito usou 512. A Ai2 não fornece no lançamento um preço geral de aluguer por hora nem um orçamento de treino completo. A licença Apache 2.0 elimina uma taxa de licenciamento de software para este código, mas não disponibiliza GPU, controladores compatíveis, o acesso aos dados referido ou tempo de operação. O README de referência também afirma que a medição de sobreposição de dois lotes do relatório usou uma ramificação anterior à integração e não pode ser reproduzida com os scripts etiquetados.

O sistema aberto é útil porque as suas afirmações podem ser verificadas face a configurações reais. O lançamento da Ai2 resume casos em que uma pontuação aparentemente melhor de equilíbrio de encaminhamento ocultava trabalho menos equilibrado, e em que sobrepor comunicação e cálculo atrasava o treino. Estas conclusões tornam mais importante o plano de medição local: um kernel rápido ou uma métrica isolada favorável não é um resultado de treino de ponta a ponta. A Ai2 diz que a próxima geração Olmo usará uma arquitetura MoE; este lançamento disponibiliza o stack de treino e medições do sistema antes de qualquer avaliação da qualidade desse modelo futuro.

Fontes e leitura adicional

  • Lançamento da Ai2 de 1 de outubro explica a arquitetura e apresenta valores delimitados de débito, memória e escala. Os valores são medições da Ai2; a BIG CHANGE não os reproduziu.
  • Lançamento Olmo-core v3.0.0 estabelece a versão etiquetada, a data de 1 de outubro, o mínimo de PyTorch e as alterações de código. README do repositório documenta a instalação, dependências opcionais e ressalvas das imagens Docker.
  • Guia do script de referência MoE etiquetado associa configurações do relatório à quantidade de GPU, encaminhamento e precisão, e explica os limites da comparação entre os stacks antigo e novo. Relatório técnico é o relato principal das experiências de sistemas; o PDF não foi obtido no nosso ambiente de pesquisa, pelo que as afirmações detalhadas se baseiam no lançamento acessível da Ai2 e nos scripts etiquetados.