Édition Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Olmo-core 3 ouvre le système d’entraînement MoE d’Ai2, avec des résultats GPU circonscrits

> La version Olmo-core 3 publiée par Ai2 le 1er octobre fournit du code ouvert pour l’entraînement MoE et des benchmarks B300. Ses tests d’échelle mesurent le débit du système, pas la qualité d’un modèle entraîné.

By BIG CHANGE Editorial

Published: 2026-10-13T02:08:18.598Z
Updated: 2026-10-13T02:08:18.598Z
Canonical: https://bigchange.ai/blog/ai2-olmo-core-3-moe-training-stack-benchmarks

![Conceptual charcoal illustration of an unbranded accelerator circuit board beside its separate finned heat sink.](https://bigchange.ai/api/media/file/olmocore3-gpu-board-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE. Generic accelerator components; no specific B300 design, Ai2 installation, completed training run or BIG CHANGE hardware test is depicted.

Ai2 a publié Olmo-core 3 le 1er octobre comme cadre ouvert d’entraînement de modèles de langage à mélange d’experts (MoE). Pour un ingénieur système, le résultat le plus utile est plus circonscrit que le titre sur mille milliards de paramètres : Ai2 a publié le code, les configurations de référence et des mesures GPU limitées qui permettent aux équipes de décider si ce système mérite un essai sur un cluster donné.

Un MoE envoie chaque jeton vers un sous-ensemble de ses réseaux d’experts. Cela limite le calcul par jeton, mais l’ensemble complet des experts et leur état d’optimiseur doivent toujours tenir sur les GPU. Le transfert des jetons vers les experts prend aussi du temps. Olmo-core 3 modifie la façon dont Ai2 traite ces deux contraintes : son système fondé sur DDP laisse les experts résidents sur les GPU et leur achemine les données ; l’ancienne implémentation fondée sur FSDP rassemblait puis repartitionnait plusieurs fois les poids pour les micro-lots. Le nouveau système combine parallélisme des experts et du pipeline, état d’optimiseur distribué, routage résident sur GPU et calcul groupé des experts. Ai2 prend aussi en charge MXFP8 pour certaines opérations. Ce sont des choix de conception qu’une équipe peut examiner et configurer, pas la promesse d’obtenir la même vitesse sur un autre cluster.

## Ce qui change

Olmo-core 3 met les outils d’entraînement MoE à grande échelle d’Ai2 à disposition sous forme de code Apache 2.0 et de scripts de référence. Les tests d’Ai2 montrent un débit supérieur à celui de son ancien système dans une comparaison précise sur huit B300 et montrent qu’une configuration de 1,2 billion de paramètres à routage aléatoire peut fonctionner sur 512 B300. Ils n’établissent ni la qualité d’un modèle entraîné de cette taille ni la vitesse de la charge de travail d’un lecteur. Le bénéfice pratique est un point de départ vérifiable pour reproduire les configurations, mesurer un goulot d’étranglement local et déterminer quels réglages de parallélisme et de précision justifient un entraînement coûteux.

## Trois chiffres, trois dénominateurs

La comparaison préliminaire d’Ai2 pour un MoE de 47 milliards de paramètres a été exécutée sur huit GPU Nvidia B300. Le nouveau système a traité 52 000 jetons par seconde **par GPU**, contre 19 400 avec l’ancienne implémentation FSDP. Le rapport est de 52 000 ÷ 19 400 = 2,68, soit 2,7 fois après arrondi. Il s’agit d’une comparaison interne entre l’ancien et le nouveau *système* , pas d’une mesure face à Megatron-Core ni d’une ablation propre limitée à DDP. La comparaison la plus proche dans les exemples étiquetés, DDP avec parallélisme des experts contre FSDP/HSDP, conserve la forme du modèle et la fenêtre de mesure, mais change aussi le routeur, les noyaux creux, l’optimiseur et d’autres détails d’implémentation.

Le résultat « moins de 5 % » répond à une autre question. Ai2 a fait passer le pool de 8 à 128 experts, en en sélectionnant quatre par jeton. La capacité totale a augmenté de 4,6 à 47 milliards de paramètres, tandis que les paramètres actifs par jeton sont restés proches de 3,2 milliards. Le débit a baissé de moins de 5 % **entre ces configurations de pool d’experts**. Cela ne signifie pas que le nouveau système est seulement 5 % plus lent que l’ancien, ni que multiplier par 16 le nombre d’experts est gratuit dans toutes les configurations. La publication ne donne pas assez d’informations pour convertir ce pourcentage en coût en dollars pour un lecteur.

Le résultat d’échelle a un troisième dénominateur : Ai2 rapporte un maximum observé de 858 TFLOP/s **par GPU** pour une configuration de 1,2 billion de paramètres au total, dont 58,36 milliards actifs par jeton, sur 512 GPU B300. Le tableau de référence v3.0.0 identifie cette ligne Ultra-128E comme à routage aléatoire, MXFP8 et recomputation par couche. Le routage aléatoire mesure le parcours système sans vérifier qu’un routeur appris produit un bon modèle. Une configuration de 2,38 billions de paramètres a utilisé DeepEP v2 lors d’un bref test de capacité. Ai2 la décrit comme une vérification d’échelle, pas comme un entraînement soutenu. Aucun de ces chiffres ne correspond à la précision d’un modèle entraîné, à la qualité d’une sortie utile ou à une preuve de rentabilité stable d’un entraînement complet.

Ai2 rapporte aussi une comparaison contrôlée sur quatre B300 : face au BF16, MXFP8 a augmenté d’environ 21 % le débit d’entraînement de bout en bout et réduit la mémoire active maximale de 103 GiB à 95 GiB, avec un travail réparti uniformément entre les experts. Ce résultat ne vaut que pour les choix de précision et la charge testés. Il ne peut pas s’ajouter au chiffre de 2,7 fois comme si les mesures partageaient la même référence.

## Ce qu’un ingénieur peut réellement essayer

La version du dépôt du 1er octobre `v3.0.0` est publiée sous licence Apache 2.0. Le README recommande d’installer d’abord PyTorch pour le système d’exploitation et le matériel visés, puis d’installer `ai2-olmo-core` depuis PyPI ou le dépôt cloné pour le développement. La version étiquetée `src/examples/olmo_ddp/README.md` relie les points de fonctionnement rapportés aux scripts et présente `torchrun` comme méthode de lancement générique. Les scripts de production supposent huit GPU par nœud et indiquent le nombre de nœuds dans `REF_NUM_NODES`. Ce sont des exemples pour les personnes disposant déjà d’un environnement GPU distribué, pas un moyen de reproduire les résultats B300 d’Ai2 en une commande.

Les scripts du rapport ont d’importantes exigences d’accès. Leur README mentionne l’option supplémentaire `beaker`, FlashAttention 4, un `/workspace` accessible en écriture et l’accès en lecture au jeu de données d’Ai2 `s3://ai2-llm` ; le parcours DeepEP v2 exige aussi une copie du dépôt DeepEP. Le README principal d’Ai2 indique que ses images Docker publiques incluent les dépendances, mais pas le paquet Olmo-core, et prévient qu’un autre matériel ou d’autres versions de pilotes/CUDA peuvent nécessiter une image adaptée. La version v3.0.0 relève la version minimale prise en charge de PyTorch à 2.10.0. Nous avons examiné ces documents et le tableau de référence étiqueté ; BIG CHANGE n’a pas installé le paquet, obtenu l’accès au jeu de données, réservé de GPU ni lancé de tâche d’entraînement.

Pour une évaluation locale, partez de la ligne de référence étiquetée la plus proche de la taille de modèle visée et du matériel disponible, puis tenez compte de chaque dépendance et chemin de données inaccessible avant de réserver du calcul. Comparez les jetons par seconde et par GPU avec la même longueur de séquence, le même lot, routage, précision et intervalle de mesure ; suivez séparément la mémoire maximale et le comportement des points de contrôle. Les lignes de production publiées utilisent une séquence de 8 192, un routage top-four et un expert partagé. Tiny et Small ont des scripts complémentaires à routage appris, tandis que les lignes plus grandes du titre utilisent un routage aléatoire. La distribution des données de routage appris d’une équipe peut modifier l’équilibre des communications et le débit ; un essai pilote représentatif reste donc nécessaire avant de projeter un entraînement complet.

La limite de coût est aussi physique que logicielle. La comparaison mise en avant sur huit GPU nécessite huit B300 ; le résultat de débit maximal en a utilisé 512. Ai2 ne fournit dans la publication ni tarif général de location horaire ni budget complet d’entraînement. La licence Apache 2.0 supprime les frais de licence logicielle pour ce code, mais ne fournit ni GPU, ni pilotes compatibles, ni accès aux données citées, ni temps opérateur. Le README de référence indique aussi que la mesure du chevauchement de deux lots dans le rapport utilisait une branche antérieure à la fusion et ne peut pas être reproduite avec les scripts étiquetés.

Le système ouvert est utile parce que ses affirmations peuvent être vérifiées à partir de configurations réelles. La publication d’Ai2 résume des cas où un score apparemment meilleur d’équilibre du routage masquait un travail moins équilibré, et où le chevauchement des communications et du calcul ralentissait l’entraînement. Ces constats rendent le plan de mesure local plus important : un noyau rapide ou une métrique isolée favorable ne constitue pas un résultat d’entraînement de bout en bout. Ai2 indique que la prochaine génération d’Olmo utilisera une architecture MoE ; cette publication fournit le système d’entraînement et des mesures système avant toute évaluation de la qualité de ce futur modèle.

## Sources et lectures complémentaires

- [Publication d’Ai2 du 1er octobre](https://allenai.org/blog/olmocore3) explique l’architecture et donne des chiffres circonscrits de débit, mémoire et échelle. Ce sont des mesures d’Ai2 ; BIG CHANGE ne les a pas reproduites.
- [Publication Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) établit la version étiquetée, la date du 1er octobre, le minimum PyTorch et les changements de code.[ README du dépôt](https://github.com/allenai/Olmo-core) documente l’installation, les dépendances optionnelles et les réserves sur l’image Docker.
- [Guide du script de référence MoE étiqueté](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) relie les configurations du rapport au nombre de GPU, au routage et à la précision et explique les limites de la comparaison entre les anciens et nouveaux systèmes.[ Rapport technique](https://allenai.org/papers/olmocore3) est le compte rendu principal des expériences système ; son PDF n’a pas pu être récupéré dans notre environnement de recherche, les affirmations détaillées s’appuient donc sur la publication d’Ai2 accessible et les scripts étiquetés.

## Sources

- [Ai2, Introducing Olmo-core 3](https://allenai.org/blog/olmocore3) — Annonce principale de l’architecture et des résultats mesurés ; chiffres rapportés par Ai2.
- [Publication Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) — Version étiquetée, date du 1er octobre, minimum PyTorch et relevé des changements de code.
- [README du script de référence MoE Olmo-core v3.0.0](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) — Points de fonctionnement, routage aléatoire, nombre de GPU, prérequis et limites de comparaison.
- [README et licence du dépôt Olmo-core](https://github.com/allenai/Olmo-core) — Installation, dépendances optionnelles, réserves Docker et licence Apache 2.0.
- [Rapport technique d’Ai2](https://allenai.org/papers/olmocore3) — Rapport principal lié ; échec de récupération du PDF complet ; aucun détail technique unique n’est attribué au PDF non lu.