Edición en Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Olmo-core 3 abre la pila de entrenamiento MoE de Ai2, con resultados de GPU acotados

> El lanzamiento de Olmo-core 3 de Ai2, el 1 de octubre, ofrece código abierto de entrenamiento MoE y pruebas en B300. Las pruebas de escala miden el rendimiento del sistema, no la calidad de un modelo entrenado.

By BIG CHANGE Editorial

Published: 2026-10-13T02:08:18.598Z
Updated: 2026-10-13T02:08:18.598Z
Canonical: https://bigchange.ai/blog/ai2-olmo-core-3-moe-training-stack-benchmarks

![Conceptual charcoal illustration of an unbranded accelerator circuit board beside its separate finned heat sink.](https://bigchange.ai/api/media/file/olmocore3-gpu-board-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE. Generic accelerator components; no specific B300 design, Ai2 installation, completed training run or BIG CHANGE hardware test is depicted.

Ai2 publicó Olmo-core 3 el 1 de octubre como marco abierto para entrenar modelos de lenguaje de mezcla de expertos (MoE). Para un ingeniero de sistemas, el resultado más útil es más acotado que el titular sobre un billón de parámetros: Ai2 publicó el código, las configuraciones de referencia y mediciones limitadas de GPU para decidir si vale la pena probar esta pila en un clúster concreto.

Un MoE envía cada token a un subconjunto de sus redes expertas. Así limita el cálculo por token, pero el conjunto completo de expertos y sus estados del optimizador aún deben distribuirse entre las GPU. Enviar tokens a esos expertos también consume tiempo. Olmo-core 3 cambia cómo Ai2 gestiona ambas restricciones: el sistema basado en DDP mantiene los expertos en las GPU y dirige los datos hacia ellos; la implementación anterior basada en FSDP reunía y volvía a fragmentar los pesos para cada micro-lote. La nueva pila combina paralelismo de expertos y de tubería, estado distribuido del optimizador, enrutamiento residente en GPU y cálculo de expertos agrupado. Ai2 también admite MXFP8 en operaciones seleccionadas. Son decisiones de diseño que un equipo puede inspeccionar y configurar, no una promesa de igual velocidad en otro clúster.

## El gran cambio

Olmo-core 3 pone a disposición la maquinaria de entrenamiento MoE de Ai2 mediante código Apache 2.0 y scripts de referencia. Las pruebas de Ai2 muestran más rendimiento que su pila anterior en una comparación específica con ocho B300 y que una configuración de 1,2 billones de parámetros con enrutamiento aleatorio puede ejecutarse en 512 B300. No establecen la calidad de un modelo entrenado de esa escala ni la velocidad de la carga de trabajo del lector. La utilidad práctica es un punto de partida inspeccionable para reproducir configuraciones, medir un cuello de botella local y decidir qué ajustes de paralelismo y precisión justifican un costoso entrenamiento.

## Tres cifras, tres denominadores

La comparación preliminar de Ai2 para un MoE de 47.000 millones de parámetros se ejecutó en ocho GPU Nvidia B300. La nueva pila procesó 52.000 tokens por segundo **por GPU**, frente a 19.400 con su implementación anterior basada en FSDP. La razón es 52.000 ÷ 19.400 = 2,68, redondeada a 2,7 veces. Es una comparación interna de la *pila* anterior y nueva, no una medición frente a Megatron-Core ni una ablación limpia de DDP solamente. La comparación etiquetada más cercana de DDP+paralelismo de expertos frente a FSDP/HSDP mantiene la forma del modelo y el periodo de medición, pero también cambia el enrutador, los kernels dispersos, el optimizador y otros detalles de implementación.

El resultado de «menos del 5%» responde a otra pregunta. Ai2 amplió el conjunto de 8 a 128 expertos y seleccionó cuatro por token. La capacidad total pasó de 4.600 millones a 47.000 millones de parámetros, mientras los parámetros activos por token se mantuvieron cerca de 3.200 millones. El rendimiento cayó menos del 5% **entre esas configuraciones del conjunto de expertos**. Esto no significa que la nueva pila sea solo un 5% más lenta que la antigua ni que añadir 16 veces más expertos sea gratis en cualquier configuración. El lanzamiento no aporta información suficiente para traducir ese porcentaje al coste en dólares de un lector.

El resultado de escala tiene un tercer denominador: Ai2 informa un máximo observado de 858 TFLOP/s **por GPU** para una configuración de 1,2 billones de parámetros totales, con 58.360 millones activos por token, en 512 GPU B300. La tabla de referencia v3.0.0 identifica esta fila Ultra-128E como de enrutamiento aleatorio, MXFP8 y recomputación por capa. El enrutamiento aleatorio mide la ruta del sistema sin probar si un enrutador aprendido produce un buen modelo. Una configuración de 2,38 billones usó DeepEP v2 en una prueba breve de capacidad. Ai2 la describe como comprobación de escala, no como entrenamiento sostenido. Ninguna cifra mide la precisión del modelo entrenado, la calidad útil de sus resultados ni demuestra una economía estable en una ejecución completa.

Ai2 también informa una comparación controlada con cuatro B300: frente a BF16, MXFP8 aumentó alrededor del 21% el rendimiento integral de entrenamiento y redujo la memoria activa máxima de 103 GiB a 95 GiB, con el trabajo distribuido uniformemente entre expertos. Ese resultado corresponde a las opciones de precisión y la carga de trabajo probadas. No puede sumarse a la cifra de 2,7 veces como si ambas mediciones compartieran una base.

## Qué puede probar realmente un ingeniero

La versión del 1 de octubre del `v3.0.0` es pública bajo Apache 2.0. El README indica instalar primero PyTorch para el sistema operativo y hardware de destino, y después instalar `ai2-olmo-core` desde PyPI o clonar el repositorio para desarrollo. La versión etiquetada `src/examples/olmo_ddp/README.md` vincula los puntos de funcionamiento reportados con scripts y documenta `torchrun` como vía genérica de lanzamiento. Los scripts de producción suponen ocho GPU por nodo e indican el número de nodos en `REF_NUM_NODES`. Son ejemplos para quien ya dispone de un entorno distribuido de GPU, no un comando único para reproducir los resultados de Ai2 en B300.

Los scripts de informe requieren accesos importantes. Su README enumera el extra `beaker`, FlashAttention 4, un `/workspace` con permisos de escritura y acceso de lectura a la mezcla de datos de Ai2 `s3://ai2-llm`; la ruta DeepEP v2 también necesita una copia de DeepEP. El README principal de Ai2 dice que sus imágenes Docker públicas incluyen dependencias, pero no el paquete Olmo-core, y advierte que otro hardware o versiones de controlador/CUDA pueden requerir una imagen adaptada. v3.0.0 eleva la versión mínima de PyTorch a 2.10.0. Revisamos estos documentos y la tabla de referencia etiquetada; BIG CHANGE no instaló el paquete, obtuvo acceso a la mezcla de datos, reservó GPU ni ejecutó entrenamiento.

Para una evaluación local, empieza por la fila de referencia etiquetada más cercana al tamaño de modelo previsto y al hardware disponible; luego contabiliza cada dependencia y ruta de datos inaccesible antes de reservar cómputo. Compara tokens por segundo y GPU con la misma longitud de secuencia, lote, enrutamiento, precisión y ventana de medición; vigila por separado la memoria máxima y el comportamiento de los checkpoints. Las filas de producción publicadas usan longitud de secuencia 8.192, enrutamiento top-four y un experto compartido. Tiny y Small tienen scripts complementarios de enrutamiento aprendido, mientras las filas grandes del titular usan enrutamiento aleatorio. La distribución de datos del enrutamiento aprendido de cada equipo puede cambiar el equilibrio de comunicación y el rendimiento, así que hace falta un piloto representativo antes de proyectar una ejecución completa.

El límite de coste también es físico, además de software. La comparación destacada con ocho GPU requiere ocho B300; el mayor resultado de rendimiento usó 512. Ai2 no ofrece en el lanzamiento un precio general de alquiler por hora ni un presupuesto completo de entrenamiento. Apache 2.0 elimina la tarifa de licencia de software para este código, pero no proporciona GPU, controladores compatibles, acceso a los datos citados ni tiempo de operación. El README de referencia también dice que la medición del informe con dos lotes solapados usó una rama anterior a la integración y no puede reproducirse desde los scripts etiquetados.

El sistema abierto es útil porque sus afirmaciones pueden contrastarse con configuraciones reales. El resumen de Ai2 describe casos en que una puntuación aparentemente mejor de equilibrio de enrutamiento ocultó un trabajo menos equilibrado, y en que solapar comunicación y cálculo ralentizó el entrenamiento. Estos hallazgos hacen más importante el plan de medición local: un kernel rápido o una métrica favorable no equivalen al resultado integral del entrenamiento. Ai2 dice que la próxima generación de Olmo usará una arquitectura MoE; este lanzamiento ofrece la pila de entrenamiento y mediciones del sistema antes de cualquier evaluación de calidad de ese futuro modelo.

## Fuentes y lecturas adicionales

- [El lanzamiento de Ai2 del 1 de octubre](https://allenai.org/blog/olmocore3) explica la arquitectura y las cifras acotadas de rendimiento, memoria y escala. Son mediciones de Ai2; BIG CHANGE no las reprodujo.
- [Lanzamiento de Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) Confirma la versión etiquetada, la fecha del 1 de octubre, el mínimo de PyTorch y los cambios de código.[ README del repositorio](https://github.com/allenai/Olmo-core) Documenta instalación, dependencias opcionales y advertencias sobre las imágenes Docker.
- [Guía etiquetada de scripts de referencia MoE](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) Relaciona configuraciones reportadas con cantidad de GPU, enrutamiento y precisión, y explica límites de la comparación entre pilas.[ Informe técnico](https://allenai.org/papers/olmocore3) Es la fuente principal de los experimentos de sistemas; no se pudo recuperar el PDF en nuestro entorno de investigación, así que los detalles se basan en el lanzamiento accesible de Ai2 y los scripts etiquetados.

## Sources

- [Ai2, Introducing Olmo-core 3](https://allenai.org/blog/olmocore3) — Anuncio principal de arquitectura y resultados medidos; cifras reportadas por Ai2.
- [Lanzamiento Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) — Versión etiquetada, fecha de publicación del 1 de octubre, PyTorch mínimo y registro de cambios de código.
- [README de scripts de referencia MoE de Olmo-core v3.0.0](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) — Puntos de funcionamiento, enrutamiento aleatorio, cantidad de GPU, requisitos y límites de comparación.
- [README y licencia del repositorio Olmo-core](https://github.com/allenai/Olmo-core) — Instalación, dependencias opcionales, advertencias Docker y licencia Apache 2.0.
- [Informe técnico de Ai2](https://allenai.org/papers/olmocore3) — Informe primario enlazado; falló la recuperación del PDF completo; no se atribuye ningún detalle técnico exclusivo a un PDF no leído.