AI-translated from English; not yet reviewed by a fluent editor.

# Olmo-core 3 открывает стек обучения MoE от Ai2, но результаты GPU ограничены

> Выпуск Olmo-core 3 от Ai2 от 1 октября предлагает открытый код обучения MoE и тесты на B300. Тесты масштаба измеряют пропускную способность системы, а не качество обученной модели.

By BIG CHANGE Editorial

Published: 2026-10-13T02:08:18.598Z
Updated: 2026-10-13T02:08:18.598Z
Canonical: https://bigchange.ai/blog/ai2-olmo-core-3-moe-training-stack-benchmarks

![Conceptual charcoal illustration of an unbranded accelerator circuit board beside its separate finned heat sink.](https://bigchange.ai/api/media/file/olmocore3-gpu-board-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE. Generic accelerator components; no specific B300 design, Ai2 installation, completed training run or BIG CHANGE hardware test is depicted.

1 октября Ai2 выпустила Olmo-core 3 — открытую платформу обучения языковых моделей со смесью экспертов (MoE). Самый полезный для системного инженера результат скромнее заголовка о триллионе параметров: Ai2 опубликовала код, эталонные конфигурации и ограниченные измерения на GPU, чтобы команды могли решить, стоит ли испытывать этот стек на конкретном кластере.

MoE направляет каждый токен в подмножество экспертных сетей. Это ограничивает вычисления на токен, но весь пул экспертов и состояние их оптимизатора по-прежнему должны помещаться на GPU. Перемещение токенов к экспертам тоже занимает время. Olmo-core 3 меняет подход Ai2 к этим ограничениям: система на базе DDP оставляет экспертов на GPU и направляет к ним данные, тогда как прежняя реализация на FSDP многократно собирала и перераспределяла веса для микропакетов. Новый стек объединяет параллелизм экспертов и конвейера, распределённое состояние оптимизатора, маршрутизацию с постоянным размещением на GPU и групповые вычисления экспертов. Ai2 также поддерживает MXFP8 для отдельных операций. Это проверяемые и настраиваемые проектные решения, а не обещание такой же скорости на другом кластере.

## Главное изменение

Olmo-core 3 предоставляет инструменты Ai2 для обучения крупных MoE в виде кода Apache 2.0 и эталонных скриптов. Тесты Ai2 показывают более высокую пропускную способность, чем у прежнего стека, в конкретном сравнении на восьми B300, а также возможность запустить конфигурацию с 1,2 триллиона параметров и случайной маршрутизацией на 512 B300. Они не устанавливают качество обученной модели такого масштаба или скорость рабочей нагрузки читателя. Практическая польза — проверяемая отправная точка для воспроизведения конфигураций, измерения локального узкого места и оценки, оправдывают ли параметры параллелизма и точности дорогостоящий запуск обучения.

## Три числа, три знаменателя

Предварительное сравнение Ai2 модели MoE на 47 миллиардов параметров проводилось на восьми GPU Nvidia B300. Новый стек обрабатывал 52 000 токенов в секунду **на GPU** против 19 400 в прежней реализации на FSDP. Отношение равно 52 000 ÷ 19 400 = 2,68, то есть примерно 2,7 раза. Это внутреннее сравнение старого и нового *стека* , а не измерение против Megatron-Core и не чистая абляция только DDP. Ближайшее сравнение в отмеченных примерах — DDP с параллелизмом экспертов против FSDP/HSDP — сохраняет форму модели и период измерения, но также меняет маршрутизатор, разреженные ядра, оптимизатор и другие детали реализации.

Результат «менее 5%» отвечает на другой вопрос. Ai2 увеличила пул с 8 до 128 экспертов, выбирая четыре на токен. Общая ёмкость выросла с 4,6 до 47 миллиардов параметров, а активные параметры на токен остались около 3,2 миллиарда. Пропускная способность снизилась менее чем на 5% **между этими конфигурациями пула экспертов**. Это не означает, что новый стек всего на 5% медленнее старого или что добавление в 16 раз большего числа экспертов всегда бесплатно. В выпуске недостаточно данных, чтобы перевести этот процент в затраты читателя в деньгах.

У результата масштаба третий знаменатель: Ai2 сообщает о максимуме в 858 TFLOP/s **на GPU** для конфигурации с общими 1,2 триллиона параметров и 58,36 миллиарда активных на токен на 512 GPU B300. В эталонной таблице v3.0.0 эта строка Ultra-128E обозначена как случайная маршрутизация, MXFP8 и пересчёт на каждом слое. Случайная маршрутизация измеряет системный путь, но не проверяет, создаёт ли обученный маршрутизатор хорошую модель. В конфигурации на 2,38 триллиона параметров DeepEP v2 использовался в коротком тесте ёмкости. Ai2 называет его проверкой масштаба, а не длительным обучением. Ни одно число не является точностью обученной модели, качеством полезного результата или доказательством устойчивой экономики полного запуска.

Ai2 также сообщает о контролируемом сравнении на четырёх B300: MXFP8 повысила сквозную пропускную способность обучения примерно на 21% относительно BF16 и снизила пиковую активную память с 103 GiB до 95 GiB при равномерном распределении работы по экспертам. Этот результат относится к проверенным вариантам точности и рабочей нагрузке. Его нельзя прибавлять к показателю 2,7 раза, будто у двух измерений одна исходная база.

## Что инженер может попробовать на практике

Выпуск репозитория от 1 октября `v3.0.0` опубликован под лицензией Apache 2.0. README советует сначала установить PyTorch для целевой ОС и оборудования, затем установить `ai2-olmo-core` из PyPI или клонированный репозиторий для разработки. Помеченная версия `src/examples/olmo_ddp/README.md` связывает указанные рабочие точки со скриптами и описывает `torchrun` как общий способ запуска. Производственные скрипты предполагают восемь GPU на узел и задают число узлов в `REF_NUM_NODES`. Это примеры для тех, у кого уже есть распределённая GPU-среда, а не способ одной командой воспроизвести результаты Ai2 на B300.

У скриптов отчёта есть существенные требования к доступу. В README указаны дополнительный пакет `beaker`, FlashAttention 4, доступный для записи каталог `/workspace` и доступ на чтение к набору данных Ai2 `s3://ai2-llm`; для пути DeepEP v2 также требуется копия репозитория DeepEP. В основном README Ai2 сказано, что общедоступные образы Docker включают зависимости, но не пакет Olmo-core; для другого оборудования или версий драйвера/CUDA может понадобиться адаптированный образ. Выпуск v3.0.0 повышает минимальную поддерживаемую версию PyTorch до 2.10.0. Мы проверили эти документы и помеченную эталонную таблицу; BIG CHANGE не устанавливала пакет, не получала доступ к набору данных, не резервировала GPU и не запускала обучение.

Для локальной оценки начните с помеченной эталонной строки, наиболее близкой к нужному размеру модели и доступному оборудованию, а затем учтите каждую зависимость и недоступный путь к данным до резервирования вычислительных ресурсов. Сравнивайте токены в секунду на GPU при одинаковых длине последовательности, пакете, маршрутизации, точности и периоде измерения; отдельно отслеживайте пиковую память и поведение контрольных точек. В опубликованных производственных строках используются длина последовательности 8 192, маршрутизация top-four и один общий эксперт. Для Tiny и Small есть дополнительные скрипты с обучаемой маршрутизацией, а более крупные строки заголовка используют случайную. Распределение данных обучаемой маршрутизации команды может менять баланс коммуникаций и пропускную способность, поэтому перед прогнозом полного запуска всё ещё нужен репрезентативный пилот.

Ограничение стоимости связано не только с ПО, но и с физическими ресурсами. Для выделенного сравнения на восьми GPU нужны восемь B300; для максимального результата пропускной способности использовались 512. В выпуске Ai2 не указала общую почасовую ставку аренды или полный бюджет обучения. Лицензия Apache 2.0 снимает плату за лицензию на этот код, но не предоставляет GPU, совместимые драйверы, указанный доступ к данным или время оператора. В эталонном README также сказано, что измерение перекрытия двух пакетов в отчёте использовало ветку до слияния и не воспроизводится помеченными скриптами.

Открытая система полезна тем, что её заявления можно проверить по реальным конфигурациям. В выпуске Ai2 описаны случаи, когда внешне лучший показатель баланса маршрутизации скрывал менее сбалансированную работу, а перекрытие коммуникаций и вычислений замедляло обучение. Эти наблюдения делают локальный план измерений важнее: быстрое ядро или благоприятная отдельная метрика не равны сквозному результату обучения. Ai2 сообщает, что следующее поколение Olmo будет использовать архитектуру MoE; этот выпуск предоставляет стек обучения и системные измерения до оценки качества будущей модели.

## Источники и дополнительная литература

- [Выпуск Ai2 от 1 октября](https://allenai.org/blog/olmocore3) объясняет архитектуру и приводит ограниченные показатели пропускной способности, памяти и масштаба. Это измерения Ai2; BIG CHANGE их не воспроизводила.
- [Выпуск Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) устанавливает помеченную версию, дату выпуска 1 октября, минимальную версию PyTorch и изменения кода.[ README репозитория](https://github.com/allenai/Olmo-core) описывает установку, необязательные зависимости и оговорки по образам Docker.
- [Руководство к помеченному эталонному скрипту MoE](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) связывает конфигурации отчёта с числом GPU, маршрутизацией и точностью, а также поясняет ограничения сравнения старого и нового стека.[ Технический отчёт](https://allenai.org/papers/olmocore3) — основной источник об экспериментах с системами; PDF не удалось получить в нашей исследовательской среде, поэтому подробные утверждения опираются на доступный выпуск Ai2 и помеченные скрипты.

## Sources

- [Ai2, Introducing Olmo-core 3](https://allenai.org/blog/olmocore3) — Главное объявление архитектуры и измеренных результатов; цифры предоставлены Ai2.
- [Выпуск Olmo-core v3.0.0](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) — Помеченный выпуск, версия, дата 1 октября, минимальная версия PyTorch и запись изменений кода.
- [README эталонных скриптов MoE для Olmo-core v3.0.0](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) — Рабочие точки, случайная маршрутизация, число GPU, предварительные условия и ограничения сравнения.
- [README репозитория Olmo-core и лицензия](https://github.com/allenai/Olmo-core) — Установка, необязательные зависимости, оговорки по Docker и лицензия Apache 2.0.
- [Технический отчёт Ai2](https://allenai.org/papers/olmocore3) — Ссылка на основной отчёт; полную версию PDF получить не удалось; непрочитанному PDF не приписаны уникальные технические подробности.