Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# TorchNeuron от AWS приносит нативный бэкенд PyTorch на Trainium

> Выпуск Neuron 2.33 от AWS представляет публичную бета-версию бэкенда PyTorch для Trainium2 и Trainium3. Поддерживаемые версии, охват операторов и ограничения компиляции определяют, что инженерам нужно проверить при оценке.

By BIG CHANGE Editorial

Published: 2026-10-20T04:20:56.038Z
Updated: 2026-10-20T04:20:56.038Z
Canonical: https://bigchange.ai/blog/aws-torchneuron-native-pytorch-backend-trainium

![Conceptual charcoal illustration of a code-marked monitor beside an open rack drawer containing an unbranded accelerator board.](https://bigchange.ai/api/media/file/torchneuron-native-device-trainium-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE.

В [примечаниях к выпуску](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html) Neuron 2.33 от AWS публичная бета-версия TorchNeuron датирована 19 октября. [Анонс PyTorch](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/), также датированный 19 октября, сообщает, что публичная бета-версия и открытый исходный код станут доступны 20 октября. Пакет `torch-neuronx` регистрирует в PyTorch устройство `neuron` для Trainium2 и Trainium3, позволяя поддерживаемым операциям моделей и тензоров использовать привычные API PyTorch. Для инженеров, рассматривающих эти чипы, полезное изменение — более короткий путь от существующей программы PyTorch к пробному запуску на устройстве. Будет ли программа работать правильно и эффективно, по-прежнему зависит от её операций, форм и программного окружения.

Прежний путь PyTorch для Trainium использовал библиотеку `torch-neuronx` на основе XLA и код устройства `torch_xla`. По словам AWS, нативный бэкенд использует расширение PyTorch `PrivateUse1` и заменяет `xm.xla_device()` размещением на устройстве `neuron`. Для проектов, уже использующих Neuron, это существенное изменение интерфейса, хотя название пакета знакомо. Выпуск относится к обучению и инференсу на инстансах Trn2 и Trn3; в матрице поддержки Trn1 не указан.

## Что меняется в программе PyTorch

В [примечаниях к выпуску AWS](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html) показан перенос модели с помощью `.to("neuron")` и создание входного тензора на `device="neuron"`. Поддерживаемые операции `torch.nn`, autograd и оптимизаторов затем выполняются через бэкенд. Код для не привязанного к конкретному устройству `torch.accelerator` API PyTorch может обнаруживать Neuron без переписывания под определённое устройство, согласно [обзору TorchNeuron](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/about-pytorch-neuron.html).

Есть два пути выполнения. Режим непосредственного выполнения, eager, запускает операции PyTorch по мере вызова из Python, сохраняя обычный поток управления, вывод и точки останова. Каждая операция компилируется при первом использовании, а последующие совпадающие вызовы могут использовать кэш. Инженеры также могут скомпилировать модель или выбранный участок с помощью `torch.compile(model, backend="neuron", dynamic=False)`. Нативный бэкенд компилирует поддерживаемые графы прямого и обратного проходов; код вне захваченного участка продолжает работать в eager-режиме. [Анонс PyTorch](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/) также описывает однократную установку `torch.compiler.set_default_backend("neuron")` перед компиляцией, чтобы в последующих вызовах компиляции можно было опускать аргумент бэкенда.

Выпуск включает бэкенд `neuron` для `torch.distributed` с документированными коллективными операциями и операциями «точка-точка». AWS перечисляет DistributedDataParallel, FSDP2, DTensor и DeviceMesh, а также конвейерный параллелизм среди поддерживаемых API. Это полезные направления для изучения в проекте распределённого обучения, но примечания к выпуску не доказывают, что существующая многоузловая задача будет работать без изменений или достигнет конкретной целевой пропускной способности.

## Оценка начинается с подходящего окружения

В [кратком руководстве по установке](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/get-started/quickstart-torch-neuron.html) AWS требуется инстанс Trn2 или Trn3 и либо Neuron Base DLAMI, либо поддерживаемый Ubuntu AMI. Матрица выпуска указывает Linux x86\_64 на Ubuntu 24.04 или 26.04. Поддержка Ubuntu 22.04 для этого выпуска завершена. В списке указаны Python 3.12, 3.13 и 3.14, а также `torch-neuronx` 2.13.3.0 для PyTorch 2.13.0 или `torch-neuronx` 2.14.3.0 для PyTorch 2.14.0. Семейство пакета должно соответствовать версии PyTorch.

Краткое руководство устанавливает `torch-neuronx==2.14.*` вместе с `neuronx-cc==2.*` и `nki` из индексов пакетов Neuron и PyTorch. Затем оно проверяет доступность устройства и сравнивает небольшую матричную операцию на Neuron с результатом CPU. Это проверка пути к установленному устройству в примере AWS. Она не подтверждает работоспособность модели читателя. Разумная следующая оценка — запустить прямой и обратный проходы реальной модели, изучить зарегистрированные переходы на CPU с помощью `torch_neuronx.get_fallback_ops()`, сравнить выходные данные с текущим окружением и отдельно измерить компиляцию и выполнение в установившемся режиме. Эти последние шаги — предложенные BIG CHANGE вопросы для оценки, а не проведённые нами испытания.

## Где бета-версия ещё может изменить работу

В eager-режиме неподдерживаемая операция может перейти на CPU и выдать предупреждение. При использовании `torch.compile` операция в захваченном графе, которую бэкенд Neuron не может преобразовать в низкоуровневое представление, по умолчанию приводит к сбою компиляции. Для проверки поддержки каждой операции AWS направляет разработчиков к своей [таблице совместимости операторов](https://github.com/aws-neuron/torch-neuronx/blob/main/docs/torch_api_compatibility.md). Поэтому завершившийся eager-запуск сам по себе не доказывает ни полное выполнение на устройстве, ни совместимость с компиляцией.

Выпуск также указывает, что `torch.compile` требует `dynamic=False`; новая форма входных данных может потребовать ещё одной компиляции. AWS предлагает дополнение или группировку по формам, чтобы уменьшить их вариативность. Первый запуск включает компиляцию, если подходящего артефакта нет в кэше. Эти детали важны при измерении времени рабочей нагрузки: задержка компиляции и характер форм входных данных могут изменить результат оценки.

Другие явно обозначенные ограничения сужают утверждение о совместимости. Бета-версия не поддерживает `torch.sparse`, `torch.func`, `torch.nested` или `torch.distributions`. Только некоторые преобразования `torch.fft` выполняются на Neuron, а `float64` выполняется как `float32` с предупреждением. В этом выпуске нет интеграции TorchAO и поддержки составного типа данных MXFP8. Команде, использующей эти интерфейсы, нужно проверить собственный путь кода, прежде чем считать размещение на устройстве планом миграции.

### Главное изменение

TorchNeuron в публичной бета-версии подключает Trainium через нативные интерфейсы устройств и компиляции PyTorch. Это делает первую пробу поддерживаемых программ PyTorch более прямой и даёт существующим пользователям Neuron иной путь по сравнению с кодом на основе XLA. Решающее свидетельство в пользу внедрения должна дать каждая рабочая нагрузка: остаются ли операторы на нужном устройстве, приемлемы ли численные результаты и оправдывают ли измеренные производительность и стоимость инстанс и работу по миграции. Для этого анализа BIG CHANGE изучил документацию и анонсы; мы не запускали TorchNeuron и не проверяли независимо заявления AWS о производительности.

## Источники и дополнительное чтение

- [Примечания к выпуску AWS Neuron 2.33 TorchNeuron](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html): дата выпуска, статус бета-версии, матрица версий и операционных систем, API и известные ограничения.
- [Обзор TorchNeuron от AWS](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/about-pytorch-neuron.html): интеграция устройств, непосредственное и скомпилированное выполнение, поведение при переходе на CPU и программный путь через Neuron.
- [Краткое руководство AWS по установке и проверке](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/get-started/quickstart-torch-neuron.html): требования к инстансу и образу, установка пакетов и документированная проверка устройства.
- [Блог PyTorch: представляем TorchNeuron](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/): объяснение смены устройств, компиляции и распределённых API со стороны PyTorch. Статья — анонс участников AWS в блоге PyTorch, а не независимый бенчмарк.
- [Анонс Amazon](https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai): изложение AWS своих целей и первых пользователей. Заявления о миграции, производительности и экономических результатах требуют проверки для конкретной рабочей нагрузки.

## Sources

- [Примечания к выпуску AWS Neuron: TorchNeuron](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html) — Первичный источник; датирует публичную бета-версию 2026-10-19, на день раньше указанного в анонсе PyTorch запуска публичной бета-версии и открытого исходного кода; матрица версий и заявленные ограничения.
- [Что такое TorchNeuron?](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/about-pytorch-neuron.html) — Первичная документация по использованию устройства/бэкенда.
- [Блог PyTorch: TorchNeuron, нативный бэкенд PyTorch для AWS Trainium](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/) — Анонс со стороны PyTorch, подготовленный участниками AWS; датирован 19 октября и сообщает, что публичная бета-версия/открытый код станут доступны 20 октября. Действующий URL найден через статью Amazon; это не независимая проверка производительности.
- [Анонс Amazon](https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai) — Анонс поставщика; заявления о миграции и экономических результатах принадлежат AWS и не проверены независимо.
- [Установка и проверка torch-neuronx](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/get-started/quickstart-torch-neuron.html) — Краткое руководство AWS по требованиям, установке совместимых пакетов и документированной проверке устройства CPU/Neuron.
- [Таблица совместимости API TorchNeuron](https://github.com/aws-neuron/torch-neuronx/blob/main/docs/torch_api_compatibility.md) — Классификация сопровождающего проекта для каждого API: нативное выполнение, переход на CPU и отсутствие поддержки.