세상은 멈춰 있지 않습니다.RSS
BIG CHANGE.

Markdown 버전

AI-translated from English; not yet reviewed by a fluent editor.

# AWS TorchNeuron, Trainium에 네이티브 PyTorch 백엔드 도입

> AWS의 Neuron 2.33 릴리스는 Trainium2와 Trainium3용 PyTorch 백엔드를 공개 베타로 선보인다. 지원 버전, 연산자 지원 범위, 컴파일 제약이 엔지니어가 평가에서 확인해야 할 사항을 규정한다.

By BIG CHANGE Editorial

Published: 2026-10-20T04:20:56.038Z
Updated: 2026-10-20T04:20:56.038Z
Canonical: https://bigchange.ai/blog/aws-torchneuron-native-pytorch-backend-trainium

![Conceptual charcoal illustration of a code-marked monitor beside an open rack drawer containing an unbranded accelerator board.](https://bigchange.ai/api/media/file/torchneuron-native-device-trainium-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE.

AWS Neuron 2.33 [릴리스 노트](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html)는 TorchNeuron 공개 베타 날짜를 10월 19일로 기재한다. 같은 10월 19일자로 게시된 [PyTorch 발표](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/)는 공개 베타와 오픈 소스 출시가 10월 20일 시작된다고 밝힌다. `torch-neuronx` 패키지는 Trainium2와 Trainium3를 위해 PyTorch에 `neuron` 장치를 등록해 지원되는 모델 및 텐서 연산에서 익숙한 PyTorch API를 사용할 수 있게 한다. 이 칩을 검토하는 엔지니어에게 유용한 변화는 기존 PyTorch 프로그램에서 장치 수준의 시험까지 가는 경로가 짧아진다는 점이다. 프로그램이 정확하고 효율적으로 실행될지는 여전히 연산, 형태, 소프트웨어 환경에 달려 있다.

이전 Trainium용 PyTorch 경로는 XLA 기반 `torch-neuronx` 라이브러리와 `torch_xla` 장치 코드를 사용했다. AWS에 따르면 네이티브 백엔드는 PyTorch의 `PrivateUse1` 확장을 사용하고 `xm.xla_device()` 대신 `neuron` 장치 배치를 사용한다. 패키지 이름은 익숙하더라도 이미 Neuron을 사용하는 프로젝트에는 실질적인 인터페이스 변화다. 이 릴리스는 Trn2와 Trn3 인스턴스의 학습 및 추론에 적용되며, 지원 표에는 Trn1이 없다.

## PyTorch 프로그램에서 달라지는 점

문서상 [AWS 릴리스 노트](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html)는 `.to("neuron")` 를 사용해 모델을 이동하고 `device="neuron"` 에 입력 텐서를 생성하는 예를 보여 준다. 지원되는 `torch.nn`, autograd, 옵티마이저 연산은 이후 백엔드를 통해 실행된다. PyTorch의 장치 독립적인 `torch.accelerator` API를 사용하는 코드는 장치별 재작성 없이 Neuron을 탐지할 수 있다고 [TorchNeuron 개요](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/about-pytorch-neuron.html)는 설명한다.

실행 경로는 두 가지다. 즉시 실행 모드는 Python이 호출하는 대로 PyTorch 연산을 실행하며 일반적인 제어 흐름, 출력, 중단점을 유지한다. 각 연산은 처음 사용할 때 컴파일되고 이후 일치하는 호출은 캐시를 사용할 수 있다. 엔지니어는 `torch.compile(model, backend="neuron", dynamic=False)` 를 사용해 모델이나 선택한 영역을 컴파일할 수도 있다. 네이티브 백엔드는 지원되는 순전파 및 역전파 그래프를 컴파일하며, 캡처된 영역 밖의 코드는 즉시 실행 모드로 계속 실행된다. [PyTorch 발표](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/)는 컴파일 전에 `torch.compiler.set_default_backend("neuron")` 를 한 번 설정하면 이후 컴파일 호출에서 백엔드 인수를 생략할 수 있다고도 설명한다.

이 릴리스에는 `neuron` 백엔드가 `torch.distributed` 에 제공되며, 집합 통신과 점대점 연산이 문서화돼 있다. AWS는 지원 API로 DistributedDataParallel, FSDP2, DTensor, DeviceMesh와 파이프라인 병렬화를 열거한다. 분산 학습 프로젝트에서 살펴볼 유용한 경로이지만, 기존 다중 노드 작업이 변경 없이 실행되거나 특정 처리량 목표를 달성한다는 것을 릴리스 노트가 입증하는 것은 아니다.

## 평가는 호환되는 환경에서 시작한다

AWS의 [설치 빠른 시작 안내서](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/get-started/quickstart-torch-neuron.html)는 Trn2 또는 Trn3 인스턴스와 Neuron Base DLAMI 또는 지원되는 Ubuntu AMI를 요구한다. 릴리스 지원 표는 Ubuntu 24.04 또는 26.04에서의 Linux x86\_64를 명시한다. 이 릴리스에서 Ubuntu 22.04 지원은 종료됐다. Python 3.12, 3.13, 3.14를 열거하며, PyTorch 2.13.0에는 `torch-neuronx` 2.13.3.0을, PyTorch 2.14.0에는 `torch-neuronx` 2.14.3.0을 사용한다. 패키지 계열은 PyTorch 버전과 일치해야 한다.

빠른 시작 안내서는 `torch-neuronx==2.14.*` 와 함께 `neuronx-cc==2.*` 및 `nki` 를 Neuron과 PyTorch 패키지 인덱스에서 설치한다. 그런 다음 장치 가용성을 확인하고 Neuron의 작은 행렬 연산을 CPU 결과와 비교한다. 이는 AWS 예제에서 설치된 장치 경로를 검증하는 것이며 독자의 모델을 검증하지는 않는다. 합리적인 다음 평가는 실제 모델의 순전파 및 역전파 경로를 실행하고, `torch_neuronx.get_fallback_ops()` 로 기록된 CPU 폴백 연산을 확인하며, 현재 환경과 출력을 비교하고 컴파일과 정상 상태 실행을 따로 측정하는 것이다. 이 마지막 단계들은 BIG CHANGE가 제안하는 평가 질문이며 우리가 수행한 테스트가 아니다.

## 베타가 여전히 작업 방식을 바꿀 수 있는 부분

즉시 실행 모드에서 지원되지 않는 연산은 CPU로 폴백하고 경고를 낼 수 있다. `torch.compile` 에서는 그래프에 캡처된 연산을 Neuron 백엔드가 낮은 수준의 실행 표현으로 변환하지 못하면 기본적으로 컴파일이 실패한다. AWS는 개발자가 연산별 지원 범위를 확인하도록 [연산자 호환성 표](https://github.com/aws-neuron/torch-neuronx/blob/main/docs/torch_api_compatibility.md)를 안내한다. 따라서 즉시 실행이 완료됐다고 해서 그 자체로 전체 장치 실행이나 컴파일 호환성이 입증되는 것은 아니다.

릴리스는 또한 `torch.compile` 에 `dynamic=False` 가 필요하다고 밝힌다. 새로운 입력 형태는 추가 컴파일을 요구할 수 있다. AWS는 형태 변화를 줄이기 위해 패딩이나 버킷화를 제안한다. 일치하는 캐시 아티팩트가 없으면 첫 실행에 컴파일이 포함된다. 작업 부하의 실행 시간을 잴 때 이런 세부 사항이 중요하다. 컴파일 지연과 입력 형태의 패턴이 평가 결과를 바꿀 수 있기 때문이다.

다른 명시적 제약도 호환성 주장의 범위를 좁힌다. 베타는 `torch.sparse`, `torch.func`, `torch.nested` 또는 `torch.distributions` 를 지원하지 않는다. 일부 `torch.fft` 변환만 Neuron에서 실행되며 `float64` 는 `float32` 로 실행되면서 경고를 낸다. 이 릴리스에는 TorchAO 통합과 복합 MXFP8 데이터 형식 지원이 없다. 이런 기능을 사용하는 팀은 장치 배치를 마이그레이션 계획으로 받아들이기 전에 자체 코드 경로를 확인해야 한다.

### 큰 변화

TorchNeuron은 공개 베타에서 PyTorch의 네이티브 장치 및 컴파일 인터페이스 뒤에 Trainium을 연결한다. 지원되는 PyTorch 프로그램의 첫 시험을 더 직접적으로 만들고 기존 Neuron 사용자에게 XLA 기반 코드와 다른 경로를 제공한다. 도입을 결정할 증거는 각 작업 부하에서 나와야 한다. 연산자가 의도한 장치에 머무는지, 수치 결과가 여전히 허용 가능한지, 측정한 성능과 비용이 인스턴스 및 마이그레이션 작업을 정당화하는지다. BIG CHANGE는 이 분석을 위해 문서와 발표를 검토했다. TorchNeuron을 실행하거나 AWS의 성능 주장을 독립적으로 검증하지는 않았다.

## 출처 및 추가 읽을거리

- [AWS Neuron 2.33 TorchNeuron 릴리스 노트](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html): 출시일, 베타 상태, 버전 및 운영체제 지원 표, API, 알려진 제약.
- [AWS TorchNeuron 개요](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/about-pytorch-neuron.html): 장치 통합, 즉시 실행 및 컴파일 실행, CPU 폴백 동작, Neuron을 통한 소프트웨어 경로.
- [AWS 설치 및 검증 빠른 시작 안내서](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/get-started/quickstart-torch-neuron.html): 인스턴스와 이미지 요구 사항, 패키지 설치, 문서에 나온 장치 확인.
- [PyTorch 블로그: TorchNeuron 소개](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/): 장치 전환, 컴파일, 분산 API에 대한 PyTorch 측 설명. 이 글은 AWS 기여자가 PyTorch 블로그에 올린 발표이며 독립 벤치마크가 아니다.
- [Amazon 발표](https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai): 목표와 초기 도입자에 대한 AWS의 설명. 마이그레이션, 성능, 경제적 효과 주장은 작업 부하별 검증이 필요하다.

## Sources

- [AWS Neuron 릴리스 노트: TorchNeuron](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html) — 1차 자료. 공개 베타 날짜를 2026-10-19로 기재하며, 이는 PyTorch 발표가 밝힌 공개 베타 및 오픈 소스 출시보다 하루 이르다. 버전 지원 표와 명시된 제약을 제공한다.
- [TorchNeuron이란?](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/about-pytorch-neuron.html) — 장치 및 백엔드 사용에 관한 1차 문서.
- [PyTorch 블로그: AWS Trainium용 네이티브 PyTorch 백엔드 TorchNeuron](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/) — AWS 기여자의 PyTorch 측 발표. 10월 19일자로 게시됐으며 공개 베타와 오픈 소스가 10월 20일 출시된다고 밝힌다. Amazon 글에서 연결된 실제 URL이며 독립적인 성능 검증이 아니다.
- [Amazon 발표](https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai) — 공급업체 발표. 마이그레이션과 경제적 효과 주장은 독립적으로 검증한 사실이 아닌 AWS의 설명이다.
- [torch-neuronx 설치 및 검증](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/get-started/quickstart-torch-neuron.html) — 요구 사항, 일치하는 패키지 설치, 문서화된 CPU/Neuron 장치 확인에 관한 AWS 빠른 시작 안내서.
- [TorchNeuron API 호환성 표](https://github.com/aws-neuron/torch-neuronx/blob/main/docs/torch_api_compatibility.md) — 관리자가 API별로 제시한 네이티브 실행, CPU 폴백, 미지원 분류.