AI-translated from English; not yet reviewed by a fluent editor.

# Ang TorchNeuron ng AWS ay nagdadala ng native na PyTorch backend sa Trainium

> Ipinapakilala ng Neuron 2.33 ng AWS ang isang PyTorch backend na nasa pampublikong beta para sa Trainium2 at Trainium3. Ang mga suportadong bersiyon, saklaw ng mga operator, at limitasyon sa pag-compile ang nagtatakda ng kailangang suriin ng mga inhinyero sa isang ebalwasyon.

By BIG CHANGE Editorial

Published: 2026-10-20T04:20:56.038Z
Updated: 2026-10-20T04:20:56.038Z
Canonical: https://bigchange.ai/blog/aws-torchneuron-native-pytorch-backend-trainium

![Conceptual charcoal illustration of a code-marked monitor beside an open rack drawer containing an unbranded accelerator board.](https://bigchange.ai/api/media/file/torchneuron-native-device-trainium-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE.

Ang [mga tala sa release](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html) ng Neuron 2.33 ng AWS ay nagtatakda sa Oktubre 19 bilang petsa ng pampublikong beta ng TorchNeuron. Ang [anunsiyo ng PyTorch](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/), na may petsang Oktubre 19 rin, ay nagsasabing magiging available sa Oktubre 20 ang pampublikong beta at open-source na paglulunsad. Ang package na `torch-neuronx` ay nagrerehistro ng device na `neuron` sa PyTorch para sa Trainium2 at Trainium3, kaya maaaring gamitin ng mga suportadong operasyon sa modelo at tensor ang pamilyar na mga PyTorch API. Para sa mga inhinyerong isinasaalang-alang ang mga chip na ito, ang kapaki-pakinabang na pagbabago ay mas maikling landas mula sa kasalukuyang PyTorch program patungo sa pagsubok sa device. Nakasalalay pa rin sa mga operasyon, hugis, at software environment nito kung tatakbo nang tama at mahusay ang program.

Ang dating landas ng PyTorch para sa Trainium ay gumamit ng XLA-based na library na `torch-neuronx` at device code na `torch_xla`. Ayon sa AWS, ginagamit ng native na backend ang extension ng PyTorch na `PrivateUse1` at pinapalitan ang `xm.xla_device()` ng paglalagay sa device na `neuron`. Malaking pagbabago ito sa interface para sa mga proyektong gumagamit na ng Neuron, kahit pamilyar ang pangalan ng package. Saklaw ng release ang training at inference sa mga Trn2 at Trn3 instance; hindi nakalista ang Trn1 sa talaan ng suporta.

## Ano ang nagbabago sa isang PyTorch program

Ipinapakita ng [mga release note ng AWS](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html) ang modelong inilipat gamit ang `.to("neuron")` at ang input tensor na ginawa sa `device="neuron"`. Ang mga suportadong operasyon ng `torch.nn`, autograd, at optimizer ay tumatakbo pagkatapos sa pamamagitan ng backend. Ang code para sa device-agnostic na `torch.accelerator` API ng PyTorch ay maaaring makatuklas ng Neuron nang walang muling pagsulat para sa partikular na device, ayon sa [pangkalahatang paliwanag sa TorchNeuron](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/about-pytorch-neuron.html).

May dalawang landas ng pagpapatakbo. Sa eager mode, isinasagawa ang mga operasyon ng PyTorch habang tinatawag ang mga ito ng Python, habang pinananatili ang karaniwang control flow, mga print output, at breakpoint. Kino-compile ang bawat operasyon sa unang paggamit at maaaring gumamit ng cache ang mga susunod na katugmang tawag. Maaari ring mag-compile ang mga inhinyero ng modelo o piniling bahagi gamit ang `torch.compile(model, backend="neuron", dynamic=False)`. Kino-compile ng native na backend ang mga suportadong forward at backward graph; patuloy na tumatakbo sa eager mode ang code sa labas ng nakuhang bahagi. Inilalarawan din ng [anunsiyo ng PyTorch](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/) ang pagtatakda ng `torch.compiler.set_default_backend("neuron")` nang isang beses bago mag-compile, upang hindi na kailangang ilagay ang backend argument sa mga susunod na tawag sa pag-compile.

Kasama sa release ang backend na `neuron` para sa `torch.distributed`, na may dokumentadong collective at point-to-point na mga operasyon. Inililista ng AWS ang DistributedDataParallel, FSDP2, DTensor, DeviceMesh, at pipeline parallelism sa mga suportadong API. Kapaki-pakinabang na mga landas itong suriin para sa isang distributed training project, ngunit hindi pinatutunayan ng mga release note na tatakbo nang walang pagbabago ang isang kasalukuyang multi-node job o makakamit nito ang isang partikular na throughput target.

## Nagsisimula ang ebalwasyon sa magkatugmang environment

Ang [mabilis na gabay sa pag-install](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/get-started/quickstart-torch-neuron.html) ng AWS ay nangangailangan ng Trn2 o Trn3 instance at ng Neuron Base DLAMI o suportadong Ubuntu AMI. Itinatakda ng release matrix ang Linux x86\_64 sa Ubuntu 24.04 o 26.04. Tapos na ang suporta sa Ubuntu 22.04 para sa release na ito. Nakalista ang Python 3.12, 3.13, at 3.14, kasama ang `torch-neuronx` 2.13.3.0 para sa PyTorch 2.13.0 o `torch-neuronx` 2.14.3.0 para sa PyTorch 2.14.0. Dapat tumugma ang pamilya ng package sa bersiyon ng PyTorch.

Ini-install ng mabilis na gabay ang `torch-neuronx==2.14.*` kasama ang `neuronx-cc==2.*` at `nki` mula sa mga package index ng Neuron at PyTorch. Pagkatapos, sinusuri nito kung available ang device at inihahambing ang isang maliit na matrix operation sa Neuron sa resulta ng CPU. Pinatutunayan nito ang naka-install na device path sa halimbawa ng AWS. Hindi nito pinatutunayan ang modelo ng mambabasa. Isang makatuwirang susunod na ebalwasyon ang pagpapatakbo ng aktuwal na forward at backward path ng modelo, pagtingin sa mga naitalang CPU fallback gamit ang `torch_neuronx.get_fallback_ops()`, paghahambing ng mga output sa kasalukuyang environment, at hiwalay na pagsukat ng pag-compile at mga steady-state run. Ang mga huling hakbang na iyon ay mga tanong sa ebalwasyong iminungkahi ng BIG CHANGE, hindi mga pagsubok na isinagawa namin.

## Saan maaari pang baguhin ng beta ang trabaho

Sa eager mode, ang isang hindi suportadong operasyon ay maaaring bumalik sa CPU at maglabas ng babala. Sa `torch.compile`, ang isang operasyong nakapaloob sa graph na hindi kayang ibaba sa anyong pangpagpapatakbo ng Neuron backend ay magpapabigo sa pag-compile bilang default. Itinuturo ng AWS sa mga developer ang [talaan ng compatibility ng operator](https://github.com/aws-neuron/torch-neuronx/blob/main/docs/torch_api_compatibility.md) para sa saklaw ng suporta sa bawat operasyon. Samakatuwid, hindi sapat ang pagkumpleto ng eager run upang patunayang ganap itong tumakbo sa device o tugma ito sa compiled execution.

Sinasabi rin ng release na ang `torch.compile` ay nangangailangan ng `dynamic=False`; maaaring mangailangan ng panibagong pag-compile ang bagong hugis ng input. Iminumungkahi ng AWS ang padding o bucketing upang mabawasan ang pagkakaiba-iba ng hugis. Kasama ang pag-compile sa unang run kapag walang katugmang artifact sa cache. Mahalaga ang mga detalyeng ito sa pagsukat ng oras ng workload: maaaring baguhin ng latency sa pag-compile at pattern ng mga hugis ng input ang resulta ng ebalwasyon.

Nililimitahan din ng iba pang tahasang hangganan ang pahayag ng compatibility. Hindi sinusuportahan ng beta ang `torch.sparse`, `torch.func`, `torch.nested` o `torch.distributions`. Ilan lamang sa mga transform ng `torch.fft` ang tumatakbo sa Neuron, at ang `float64` ay tumatakbo bilang `float32` na may babala. Wala sa release na ito ang TorchAO integration at suporta sa composite na MXFP8 data type. Kailangang suriin ng team na gumagamit ng mga interface na ito ang sarili nitong code path bago ituring na plano sa paglilipat ang paglalagay sa device.

### Ang malaking pagbabago

Inilalagay ng TorchNeuron ang Trainium sa likod ng mga native na device at compilation interface ng PyTorch sa isang pampublikong beta. Ginagawa nitong mas direkta ang unang pagsubok para sa mga suportadong PyTorch program at nagbibigay sa mga kasalukuyang gumagamit ng Neuron ng ibang landas mula sa kanilang XLA-based na code. Ang mapagpasyang ebidensiya para sa paggamit nito ay manggagaling sa bawat workload: kung nananatili ang mga operator sa nilalayong device, kung katanggap-tanggap pa rin ang mga numerikong resulta, at kung sapat ang nasukat na performance at gastos upang bigyang-katwiran ang instance at gawain sa paglilipat. Sinuri ng BIG CHANGE ang dokumentasyon at mga anunsiyo para sa pagsusuring ito; hindi namin pinatakbo ang TorchNeuron o independiyenteng pinatunayan ang mga pahayag ng AWS tungkol sa performance.

## Mga sanggunian at karagdagang babasahin

- [Mga release note ng AWS Neuron 2.33 TorchNeuron](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html): petsa ng release, beta status, talaan ng mga bersiyon at operating system, mga API, at kilalang limitasyon.
- [Pangkalahatang paliwanag ng AWS sa TorchNeuron](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/about-pytorch-neuron.html): device integration, eager at compiled execution, pag-uugali ng CPU fallback, at software path sa pamamagitan ng Neuron.
- [Mabilis na gabay ng AWS sa pag-install at pagpapatunay](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/get-started/quickstart-torch-neuron.html): mga kinakailangan sa instance at image, pag-install ng package, at dokumentadong pagsusuri sa device.
- [PyTorch blog: Ipinapakilala ang TorchNeuron](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/): paliwanag mula sa panig ng PyTorch tungkol sa pagpapalit ng device, pag-compile, at mga distributed API. Ang artikulo ay anunsiyo ng mga kontribyutor ng AWS sa PyTorch blog, hindi isang independiyenteng benchmark.
- [Anunsiyo ng Amazon](https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai): paglalahad ng AWS tungkol sa mga layunin at naunang gumagamit nito. Kailangang patunayan sa bawat workload ang mga pahayag nito tungkol sa paglilipat, performance, at mga benepisyong pang-ekonomiya.

## Sources

- [Mga release note ng AWS Neuron: TorchNeuron](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/torchneuron.html) — Pangunahing sanggunian; may petsang 2026-10-19 ang pampublikong beta nito, isang araw bago ang paglulunsad ng pampublikong beta at open source na binanggit sa anunsiyo ng PyTorch; talaan ng bersiyon at mga sinabing limitasyon.
- [Ano ang TorchNeuron?](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/about-pytorch-neuron.html) — Pangunahing dokumentasyon sa paggamit ng device/backend.
- [PyTorch blog: TorchNeuron, native na PyTorch backend para sa AWS Trainium](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/) — Anunsiyo mula sa panig ng PyTorch ng mga kontribyutor ng AWS; may petsang Oktubre 19 at nagsasabing magiging available sa Oktubre 20 ang pampublikong beta/open source. Naabot ang aktuwal na URL mula sa artikulo ng Amazon; hindi ito independiyenteng pagpapatunay ng performance.
- [Anunsiyo ng Amazon](https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai) — Anunsiyo ng vendor; ang mga pahayag tungkol sa paglilipat at ekonomiya ay mga pahayag ng AWS na hindi pinatunayan nang independiyente.
- [I-install at suriin ang torch-neuronx](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/torch/get-started/quickstart-torch-neuron.html) — Mabilis na gabay ng AWS para sa mga kinakailangan, pag-install ng magkatugmang package, at dokumentadong CPU/Neuron device check.
- [Talaan ng compatibility ng TorchNeuron API](https://github.com/aws-neuron/torch-neuronx/blob/main/docs/torch_api_compatibility.md) — Mga klasipikasyon ng tagapangasiwa sa bawat API: native, CPU fallback, at hindi suportado.