AI-translated from English; not yet reviewed by a fluent editor.

# Olmo-core 3, வரம்புள்ள GPU முடிவுகளுடன் Ai2-இன் MoE பயிற்சி அமைப்பைத் திறக்கிறது

> அக்டோபர் 1 அன்று வெளியான Ai2-இன் Olmo-core 3, திறந்த MoE பயிற்சிக் குறியீட்டையும் B300 மதிப்பீடுகளையும் வழங்குகிறது. அதன் அளவுச் சோதனைகள் அமைப்பின் செயல்திறனை அளவிடுகின்றன; பயிற்றுவிக்கப்பட்ட மாதிரியின் தரத்தை அல்ல.

By BIG CHANGE Editorial

Published: 2026-10-13T02:08:18.598Z
Updated: 2026-10-13T02:08:18.598Z
Canonical: https://bigchange.ai/blog/ai2-olmo-core-3-moe-training-stack-benchmarks

![Conceptual charcoal illustration of an unbranded accelerator circuit board beside its separate finned heat sink.](https://bigchange.ai/api/media/file/olmocore3-gpu-board-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE. Generic accelerator components; no specific B300 design, Ai2 installation, completed training run or BIG CHANGE hardware test is depicted.

கலப்பு நிபுணர் (MoE) மொழி மாதிரிகளுக்கான திறந்த பயிற்சிக் கட்டமைப்பாக Ai2, அக்டோபர் 1 அன்று Olmo-core 3-ஐ வெளியிட்டது. டிரில்லியன் அளவுருத் தலைப்பை விட, அமைப்பு பொறியாளருக்கு மிகவும் பயனுள்ள முடிவு குறுகிய வரம்புடையது: ஒரு குறிப்பிட்ட கிளஸ்டரில் இந்த அமைப்பைச் சோதிப்பது பயனுள்ளதா என அணிகள் தீர்மானிக்க உதவும் வகையில் Ai2 குறியீடு, குறிப்பு அமைப்புகள், வரம்புள்ள GPU அளவீடுகளை வெளியிட்டுள்ளது.

MoE ஒவ்வொரு டோக்கனையும் தனது நிபுணர் வலைப்பின்னல்களின் ஒரு துணைக்குழுவுக்கு அனுப்புகிறது. இதனால் ஒவ்வொரு டோக்கனுக்கான கணக்கீடு குறைகிறது; ஆனால் முழு நிபுணர் தொகுப்பும் அதன் உகப்பாக்கி நிலையும் GPU-களில் இடம் பெற வேண்டும். நிபுணர்களிடம் டோக்கன்களை நகர்த்துவதற்கும் நேரம் தேவை. இந்த இரு கட்டுப்பாடுகளைக் கையாளும் Ai2-இன் முறையை Olmo-core 3 மாற்றுகிறது: DDP அடிப்படையிலான அமைப்பு நிபுணர்களை GPU-களிலேயே வைத்து தரவை அவர்களிடம் வழிமாற்றுகிறது; முந்தைய FSDP அடிப்படைச் செயலாக்கம் சிறு தொகுதிகளுக்காக எடைகளை மீண்டும் மீண்டும் சேர்த்து மறுபகிர்ந்தது. புதிய அமைப்பு நிபுணர் மற்றும் குழாய் இணைநிலைச் செயலாக்கம், பகிர்ந்தளிக்கப்பட்ட உகப்பாக்கி நிலை, GPU-வில் இருக்கும் வழிமாற்றம், குழுவாக்கிய நிபுணர் கணக்கீடு ஆகியவற்றை இணைக்கிறது. தேர்ந்தெடுத்த செயல்பாடுகளுக்கு Ai2 MXFP8-ஐயும் ஆதரிக்கிறது. இவை மற்றொரு கிளஸ்டரிலும் அதே வேகம் கிடைக்கும் என்ற வாக்குறுதி அல்ல; அணிகள் ஆய்ந்து அமைக்கக்கூடிய வடிவமைப்புத் தேர்வுகள்.

## என்ன மாறியது

பெரிய MoE பயிற்சிக் கருவிகளை Apache 2.0 குறியீடாகவும் குறிப்பு ஸ்கிரிப்ட்களாகவும் Olmo-core 3 வழங்குகிறது. எட்டு B300 கொண்ட குறிப்பிட்ட ஒப்பீட்டில் முந்தைய அமைப்பை விட அதிக செயல்திறனையும், சீரற்ற வழிமாற்றம் கொண்ட 1.2-டிரில்லியன் அளவுரு அமைப்பை 512 B300-களில் இயக்க இயலும் என்பதையும் Ai2 சோதனைகள் காட்டுகின்றன. பயிற்றுவிக்கப்பட்ட இத்தகைய பெரிய மாதிரியின் தரத்தையோ வாசகரின் பணிச்சுமை வேகத்தையோ அவை நிறுவவில்லை. நடைமுறைப் பயன் என்னவெனில், அமைப்புகளை மீண்டும் உருவாக்கவும், உள்ளூர் தடையை அளவிடவும், விலையுயர்ந்த பயிற்சி ஓட்டத்தை இணைநிலைச் செயலாக்கமும் துல்லிய அமைப்புகளும் நியாயப்படுத்துகிறதா என மதிப்பிடவும் சரிபார்க்கக்கூடிய தொடக்கப்புள்ளி கிடைக்கிறது.

## மூன்று எண்கள், மூன்று வகுத்தெண்கள்

47-பில்லியன் அளவுரு MoE-க்கான Ai2-இன் ஆரம்ப ஒப்பீடு எட்டு Nvidia B300 GPU-களில் நடந்தது. புதிய அமைப்பு நொடிக்கு 52,000 டோக்கன்களை **ஒவ்வொரு GPU-க்கும்** செயலாக்கியது; பழைய FSDP அடிப்படைச் செயலாக்கம் 19,400 என இருந்தது. விகிதம் 52,000 ÷ 19,400 = 2.68; வட்டமிட்டால் 2.7 மடங்கு. இது பழைய மற்றும் புதிய *அமைப்புகளின்* உள் ஒப்பீடு; Megatron-Core உடனான அளவீடோ DDP மட்டும் கொண்ட தூய ஒப்பீடோ அல்ல. குறியிடப்பட்ட எடுத்துக்காட்டுகளில் நெருக்கமான DDP+நிபுணர் இணைநிலைச் செயலாக்கம் மற்றும் FSDP/HSDP ஒப்பீடு மாதிரி வடிவத்தையும் அளவீட்டு நேரத்தையும் ஒரேபடி வைத்தாலும், வழிமாற்றி, sparse kernel, உகப்பாக்கி மற்றும் பிற செயலாக்க விவரங்களும் மாறுகின்றன.

“5%-க்கும் குறைவு” என்ற முடிவு வேறு கேள்விக்குப் பதிலளிக்கிறது. Ai2 நிபுணர் தொகுப்பை 8-இலிருந்து 128-ஆக உயர்த்தி, ஒவ்வொரு டோக்கனுக்கும் நான்கைத் தேர்ந்தெடுத்தது. மொத்த கொள்ளளவு 4.6-இலிருந்து 47 பில்லியன் அளவுருகளாக உயர்ந்தது; ஒவ்வொரு டோக்கனிலும் செயல்படும் அளவுருக்கள் சுமார் 3.2 பில்லியனாகவே இருந்தன. இந்த நிபுணர் தொகுப்பு அமைப்புகளுக்கு இடையில் செயல்திறன் 5%-க்கும் குறைவாகக் குறைந்தது **இந்த நிபுணர் தொகுப்பு அமைப்புகளுக்கு இடையில்**. புதிய அமைப்பு பழையதை விட 5% மட்டுமே மெதுவானது என்றோ, ஒவ்வொரு அமைப்பிலும் 16 மடங்கு நிபுணர்களைச் சேர்ப்பதற்கு செலவே இல்லை என்றோ இது பொருளல்ல. இந்த சதவீதத்தை வாசகரின் பணச் செலவாக மாற்றப் போதிய தகவலை வெளியீடு வழங்கவில்லை.

அளவு முடிவுக்கு மூன்றாவது வகுத்தெண் உண்டு: மொத்தம் 1.2 டிரில்லியன் அளவுருகளும் ஒவ்வொரு டோக்கனிலும் 58.36 பில்லியன் செயல்படும் அளவுருகளும் கொண்ட அமைப்பு, 512 B300 GPU-களில் அதிகபட்சமாகக் காணப்பட்ட 858 TFLOP/s **ஒவ்வொரு GPU-க்கும்** என Ai2 தெரிவிக்கிறது. v3.0.0 குறிப்பு அட்டவணை இந்த Ultra-128E வரிசையை சீரற்ற வழிமாற்றம், MXFP8, ஒவ்வொரு அடுக்கிலும் மறுகணக்கீடு எனக் குறிக்கிறது. சீரற்ற வழிமாற்றம் அமைப்பு பாதையை அளவிடுகிறது; கற்ற வழிமாற்றி நல்ல மாதிரியை உருவாக்குகிறதா என்பதைச் சோதிக்காது. 2.38-டிரில்லியன் அளவுரு அமைப்பு குறுகிய கொள்ளளவு சோதனையில் DeepEP v2-ஐப் பயன்படுத்தியது. Ai2 இதை நீடித்த பயிற்சியாக அல்ல, அளவுச் சரிபார்ப்பாக விவரிக்கிறது. இந்த எண்களில் எதுவும் பயிற்றுவிக்கப்பட்ட மாதிரியின் துல்லியம், பயனுள்ள வெளியீட்டுத் தரம் அல்லது முழு பயிற்சி ஓட்டத்தின் நிலையான பொருளாதாரத்தை நிரூபிப்பதில்லை.

நான்கு B300 கொண்ட கட்டுப்படுத்தப்பட்ட ஒப்பீட்டையும் Ai2 தெரிவிக்கிறது: BF16-ஐ ஒப்பிடும்போது MXFP8 தொடக்கம் முதல் முடிவு வரையிலான பயிற்சிச் செயல்திறனை சுமார் 21% உயர்த்தியது; உச்ச செயல்பாட்டு நினைவகத்தை 103 GiB-இலிருந்து 95 GiB-ஆகக் குறைத்தது; வேலை நிபுணர்களிடையே சமமாகப் பகிரப்பட்டது. அந்த முடிவு சோதிக்கப்பட்ட துல்லியத் தேர்வுகளுக்கும் பணிச்சுமைக்கும் மட்டுமே பொருந்தும். இரண்டு அளவீடுகளும் ஒரே அடிப்படையைக் கொண்டவை போல 2.7 மடங்கு எண்ணுடன் இதைச் சேர்க்க முடியாது.

## பொறியாளர் உண்மையில் எதை முயற்சிக்கலாம்

அக்டோபர் 1 அன்று வெளியான களஞ்சியம் `v3.0.0` Apache 2.0 உரிமத்தின் கீழ் பொதுவாகக் கிடைக்கிறது. இலக்கு இயக்க முறைமை மற்றும் வன்பொருளுக்கான PyTorch-ஐ முதலில் நிறுவி, பின்னர் PyPI-யிலிருந்து `ai2-olmo-core` அல்லது மேம்பாட்டுக்காக நகலெடுத்த களஞ்சியத்தை நிறுவுமாறு README கூறுகிறது. குறியிடப்பட்ட `src/examples/olmo_ddp/README.md` அறிக்கையிலுள்ள இயக்கப் புள்ளிகளை ஸ்கிரிப்ட்களுடன் இணைத்து, `torchrun` பொதுவான தொடக்க வழியாகக் குறிப்பிடுகிறது. தயாரிப்பு ஸ்கிரிப்ட்கள் ஒவ்வொரு முனையிலும் எட்டு GPU-களை முன்கொண்டு, முனைகளின் எண்ணிக்கையை `REF_NUM_NODES` இல் குறிப்பிடுகின்றன. ஏற்கெனவே பகிர்ந்தளிக்கப்பட்ட GPU சூழல் உள்ளவர்களுக்கான எடுத்துக்காட்டுகள் இவை; Ai2-இன் B300 முடிவுகளை ஒரே கட்டளையில் மீண்டும் உருவாக்கும் வழி அல்ல.

அறிக்கை ஸ்கிரிப்ட்களுக்கு முக்கியமான அணுகல் தேவைகள் உண்டு. அவற்றின் README `beaker` கூடுதல் தொகுப்பு, FlashAttention 4, எழுதக்கூடிய `/workspace` மற்றும் Ai2-இன் `s3://ai2-llm` தரவுக் கலவையை வாசிக்கும் அணுகலைக் குறிப்பிடுகிறது; DeepEP v2 வழிக்கு DeepEP களஞ்சிய நகலும் தேவை. வெளியிடப்பட்ட Docker படங்களில் சார்புகள் உள்ளன, Olmo-core தொகுப்பு இல்லை என Ai2-இன் முதன்மை README கூறுகிறது; வேறு வன்பொருள் அல்லது driver/CUDA பதிப்புகளுக்கு மாற்றியமைக்கப்பட்ட படம் தேவைப்படலாம் என்றும் எச்சரிக்கிறது. v3.0.0 வெளியீடு ஆதரிக்கப்படும் குறைந்தபட்ச PyTorch பதிப்பை 2.10.0-ஆக உயர்த்துகிறது. இந்த ஆவணங்களையும் குறியிடப்பட்ட குறிப்பு அட்டவணையையும் ஆய்ந்தோம்; BIG CHANGE தொகுப்பை நிறுவவில்லை, தரவுக் கலவைக்கான அணுகலைப் பெறவில்லை, GPU-களை ஒதுக்கவில்லை, பயிற்சி வேலையும் இயக்கவில்லை.

உள்ளூர் மதிப்பீட்டுக்கு, விரும்பிய மாதிரி அளவுக்கும் கிடைக்கும் வன்பொருளுக்கும் மிக அருகிலுள்ள குறியிடப்பட்ட குறிப்பு வரிசையில் தொடங்குங்கள்; கணினி வளங்களை ஒதுக்கும் முன் ஒவ்வொரு சார்பையும் அணுக முடியாத தரவுப் பாதையையும் கணக்கில் கொள்ளுங்கள். ஒரே வரிசை நீளம், தொகுப்பு, வழிமாற்றம், துல்லியம், அளவீட்டு நேரத்தில் GPU ஒன்றுக்கான நொடிக்கு டோக்கன்களை ஒப்பிடுங்கள்; உச்ச நினைவகத்தையும் checkpoint செயல்பாட்டையும் தனியே கண்காணியுங்கள். வெளியிடப்பட்ட தயாரிப்பு வரிசைகள் 8,192 வரிசை நீளம், top-four வழிமாற்றம், ஒரு பகிரப்பட்ட நிபுணரைப் பயன்படுத்துகின்றன. Tiny மற்றும் Small-க்கு கற்ற வழிமாற்றுத் துணை ஸ்கிரிப்ட்கள் உள்ளன; தலைப்பிலுள்ள பெரிய வரிசைகள் சீரற்ற வழிமாற்றம் கொண்டவை. அணியின் கற்ற வழிமாற்றுத் தரவுப் பகிர்வு தகவல் தொடர்புச் சமநிலையையும் செயல்திறனையும் மாற்றக்கூடும்; முழு ஓட்டத்தை கணிப்பதற்கு முன் பிரதிநிதித்துவ முன்னோட்டம் இன்னும் தேவை.

செலவு வரம்பு மென்பொருள் சார்ந்ததுடன் இயற்பியல் வளங்களையும் சார்ந்தது. சிறப்பிக்கப்பட்ட எட்டு-GPU ஒப்பீட்டுக்கு எட்டு B300 தேவை; அதிகபட்ச செயல்திறன் முடிவில் 512 பயன்படுத்தப்பட்டன. பொதுவான மணிநேர வாடகை விலையையோ முழு பயிற்சி வரவுசெலவையையோ Ai2 வெளியீட்டில் தரவில்லை. Apache 2.0 உரிமம் இந்தக் குறியீட்டுக்கான மென்பொருள் உரிமக் கட்டணத்தை நீக்குகிறது; GPU, பொருந்தும் driver, குறிப்பிடப்பட்ட தரவு அணுகல் அல்லது இயக்குநர் நேரத்தை வழங்காது. அறிக்கையின் இரண்டு-தொகுப்பு ஒட்டுமொத்த அளவீடு merge-க்கு முந்தைய branch-ஐப் பயன்படுத்தியது, குறியிடப்பட்ட ஸ்கிரிப்ட்களால் மீண்டும் உருவாக்க முடியாது என்றும் குறிப்பு README கூறுகிறது.

திறந்த அமைப்பு பயனுள்ளது, ஏனெனில் அதன் கூற்றுகளை உண்மையான அமைப்புகளுடன் சரிபார்க்க முடியும். தோற்றத்தில் சிறந்த வழிமாற்றுச் சமநிலை மதிப்பெண் குறைவான சமநிலையுள்ள வேலையை மறைத்த நிகழ்வுகளையும், தகவல் தொடர்பையும் கணக்கீட்டையும் ஒட்டியதால் பயிற்சி மெதுவான நிகழ்வுகளையும் Ai2 வெளியீடு சுருக்குகிறது. இதனால் உள்ளூர் அளவீட்டுத் திட்டம் இன்னும் முக்கியமாகிறது: வேகமான kernel அல்லது சாதகமான ஒற்றை அளவுகோல் தொடக்கம் முதல் முடிவு வரையிலான பயிற்சி முடிவல்ல. அடுத்த Olmo தலைமுறை MoE கட்டமைப்பைப் பயன்படுத்தும் என Ai2 கூறுகிறது; அந்த எதிர்கால மாதிரியின் தரம் மதிப்பிடப்படுவதற்கு முன் இந்த வெளியீடு பயிற்சி அமைப்பையும் கணினி அளவீடுகளையும் வழங்குகிறது.

## ஆதாரங்கள் மற்றும் மேலும் வாசிப்பு

- [அக்டோபர் 1 Ai2 வெளியீடு](https://allenai.org/blog/olmocore3) கட்டமைப்பை விளக்கி வரம்புள்ள செயல்திறன், நினைவகம், அளவு எண்களை அளிக்கிறது. அவை Ai2-இன் அளவீடுகள்; BIG CHANGE அவற்றை மீண்டும் செய்யவில்லை.
- [Olmo-core v3.0.0 வெளியீடு](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) குறியிடப்பட்ட பதிப்பு, அக்டோபர் 1 வெளியீட்டுத் தேதி, PyTorch குறைந்தபட்சம், குறியீட்டு மாற்றங்களை உறுதிப்படுத்துகிறது.[ களஞ்சிய README](https://github.com/allenai/Olmo-core) நிறுவல், விருப்பச் சார்புகள், Docker பட எச்சரிக்கைகளை ஆவணப்படுத்துகிறது.
- [குறியிடப்பட்ட MoE குறிப்பு ஸ்கிரிப்ட் வழிகாட்டி](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) அறிக்கை அமைப்புகளை GPU எண்ணிக்கை, வழிமாற்றம், துல்லியத்துடன் இணைத்து பழைய-புதிய அமைப்பு ஒப்பீட்டின் வரம்புகளை விளக்குகிறது.[ தொழில்நுட்ப அறிக்கை](https://allenai.org/papers/olmocore3) கணினி சோதனைகளின் முதன்மை விளக்கம்; எங்கள் ஆய்வு சூழலில் PDF பெறப்படவில்லை, எனவே விரிவான கூற்றுகள் அணுகக்கூடிய Ai2 வெளியீடும் குறியிடப்பட்ட ஸ்கிரிப்ட்களும் சார்ந்தவை.

## Sources

- [Ai2, Introducing Olmo-core 3](https://allenai.org/blog/olmocore3) — கட்டமைப்பு மற்றும் அளவிடப்பட்ட முடிவுகளின் முதன்மை அறிவிப்பு; Ai2 தெரிவித்த எண்கள்.
- [Olmo-core v3.0.0 வெளியீடு](https://github.com/allenai/Olmo-core/releases/tag/v3.0.0) — குறியிடப்பட்ட வெளியீடு, பதிப்பு, அக்டோபர் 1 தேதி, PyTorch குறைந்தபட்சம், குறியீட்டு மாற்றப் பதிவு.
- [Olmo-core v3.0.0 MoE குறிப்பு ஸ்கிரிப்ட் README](https://raw.githubusercontent.com/allenai/Olmo-core/v3.0.0/src/examples/olmo_ddp/README.md) — இயக்கப் புள்ளிகள், சீரற்ற வழிமாற்றம், GPU எண்ணிக்கை, முன்தேவைகள், ஒப்பீட்டு வரம்புகள்.
- [Olmo-core களஞ்சிய README மற்றும் உரிமம்](https://github.com/allenai/Olmo-core) — நிறுவல், விருப்பச் சார்புகள், Docker எச்சரிக்கைகள், Apache 2.0 உரிமம்.
- [Ai2 தொழில்நுட்ப அறிக்கை](https://allenai.org/papers/olmocore3) — இணைக்கப்பட்ட முதன்மை அறிக்கை; முழு PDF பெற முடியவில்லை; வாசிக்காத PDF-க்கு தனித்த தொழில்நுட்ப விவரம் எதுவும் சுமத்தப்படவில்லை.