Ai2 అక్టోబర్ 1న మిశ్రమ-నిపుణుల (MoE) భాషా మోడళ్ల శిక్షణకు ఓపెన్ ఫ్రేమ్‌వర్క్‌గా Olmo-core 3ను విడుదల చేసింది. సిస్టమ్స్ ఇంజినీర్‌కు అత్యంత ఉపయోగకరమైన ఫలితం ట్రిలియన్-పారామీటర్ శీర్షికకంటే పరిమితమైనది: నిర్దిష్ట క్లస్టర్‌లో ఈ స్టాక్‌ను పరీక్షించాలా అని నిర్ణయించేందుకు Ai2 కోడ్, రిఫరెన్స్ కాన్ఫిగరేషన్‌లు, పరిమిత GPU కొలతలను ప్రచురించింది.

MoE ప్రతి token‌ను తన నిపుణ నెట్‌వర్క్‌ల ఉపసమితికి పంపుతుంది. ఇది token‌కు గణనను పరిమితం చేస్తుంది, కానీ మొత్తం నిపుణ సమూహం, optimizer స్థితి GPUలపై చోటు పొందాలి. నిపుణుల వద్దకు tokenలను పంపడానికీ సమయం పడుతుంది. Olmo-core 3 ఈ రెండు పరిమితులను Ai2 నిర్వహించే విధానాన్ని మార్చింది: DDP ఆధారిత వ్యవస్థ నిపుణులను GPUలలోనే ఉంచి డేటాను వారివద్దకు మళ్లిస్తుంది; పాత FSDP అమలు microbatchల కోసం బరువులను మళ్లీ మళ్లీ సమీకరించి విభజించేది. కొత్త స్టాక్ నిపుణుల, pipeline parallelism, పంపిణీ optimizer స్థితి, GPU-resident routing, సమూహ నిపుణ గణనను కలుపుతుంది. ఎంపిక చేసిన కార్యకలాపాలకు MXFP8నూ మద్దతిస్తుంది. ఇవి బృందం పరిశీలించి అమర్చగల డిజైన్ ఎంపికలు; మరో క్లస్టర్‌లో అదే వేగమనే హామీ కాదు.

పెద్ద మార్పు

ఏం మారింది:

Olmo-core 3 Apache 2.0 కోడ్, రిఫరెన్స్ స్క్రిప్ట్‌లతో Ai2 పెద్ద MoE శిక్షణ యంత్రాంగాన్ని అందుబాటులోకి తెచ్చింది. నిర్దిష్ట ఎనిమిది-B300 పోలికలో పాత స్టాక్‌కంటే throughput ఎక్కువగా ఉందనీ, random-routed 1.2-ట్రిలియన్-పారామీటర్ కాన్ఫిగరేషన్ 512 B300లపై నడుస్తుందనీ Ai2 పరీక్షలు చూపాయి. ఇవి శిక్షణ మోడల్ నాణ్యతనో, చదువరి workload వేగాన్నో నిరూపించవు. ఉపయోగకరమైన అంశం—కాన్ఫిగరేషన్‌లు పునరుత్పత్తి చేయడం, స్థానిక bottleneck కొలవడం, ఖరీదైన శిక్షణకు ఏ parallelism, precision సెట్టింగ్‌లు సరిపోతాయో నిర్ణయించడం కోసం పరిశీలించగల ప్రారంభ స్థానం.

మూడు గణాంకాలు, మూడు హరాలు 47-బిలియన్-పారామీటర్ MoEపై Ai2 ప్రాథమిక పోలిక ఎనిమిది Nvidia B300 GPUలపై నడిచింది. కొత్త స్టాక్ సెకనుకు 52,000 tokenలను ప్రతి GPUకి ప్రాసెస్ చేసింది; పాత FSDP అమలు 19,400. 52,000 ÷ 19,400 = 2.68, అంటే గుండ్రంగా 2.7 రెట్లు. ఇది పాత, కొత్త స్టాక్

ల అంతర్గత పోలిక; Megatron-Coreతో పోలిక కాదు, స్వచ్ఛమైన DDP-మాత్రమే ablation కాదు. ట్యాగ్ చేసిన ఉదాహరణల్లో దగ్గరైన DDP+expert-parallel వర్సెస్ FSDP/HSDP పోలిక మోడల్ ఆకారం, కొలత సమయాన్ని ఒకేలా ఉంచినా router, sparse kernelలు, optimizer, ఇతర అమలు వివరాలను కూడా మార్చింది. ‘5% కంటే తక్కువ’ ఫలితం వేరే ప్రశ్నకు సమాధానం. Ai2 నిపుణ సమూహాన్ని 8 నుంచి 128కి పెంచి ప్రతి token‌కు నాలుగు ఎంచుకుంది. మొత్తం సామర్థ్యం 4.6 బిలియన్ నుంచి 47 బిలియన్ పారామీటర్లకు పెరిగింది; token‌కు క్రియాశీల పారామీటర్లు సుమారు 3.2 బిలియన్‌గా ఉన్నాయి. ఈ రెండు నిపుణ సమూహ కాన్ఫిగరేషన్‌ల మధ్య throughput 5% కంటే తక్కువ తగ్గింది

. కొత్త స్టాక్ పాతదానికంటే 5% మాత్రమే నెమ్మదని, లేదా ప్రతి సెటప్‌లో 16 రెట్లు నిపుణులను ఉచితంగా జోడించవచ్చని దీని అర్థం కాదు. ఆ శాతాన్ని చదువరి డాలర్ ఖర్చుగా మార్చేందుకు విడుదలలో సమాచారం సరిపోదు. స్కేల్ ఫలితానికి మూడో హరం ఉంది: 512 B300 GPUలపై 1.2-ట్రిలియన్ మొత్తం పారామీటర్ కాన్ఫిగరేషన్‌లో token‌కు 58.36 బిలియన్ క్రియాశీల పారామీటర్లతో GPUకి గరిష్ఠంగా 858 TFLOP/s గమనించినట్లు Ai2 తెలిపింది. v3.0.0 రిఫరెన్స్ పట్టిక ఈ Ultra-128E వరుసను random-routed, MXFP8, per-layer recomputationగా గుర్తిస్తుంది. Random routing వ్యవస్థ మార్గాన్ని కొలుస్తుంది; నేర్చుకున్న router మంచి మోడల్ సృష్టిస్తుందా పరీక్షించదు. 2.38-ట్రిలియన్ కాన్ఫిగరేషన్ చిన్న capacity పరీక్షలో DeepEP v2 వాడింది. Ai2 దాన్ని scale check అంటుంది, నిరంతర శిక్షణ కాదు. ఈ సంఖ్యలు శిక్షణ మోడల్ accuracy, ఉపయోగకరమైన output నాణ్యత లేదా పూర్తి-రన్ ఆర్థికత స్థిరత్వానికి ఆధారం కావు. నాలుగు B300ల నియంత్రిత పోలికను కూడా Ai2 తెలిపింది: BF16తో పోలిస్తే MXFP8 end-to-end శిక్షణ throughput‌ను సుమారు 21% పెంచి, గరిష్ఠ క్రియాశీల మెమరీని 103 GiB నుంచి 95 GiBకి తగ్గించింది; పని నిపుణుల మధ్య సమంగా పంచబడింది. ఆ ఫలితం పరీక్షించిన precision ఎంపికలు, workload‌కే వర్తిస్తుంది. రెండు కొలతలకు ఒకే baseline ఉన్నట్లు 2.7-రెట్ల గణాంకానికి దాన్ని కలపలేం.

ఇంజినీర్ నిజంగా ఏం ప్రయత్నించవచ్చు

రిపోజిటరీ అక్టోబర్ 1

విడుదల v3.0.0 Apache 2.0 కింద అందుబాటులో ఉంది. లక్ష్య OS, hardware‌కు PyTorch‌ను ముందుగా ఇన్‌స్టాల్ చేసి, తర్వాత PyPI నుంచి ai2-olmo-core ఇన్‌స్టాల్ చేయాలని లేదా development కోసం clone చేసిన రిపోజిటరీని ఉపయోగించాలని README చెబుతుంది. ట్యాగ్ చేసిన src/examples/olmo_ddp/README.md నివేదించిన operating pointలను స్క్రిప్ట్‌లతో కలిపి, torchrun ను సాధారణ launch మార్గంగా చూపిస్తుంది. Production స్క్రిప్ట్‌లు ప్రతి node‌కు ఎనిమిది GPUలను ఊహించి node సంఖ్యను REF_NUM_NODESలో పేర్కొంటాయి. ఇవి ఇప్పటికే distributed GPU వాతావరణం ఉన్నవారికి ఉదాహరణలు; Ai2 B300 ఫలితాలను ఒక ఆదేశంతో పునరుత్పత్తి చేసే మార్గం కాదు.

రిపోర్ట్ స్క్రిప్ట్‌లకు ముఖ్యమైన access అవసరాలు ఉన్నాయి. README అదనపు beaker ప్యాకేజీ, FlashAttention 4, రాయగల /workspace, Ai2 s3://ai2-llm data mix‌కు read access‌ను పేర్కొంటుంది; DeepEP v2 మార్గానికి DeepEP checkout కూడా కావాలి. పబ్లిక్ Docker imagesలో dependencies ఉన్నా Olmo-core package ఉండదని Ai2 ప్రధాన README చెబుతుంది; వేర్వేరు hardware లేదా driver/CUDA సంచికలకు మార్చిన image అవసరం కావచ్చని హెచ్చరిస్తుంది. v3.0.0 కనీస PyTorch సంచికను 2.10.0కి పెంచింది. మేము పత్రాలు, ట్యాగ్ రిఫరెన్స్ పట్టికను సమీక్షించాం; BIG CHANGE package ఇన్‌స్టాల్ చేయలేదు, data mix ప్రాప్యత పొందలేదు, GPUలను కేటాయించలేదు లేదా training job నడపలేదు.

స్థానిక మూల్యాంకనానికి ఉద్దేశిత మోడల్ పరిమాణం, అందుబాటు hardware‌కు దగ్గరైన ట్యాగ్ రిఫరెన్స్ వరుసతో ప్రారంభించండి; compute కేటాయించే ముందు అన్ని dependencies, అందుబాటులోలేని data మార్గాలను లెక్కించండి. ఒకే sequence length, batch, routing, precision, కొలత కాలంతో GPUకు సెకనుకు tokenలను పోల్చండి; peak memory, checkpoint ప్రవర్తనను వేరుగా గమనించండి. ప్రచురించిన production వరుసలు sequence length 8,192, top-four routing, ఒక shared expert వాడతాయి. Tiny, Smallకు learned-routing companion స్క్రిప్ట్‌లు ఉన్నాయి; పెద్ద headline వరుసలు random-routed. బృందం learned-routing data పంపిణీ communication balance, throughput‌ను మార్చగలదు; పూర్తి రన్ అంచనా ముందు ప్రతినిధి pilot అవసరం.

ఖర్చు హద్దు softwareకే కాదు, భౌతిక వనరులకూ వర్తిస్తుంది. ప్రత్యేకంగా చూపిన ఎనిమిది-GPU పోలికకు ఎనిమిది B300లు అవసరం; గరిష్ఠ throughput ఫలితానికి 512 వాడారు. విడుదలలో సాధారణ గంటవారీ అద్దె ధర లేదా పూర్తి శిక్షణ బడ్జెట్ లేదు. Apache 2.0 ఈ కోడ్‌కు software లైసెన్స్ రుసుమును తొలగిస్తుంది; GPUలు, అనుకూల drivers, పేర్కొన్న data access, ఆపరేటర్ సమయం అందించదు. నివేదికలోని రెండు-batch overlap కొలత mergeకు ముందు branchపై నడిచిందని, ట్యాగ్ స్క్రిప్ట్‌లతో పునరుత్పత్తి చేయలేమని రిఫరెన్స్ README చెబుతుంది.

ఓపెన్ వ్యవస్థ ఉపయోగకరం, ఎందుకంటే దాని వాదనలను నిజమైన కాన్ఫిగరేషన్‌లతో తనిఖీ చేయవచ్చు. మెరుగైన routing-balance స్కోరు తక్కువ సమతుల పనిని దాచిన సందర్భాలు, communicationను computationతో overlap చేయడం శిక్షణను నెమ్మదించిన సందర్భాలను Ai2 విడుదల సారాంశం వివరిస్తుంది. అందుకే స్థానిక కొలత ప్రణాళిక ముఖ్యం: వేగమైన kernel లేదా అనుకూల single metric అంతిమ end-to-end training ఫలితం కాదు. తదుపరి Olmo తరం MoE నిర్మాణం వాడుతుందని Ai2 చెబుతోంది; భవిష్యత్ మోడల్ నాణ్యతను అంచనా వేయకముందు ఈ విడుదల శిక్షణ స్టాక్, వ్యవస్థ కొలతలను అందిస్తుంది.

మూలాలు, మరింత చదవండి

  • అక్టోబర్ 1 Ai2 విడుదల నిర్మాణం, పరిమిత throughput, memory, scale గణాంకాలను వివరిస్తుంది. ఇవి Ai2 కొలతలు; BIG CHANGE పునరావృతం చేయలేదు.
  • Olmo-core v3.0.0 విడుదల ట్యాగ్ చేసిన సంచిక, అక్టోబర్ 1 తేదీ, PyTorch కనీసం, కోడ్ మార్పులను నిర్ధారిస్తుంది. రిపోజిటరీ README ఇన్‌స్టాలేషన్, ఐచ్ఛిక dependencies, Docker image హెచ్చరికలను వివరిస్తుంది.
  • ట్యాగ్ చేసిన MoE రిఫరెన్స్-స్క్రిప్ట్ మార్గదర్శకం నివేదించిన కాన్ఫిగరేషన్‌లను GPU సంఖ్య, routing, precisionతో అనుసంధానించి, పాత-కొత్త స్టాక్ పోలిక పరిమితులు వివరిస్తుంది. సాంకేతిక నివేదిక వ్యవస్థ ప్రయోగాలకు ప్రధాన ఆధారం; మా పరిశోధన వాతావరణంలో PDF దొరకలేదు, కాబట్టి వివరాలు Ai2 అందుబాటు విడుదల, ట్యాగ్ స్క్రిప్ట్‌లపై ఆధారపడతాయి.