NVIDIA Blackwell GPUలపై Kimi K3 కోసం ఐచ్ఛికంగా ఎంచుకోగల, ఈ మోడల్‌కు ప్రత్యేకమైన డీకోడ్ మార్గాన్ని vLLM విలీనం చేసింది. ప్రాజెక్టు తన అక్టోబర్ 16 వివరణలో సాధారణ vLLMలో సెకనుకు 488 టోకెన్లతో పోలిస్తే 842 టోకెన్లు ఉత్పత్తి అయ్యాయని, అంటే 1.73× పెరుగుదల వచ్చిందని నివేదించింది. ఈ పోలికకు నిర్దిష్టమైన పరిమితులు ఉన్నాయి: ఒకేసారి ఒక అభ్యర్థన, 16 GB300 GPUలలో టెన్సర్ పారలలిజం, ఏడు డ్రాఫ్ట్ టోకెన్లతో DSpark స్పెక్యులేటివ్ డీకోడింగ్, ఆరు టోకెన్ల సింథటిక్ అంగీకార పొడవు, ఒక టోకెన్ ఇన్‌పుట్, 1000 టోకెన్ల అవుట్‌పుట్. ఈ సంఖ్య ప్రీఫిల్ తర్వాతి మొత్తం డీకోడింగ్ త్రూపుట్‌ను కొలుస్తుంది. వినియోగదారు అభ్యర్థన మొత్తం ఎంత వేగంగా పూర్తవుతుందో ఇది కొలవదు.

ఈ మార్గాన్ని మూల్యాంకనం చేయాలా అని నిర్ణయించే ఇంజినీర్లకు ఉపయోగపడే పరిణామం ఏమిటంటే, గణనీయమైన డీకోడ్ ఫలితంతోపాటు అది ఎక్కడ వర్తిస్తుందనే సాపేక్షంగా స్పష్టమైన వివరణ అందుబాటులో ఉండటం. విలీనమైన అమలును ఉపయోగించడానికి decode_backend: latency_specialized ద్వారా ప్రత్యేకంగా ఎంచుకోవాలి; డిఫాల్ట్ auto అమరిక సాధారణ డీకోడింగ్‌నే కొనసాగిస్తుంది. ఒకే NVLink డొమైన్‌లో ఎనిమిది లేదా 16 GPUలు ఉన్న GB300 డిప్లాయ్‌మెంట్‌లను ఈ ప్రత్యేక మార్గం లక్ష్యంగా పెట్టుకుందని vLLM చెబుతోంది. ప్రీఫిల్‌లు, మిశ్రమ బ్యాచ్‌లు, మద్దతు లేని దశలు ప్రామాణిక మోడల్ ఫార్వర్డ్ మార్గానికి తిరిగి వెళతాయి.

సమయం ఎక్కడ ఖర్చయింది

Kimi K3 ఒక పెద్ద మిక్చర్-ఆఫ్-ఎక్స్‌పర్ట్స్ మోడల్ అని దాని మోడల్ కార్డు చెబుతోంది. డీకోడింగ్ సమయంలో సర్వింగ్ వ్యవస్థ తదుపరి టోకెన్లను ఉత్పత్తి చేయడానికి అటెన్షన్‌ను అమలు చేయడం, ఎక్స్‌పర్ట్‌లను ఎంచుకోవడం, GPUల మధ్య డేటాను మార్పిడి చేయడం పదేపదే చేస్తుంది. ఆశించిన టెన్సర్ ఆకారాలకు ఈ కార్యకలాపాలను ప్రత్యేకంగా సరిపోల్చే CuTe DSL మార్గాన్ని vLLM బృందం నిర్మించింది. చిన్న, పెద్ద బ్యాచ్‌లకు వేర్వేరు అటెన్షన్ ప్రొజెక్షన్ కెర్నల్‌లు; అటెన్షన్ అవుట్‌పుట్ ప్రొజెక్షన్, GPUల మధ్య రిడక్షన్, తదుపరి రెసిడ్యువల్ పనిని కలపడం; విభజించిన రూటర్ గణనలు; షేర్డ్, రూటెడ్ ఎక్స్‌పర్ట్‌ల పనులను సమాంతరంగా జరపడం; కమ్యూనికేషన్ సమయంలో వెయిట్‌లను ముందుగానే తెచ్చుకోవడం వంటి అంశాలను వివరణ ప్రస్తావిస్తుంది. పోస్ట్‌లో చూపిన ఒక్కో లేయర్ ట్రేస్‌లో ప్రత్యేక మార్గం 13 కెర్నల్‌లు, 69 మైక్రోసెకన్లు ఉపయోగిస్తే, సాధారణ vLLM 23 కెర్నల్‌లు, 130 మైక్రోసెకన్లు ఉపయోగిస్తుంది. ఇది చూపిన అమరికకు నివేదించిన ట్రేస్ మాత్రమే; అప్లికేషన్ లేటెన్సీ సంఖ్య కాదు.

కెర్నల్ రూపకల్పన ఎంత ముఖ్యమో వర్తించే పరిధి కూడా అంతే ముఖ్యం. పుల్ రిక్వెస్ట్ TP8, TP16లో GB300 ధ్రువీకరణ, బ్యాచ్ 64 వరకు నాన్-స్పెక్యులేటివ్ డీకోడ్, మూడు నుంచి ఏడు డ్రాఫ్ట్ టోకెన్లతో DSpark ధ్రువీకరణ, ఐచ్ఛిక డీకోడ్ కాంటెక్స్ట్ పారలలిజంను వివరిస్తుంది. పనితీరు మెరుగుదల పనిలో FP8 KV క్యాష్, FP32 SSM క్యాష్, మోడల్ ప్రదాత వెయిట్‌లను ఉపయోగించినట్లు చెబుతుంది. ఈ మార్గం మోడల్ వెయిట్‌లు, షెడ్యూలింగ్, శాంప్లింగ్, DSpark డ్రాఫ్టర్‌ను మార్చదు. అందువల్ల సర్వింగ్ బృందం పరిచయమైన మిగతా స్టాక్‌తోనే మార్చిన డీకోడ్ అమలును పోల్చవచ్చు. అయితే ఈ ఆప్టిమైజేషన్ సర్వింగ్‌లోని ప్రతి భాగాన్ని వేగవంతం చేయదని కూడా దీని అర్థం.

రెండు బెంచ్‌మార్క్ పట్టికలను వేర్వేరుగా చదవండి

842 వర్సెస్ 488 ఫలితం 16 GB300 GPUలపై TP16, బ్యాచ్ 1, ఏడు డ్రాఫ్ట్ టోకెన్లతో DSpark, ఆరు టోకెన్ల సింథటిక్ అంగీకార పొడవు, DL=7, ISL=1, OSL=1k ఉపయోగిస్తుంది. ఈ కొలమానాన్ని సెకనుకు మొత్తం డీకోడ్ టోకెన్లుగా vLLM పేర్కొంటూ ప్రీఫిల్‌ను మినహాయిస్తుంది. ప్రతిపాదించిన టోకెన్లలో బెంచ్‌మార్క్ ఎన్ని అంగీకరించాలో సింథటిక్ అంగీకారం ముందుగా నిర్ణయిస్తుంది; ఇది వినియోగదారుల ప్రాంప్ట్‌ల నుంచి కొలిచిన అంగీకార రేటు కాదు. వేర్వేరు ప్రాంప్ట్‌లు, అంగీకార ప్రవర్తన, బ్యాచ్ పరిమాణాలు లేదా ఇన్‌పుట్ పొడవులు ఉన్న డిప్లాయ్‌మెంట్‌కు సొంత కొలత అవసరం.

పోస్ట్‌లో నాన్-స్పెక్యులేటివ్ పట్టిక కూడా ఉంది. ఉదాహరణకు TP16లో బ్యాచ్ 1 వద్ద సెకనుకు 256.4 టోకెన్లు, బ్యాచ్ 64 వద్ద 3606.1 టోకెన్లు నివేదించింది. సంబంధిత సాధారణ అమరికలతో పోలిస్తే పెరుగుదల వరుసగా 1.88×, 1.62×. ఇవి స్పెక్యులేటివ్ డీకోడింగ్ లేకుండా మొత్తం TP గ్రూపు ఫలితాలు. బ్యాచ్ 64 వద్ద ఒక్కో వినియోగదారుకు వేగవంతమైన అనుభవం లభిస్తుందని చెప్పడానికి వీటిని DSpark సంఖ్యతో కలపలేం.

పోస్ట్‌లోని మరో సంఖ్య AgentXకు సంబంధించినది. ఇది సింథటిక్ కంటెంట్‌తో కోడింగ్ ఏజెంట్ ట్రాఫిక్ నమూనాలను తిరిగి నడిపే వర్క్‌లోడ్. ఒకేసారి ఒక అభ్యర్థన ఉన్నప్పుడు ఒక్కో వినియోగదారుకు సెకనుకు టోకెన్లలో కొలిచే P90 ఇంటరాక్టివిటీ 403.2 వర్సెస్ 223.7గా ఉందని vLLM నివేదించింది. ఆప్టిమైజ్ చేసిన ఫలితం 16 GB300 GPUలపై రాగా, ముందటి పోలిక ఎనిమిది GPUలపై నడిచింది. అమలుతోపాటు GPUల సంఖ్య కూడా మారుతుంది కాబట్టి ఈ 1.8× పోలిక డీకోడ్ మార్గం మెరుగుదల ప్రభావాన్ని మాత్రమే విడిగా చూపదు. AgentXలో పొడవైన కాంటెక్స్ట్‌లు, సంభాషణ టర్న్‌లు, విరామాలు, క్యాష్ పునర్వినియోగం కూడా ఉంటాయి. అందువల్ల దీని కొలమానం కేవలం డీకోడ్ బెంచ్‌మార్క్‌కు భిన్నమైన ప్రశ్నకు సమాధానమిస్తుంది.

బహిరంగ పోస్ట్‌కు, అంతకుముందటి పుల్-రిక్వెస్ట్ పనితీరు పట్టికకు మధ్య చిన్న తేడా ఉంది: రెండోది TP16, బ్యాచ్ 1, DSpark DL7, సింథటిక్ అంగీకారం ఆరు వద్ద సెకనుకు 838 వర్సెస్ 489 టోకెన్లను చూపుతుంది. ఇక్కడి 1.73× సంఖ్యకు మూలం పోస్ట్‌లోని 842 వర్సెస్ 488 పోలిక. ముందటి పట్టిక ఇలాంటి మరో పరీక్షకు ఉపయోగకరమైన ఆధారం అయినా, ఆ రెండు జంటల సంఖ్యలను కలగలపకూడదు. vLLM కోడ్‌ను, సొంత ధ్రువీకరణను ప్రచురించింది; BIG CHANGE ఈ రెండు పరీక్షల్లో దేనినీ పునరుత్పత్తి చేయలేదు.

మూల్యాంకనానికి ఏమి అవసరం

అర్థవంతమైన స్థానిక పోలిక విలీనమైన PR, అందులో పేర్కొన్న అమరిక నుంచి ప్రారంభం కావాలి: అదే Kimi K3 మోడల్ ప్రదాత వెయిట్‌లు, ఒకే NVLink డొమైన్‌లో 16 GPUలు ఉన్న GB300 వ్యవస్థ, TP16, క్యాష్ ఫార్మాట్‌లు, ప్రధాన పరీక్షకు ఉపయోగించిన కచ్చితమైన DSpark అమరిక. సాధారణ auto, ప్రత్యేకంగా ఎంచుకున్న latency_specialized అమరికలను ఒకే వర్క్‌లోడ్‌పై నడిపి, డీకోడ్ త్రూపుట్‌ను ప్రీఫిల్, మొదటి టోకెన్‌కు పట్టే సమయం, అవుట్‌పుట్ త్రూపుట్, అభ్యర్థన స్థాయి లేటెన్సీ నుంచి వేరుగా నమోదు చేయాలి. వర్క్‌స్టేషన్ లేదా చిన్న GPU సమూహంతో 16-GB300 ప్రధాన ఫలితాన్ని నేరుగా పునరుత్పత్తి చేయలేం. ఆ అమరికకు అద్దె ఖర్చును పోస్ట్ నిర్ధారించదు.

ఆ PR ధ్రువీకరణ వివరణ ప్రకారం, సంఖ్యాపరమైన తనిఖీలు, AIME25, GPQA-Diamond, పొడవైన కాంటెక్స్ట్ MRCR పరీక్ష సహా మోడల్ మూల్యాంకనాలు నివేదించబడ్డాయి. అభివృద్ధి సమయంలో బయటపడిన సమకాలీకరణ లోపాన్ని, పొడవైన అవుట్‌పుట్ పరీక్షల్లో తేడాలను కూడా వివరిస్తుంది. ఈ తనిఖీలు వేగం చార్ట్‌ కంటే ఎక్కువ పరిశీలనా సమాచారాన్ని పాఠకులకు అందిస్తాయి, అయినా అవి అమలు చేసినవారు ఇచ్చిన ఆధారాలే. తమ వాస్తవ హార్డ్‌వేర్, బ్యాచింగ్, కాంటెక్స్ట్ పొడవులు, స్పెక్యులేటివ్ అంగీకారం మద్దతున్న అమరికలకు తగినంత దగ్గరగా ఉన్నాయా, తద్వారా సొంత ట్రాఫిక్‌పై ఈ ఐచ్ఛిక మార్గాన్ని కొలవడం సమంజసమా అనేది సర్వింగ్ బృందం నిర్ణయించాలి.

పెద్ద మార్పు

విలీనమైన vLLM Kimi K3 మార్గం, లిఖితపూర్వక బెంచ్‌మార్క్, ధ్రువీకరణ రికార్డుతో కూడిన ప్రత్యేక ఐచ్ఛిక GPU డీకోడ్ అమలును అందుబాటులోకి తెస్తుంది. బహిరంగంగా ప్రకటించిన అత్యంత ప్రధాన ఫలితం 16 GB300 GPUలపై TP16, బ్యాచ్ 1, DSpark ఏడు డ్రాఫ్ట్ టోకెన్లు, ఆరు టోకెన్ల సింథటిక్ అంగీకార పొడవుతో సెకనుకు 842 వర్సెస్ 488 మొత్తం డీకోడ్ టోకెన్లు, అంటే 1.73×. ఇందులో ప్రీఫిల్ లేదు. ఒక నిర్దిష్ట సేవ మెరుగుపడుతుందా అనేది ఆ సేవ హార్డ్‌వేర్‌పై, అభ్యర్థన మొత్తం వర్క్‌లోడ్‌పై ఆధారపడి ఉంటుంది.

మూలాలు, మరింత చదవడానికి

  • vLLM అక్టోబర్ 16 సాంకేతిక పోస్ట్ డీకోడ్ మార్పులను వివరిస్తూ 842/488 అమరిక, నాన్-స్పెక్యులేటివ్ పట్టిక, AgentX పోలికను అందిస్తుంది. ఈ ఫలితాలను ప్రాజెక్టు, NVIDIA సహకారి Benjamin Chislett నివేదించారు.
  • విలీనమైన vLLM పుల్ రిక్వెస్ట్ #61867 ఐచ్ఛిక సెట్టింగ్, మద్దతున్న అమరికలు, అమలు పరిధి, ధ్రువీకరణ, ముందటి 838/489 DSpark పట్టికను నమోదు చేస్తుంది. ఇది కోడ్, ఫలితాల రికార్డు; స్వతంత్ర పునరుత్పత్తి కాదు.
  • Moonshot AI Kimi K3 మోడల్ కార్డు అమలులో ప్రస్తావించిన మోడల్‌ను, వెయిట్‌లను గుర్తిస్తుంది.
  • AgentX పద్ధతి వేరుగా చూపిన ఇంటరాక్టివిటీ పోలికకు ఆధారమైన ట్రాఫిక్ పునఃప్రదర్శన వర్క్‌లోడ్‌ను వివరిస్తుంది.