Markdown பதிப்பு

AI-translated from English; not yet reviewed by a fluent editor.

# குறிப்பிட்ட GB300 சோதனையில் வினாடிக்கு 842 டோக்கன்களை எட்டிய vLLM-இன் Kimi K3 டிகோட் பாதை

> குறிப்பிட்ட DSpark அமைப்பில் 16 GB300 GPU-களில் Kimi K3-இன் மொத்த டிகோட் வேகம் வினாடிக்கு 842 எதிராக 488 டோக்கன்கள் என vLLM தெரிவிக்கிறது. முன்நிரப்புதல் இதில் சேர்க்கப்படவில்லை.

By BIG CHANGE Editorial

Published: 2026-10-18T20:03:34.885Z
Updated: 2026-10-18T20:03:34.885Z
Canonical: https://bigchange.ai/blog/kimi-k3-vllm-gpu-inference-benchmark

![Conceptual charcoal illustration of the rear of a generic compute cabinet with rack units and secured cables in a data-center aisle.](https://bigchange.ai/api/media/file/kimi-k3-decode-cabinet-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual GB300 chassis, vLLM installation or measured result is depicted.

NVIDIA Blackwell GPU-களில் Kimi K3-க்கான விருப்பத் தேர்வான, மாதிரிக்கெனச் சிறப்பிக்கப்பட்ட டிகோட் பாதையை vLLM இணைத்துள்ளது. தனது [அக்டோபர் 16 விளக்கத்தில்](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel), வழக்கமான vLLM-இன் வினாடிக்கு 488 டோக்கன்களுடன் ஒப்பிடுகையில் 842 டோக்கன்கள் உருவாக்கப்பட்டதாகத் திட்டம் தெரிவிக்கிறது; இது 1.73× உயர்வு. இந்த ஒப்பீடு குறுகிய நிபந்தனைகளுக்குள் பொருந்துகிறது: ஒரே நேரத்தில் ஒரு கோரிக்கை, 16 GB300 GPU-களில் டென்சர் இணைச்செயலாக்கம், ஏழு வரைவு டோக்கன்களுடன் DSpark ஊக டிகோடிங், ஆறு என்ற செயற்கை ஏற்பு நீளம், ஒரு டோக்கன் உள்ளீடு, 1000 டோக்கன் வெளியீடு. இந்த எண் முன்நிரப்புதலுக்குப் பிந்தைய மொத்த டிகோடிங் செயல்திறனை அளக்கிறது. பயனரின் முழுக் கோரிக்கை எவ்வளவு விரைவில் முடிகிறது என்பதை இது அளக்கவில்லை.

இந்தப் பாதையை மதிப்பிட வேண்டுமா என்று முடிவெடுக்கும் பொறியாளர்களுக்குப் பயனுள்ள முன்னேற்றம், குறிப்பிடத்தக்க டிகோட் முடிவுடன் அது எங்கு பொருந்துகிறது என்பதற்கான ஓரளவு தெளிவான விளக்கமும் கிடைப்பதே. [இணைக்கப்பட்ட செயலாக்கம்](https://github.com/vllm-project/vllm/pull/61867) விருப்பமாக `decode_backend: latency_specialized` மூலம் செயல்படுத்தப்படுகிறது; இயல்புநிலை `auto` அமைப்பு வழக்கமான டிகோடிங்கையே தொடர்ந்து பயன்படுத்துகிறது. ஒரே NVLink களத்தில் எட்டு அல்லது 16 GPU-களைக் கொண்ட GB300 பயன்பாட்டு அமைப்புகளை இந்தச் சிறப்புப் பாதை இலக்காகக் கொண்டுள்ளதாக vLLM கூறுகிறது. முன்நிரப்புதல், கலப்புத் தொகுதிகள், ஆதரிக்கப்படாத படிகள் ஆகியவை வழக்கமான மாதிரி முன்னோக்குச் செயலாக்கப் பாதைக்குத் திரும்புகின்றன.

## நேரம் எங்கு செலவானது

Kimi K3 ஒரு பெரிய mixture-of-experts மாதிரி என்று அதன் [மாதிரி அட்டை](https://huggingface.co/moonshotai/Kimi-K3) கூறுகிறது. டிகோடிங்கின்போது அடுத்த டோக்கன்களை உருவாக்குவதற்காகச் சேவை அமைப்பு அட்டென்ஷனை இயக்குதல், எக்ஸ்பர்ட்களைத் தேர்ந்தெடுத்தல், GPU-களுக்கு இடையில் தரவைப் பரிமாறுதல் ஆகியவற்றைத் திரும்பத் திரும்பச் செய்கிறது. எதிர்பார்க்கப்படும் டென்சர் வடிவங்களுக்கு இந்தச் செயல்பாடுகளைச் சிறப்பாக்கும் CuTe DSL பாதையை vLLM குழு உருவாக்கியது. சிறிய மற்றும் பெரிய தொகுதிகளுக்குத் தனித்தனி அட்டென்ஷன் புரொஜெக்ஷன் கெர்னல்கள்; அட்டென்ஷன் வெளியீட்டு புரொஜெக்ஷன், GPU-களுக்கு இடையிலான ரிடக்ஷன், அடுத்த ரெசிடுவல் வேலை ஆகியவற்றை ஒன்றிணைத்தல்; பிரிக்கப்பட்ட ரூட்டர் கணக்கீடுகள்; பகிரப்பட்ட மற்றும் வழிநடத்தப்பட்ட எக்ஸ்பர்ட்களின் வேலைகளை ஒரே நேரத்தில் மேற்கொள்ளுதல்; தகவல் பரிமாற்றத்தின்போது எடைகளை முன்கூட்டியே பெறுதல் ஆகியவற்றை விளக்கம் விவரிக்கிறது. பதிவில் காட்டப்படும் அடுக்குவாரியான தடத்தில் சிறப்புப் பாதை 13 கெர்னல்களையும் 69 மைக்ரோவினாடிகளையும் பயன்படுத்துகிறது; வழக்கமான vLLM 23 கெர்னல்களையும் 130 மைக்ரோவினாடிகளையும் பயன்படுத்துகிறது. இது காட்டப்பட்ட அமைப்பிற்காகத் தெரிவிக்கப்பட்ட செயலாக்கத் தடம்; பயன்பாட்டின் தாமத அளவு அல்ல.

கெர்னல் வடிவமைப்பைப் போலவே பயன்பாட்டு வரம்பும் முக்கியம். [புல் ரிக்வெஸ்ட்](https://github.com/vllm-project/vllm/pull/61867) TP8 மற்றும் TP16-இல் GB300 சரிபார்ப்பு, தொகுதி 64 வரை ஊகமற்ற டிகோட், மூன்று முதல் ஏழு வரைவு டோக்கன்களுடன் DSpark சரிபார்ப்பு, விருப்ப டிகோட் சூழல் இணைச்செயலாக்கம் ஆகியவற்றை விவரிக்கிறது. செயல்திறன் பணியில் FP8 KV கேச், FP32 SSM கேச், மாதிரி வழங்குநரின் எடைகள் பயன்படுத்தப்பட்டதாகக் கூறுகிறது. மாதிரி எடைகள், வேலைத் திட்டமிடல், மாதிரித் தேர்வு, DSpark வரைவு உருவாக்கி ஆகியவற்றை இந்தப் பாதை மாற்றுவதில்லை. இதனால் பழக்கமான மீதித் தொழில்நுட்ப அடுக்குடன் மாற்றப்பட்ட டிகோட் செயலாக்கத்தைச் சேவை குழு ஒப்பிட முடிகிறது; அதே நேரத்தில் இந்த மேம்பாடு சேவையின் ஒவ்வொரு பகுதியையும் வேகப்படுத்துவதில்லை என்பதையும் இது குறிக்கிறது.

## இரண்டு அளவீட்டு அட்டவணைகளையும் தனித்தனியாகப் படிக்கவும்

842 எதிராக 488 என்ற முடிவு **16 GB300 GPU-களில் TP16, தொகுதி 1, ஏழு வரைவு டோக்கன்களுடன் DSpark, ஆறு என்ற செயற்கை ஏற்பு நீளம், DL=7, ISL=1, OSL=1k** ஆகியவற்றைப் பயன்படுத்துகிறது. வினாடிக்கு மொத்த டிகோட் டோக்கன்கள் என vLLM இந்த அளவீட்டைக் குறிப்பிடுகிறது; முன்நிரப்புதலை விலக்குகிறது. பரிந்துரைக்கப்பட்ட டோக்கன்களில் எத்தனையை அளவீட்டுச் சோதனை ஏற்கும் என்பதைச் செயற்கை ஏற்பு நிர்ணயிக்கிறது; இது பயனர்களின் ப்ராம்ப்ட்களிலிருந்து அளக்கப்பட்ட ஏற்பு விகிதம் அல்ல. வேறு ப்ராம்ப்ட்கள், ஏற்பு நடத்தை, தொகுதி அளவுகள் அல்லது உள்ளீட்டு நீளங்களைக் கொண்ட பயன்பாட்டு அமைப்புக்குச் சொந்த அளவீடு தேவை.

பதிவில் [ஊகமற்ற டிகோடிங் அட்டவணையும்](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel#decode-performance-without-speculation) உள்ளது. எடுத்துக்காட்டாக TP16-இல் தொகுதி 1-க்கு வினாடிக்கு 256.4 டோக்கன்களும் தொகுதி 64-க்கு 3606.1 டோக்கன்களும் தெரிவிக்கப்பட்டுள்ளன; தொடர்புடைய வழக்கமான அமைப்புகளுடன் ஒப்பிடுகையில் முறையே 1.88×, 1.62× உயர்வுகள். இவை ஊக டிகோடிங் இல்லாத TP குழுவின் மொத்த முடிவுகள். தொகுதி 64-இல் ஒவ்வொரு பயனருக்கும் வேகமான அனுபவம் கிடைக்கும் என்று கூற இவற்றை DSpark எண்ணுடன் இணைக்க முடியாது.

பதிவின் மற்றொரு எண் [AgentX](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel#improvement-on-agentx) தொடர்பானது. இது செயற்கை உள்ளடக்கத்துடன் குறியீட்டு முகவர்களின் போக்குவரத்து முறைகளை மீண்டும் இயக்கும் பணிச்சுமை. ஒரே நேரத்தில் ஒரு கோரிக்கை இருக்கும்போது பயனர் ஒருவருக்கு வினாடிக்கு டோக்கன்களில் P90 ஊடாட்ட வேகம் 403.2 எதிராக 223.7 என vLLM தெரிவிக்கிறது. மேம்படுத்தப்பட்ட முடிவு **16 GB300 GPU-களில்** பெறப்பட்டது; முந்தைய ஒப்பீடோ **எட்டு GPU-களில்** இயங்கியது. செயலாக்கத்துடன் GPU எண்ணிக்கையும் மாறுவதால், இந்த 1.8× ஒப்பீடு டிகோட் பாதை மேம்பாட்டை மட்டும் தனியே காட்டுவதில்லை. நீண்ட சூழல்கள், உரையாடல் சுற்றுகள், இடைநிறுத்தங்கள், கேச் மறுபயன்பாடு ஆகியவையும் AgentX-இல் உள்ளன; எனவே அதன் அளவீடு தூய டிகோட் சோதனையைவிட வேறு கேள்விக்குப் பதிலளிக்கிறது.

பொதுப் பதிவுக்கும் முந்தைய [புல்-ரிக்வெஸ்ட் செயல்திறன் அட்டவணைக்கும்](https://github.com/vllm-project/vllm/pull/61867) இடையில் சிறிய வேறுபாடு உள்ளது: பிந்தையது TP16, தொகுதி 1, DSpark DL7, ஆறு என்ற செயற்கை ஏற்புக்கு வினாடிக்கு 838 எதிராக 489 டோக்கன்களைக் குறிப்பிடுகிறது. இங்குள்ள 1.73× எண்ணின் மூலம் பதிவின் 842 எதிராக 488 ஒப்பீடுதான். முந்தைய அட்டவணை இதேபோன்ற ஓர் இயக்கத்திற்குப் பயனுள்ள ஆதாரம்; ஆனால் இரு ஜோடி எண்களையும் கலக்கக் கூடாது. vLLM குறியீட்டையும் தனது சரிபார்ப்பையும் வெளியிட்டுள்ளது; BIG CHANGE இந்த இரு இயக்கங்களில் எதையும் மறுஉருவாக்கம் செய்யவில்லை.

## மதிப்பீட்டுக்கு என்ன தேவை

அர்த்தமுள்ள உள்ளூர் ஒப்பீடு [இணைக்கப்பட்ட PR மற்றும் அதில் கூறப்பட்ட அமைப்பு](https://github.com/vllm-project/vllm/pull/61867) ஆகியவற்றிலிருந்து தொடங்கும்: அதே Kimi K3 மாதிரி வழங்குநரின் எடைகள், ஒரே NVLink களத்தில் 16 GPU-களைக் கொண்ட GB300 அமைப்பு, TP16, கேச் வடிவங்கள், முக்கியச் சோதனைக்கான துல்லிய DSpark அமைப்பு. வழக்கமான `auto` மற்றும் விருப்பமாகத் தேர்ந்தெடுக்கப்படும் `latency_specialized` அமைப்புகளை ஒரே பணிச்சுமையில் இயக்கி, பின்னர் டிகோட் செயல்திறனை முன்நிரப்புதல், முதல் டோக்கன் வரையிலான நேரம், வெளியீட்டுச் செயல்திறன், கோரிக்கை அளவிலான தாமதம் ஆகியவற்றிலிருந்து தனியே பதிவு செய்ய வேண்டும். வேலைநிலையமோ சிறிய GPU தொகுப்போ 16-GB300 முக்கிய முடிவை நேரடியாக மறுஉருவாக்கம் செய்ய முடியாது. அந்த அமைப்பின் வாடகைச் செலவைப் பதிவு நிர்ணயிக்கவில்லை.

அந்த [PR-இன் சரிபார்ப்பு விளக்கம்](https://github.com/vllm-project/vllm/pull/61867) AIME25, GPQA-Diamond, நீண்ட சூழல் MRCR சோதனை உள்ளிட்ட எண் சார்ந்த சோதனைகளையும் மாதிரி மதிப்பீடுகளையும் தெரிவிக்கிறது. உருவாக்கத்தின்போது கண்டறியப்பட்ட ஒத்திசைவுப் பிழையையும் நீண்ட வெளியீட்டுச் சோதனைகளில் காணப்பட்ட மாறுபாட்டையும் விவரிக்கிறது. வேக வரைபடத்தைவிட ஆய்வு செய்ய அதிகத் தகவலை இவை தருகின்றன; இருப்பினும் செயலாக்கியவர்களின் ஆதாரங்களாகவே உள்ளன. தங்களின் உண்மையான வன்பொருள், தொகுதியாக்கம், சூழல் நீளங்கள், ஊக ஏற்பு நடத்தை ஆகியவை ஆதரிக்கப்படும் அமைப்புகளுக்கு போதுமான அளவு ஒத்திருக்கின்றனவா, அதனால் தங்களது போக்குவரத்தில் இந்த விருப்பப் பாதையை அளப்பது நியாயமானதா என்பதே சேவை குழுவின் முடிவு.

## பெரிய மாற்றம்

vLLM-இல் இணைக்கப்பட்ட Kimi K3 பாதை, ஆவணப்படுத்தப்பட்ட அளவீடும் சரிபார்ப்பு வரலாறும் கொண்ட சிறப்பான, விருப்ப GPU டிகோட் செயலாக்கத்தை வழங்குகிறது. பொதுவில் வெளியான மிக முக்கிய முடிவு **16 GB300 GPU-களில் TP16, தொகுதி 1, DSpark-இன் ஏழு வரைவு டோக்கன்கள், ஆறு என்ற செயற்கை ஏற்பு நீளம் ஆகியவற்றுடன் வினாடிக்கு 842 எதிராக 488 மொத்த டிகோட் டோக்கன்கள், அதாவது 1.73×**. முன்நிரப்புதல் விலக்கப்பட்டுள்ளது. குறிப்பிட்ட சேவைக்கு மேம்பாடு கிடைக்குமா என்பது அதன் வன்பொருளையும் முழுக் கோரிக்கைப் பணிச்சுமையையும் பொறுத்தது.

## ஆதாரங்கள் மற்றும் கூடுதல் வாசிப்பு

- [vLLM-இன் அக்டோபர் 16 தொழில்நுட்பப் பதிவு](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel) டிகோட் மாற்றங்களை விளக்கி, 842/488 அமைப்பு, ஊகமற்ற அட்டவணை, AgentX ஒப்பீடு ஆகியவற்றை வழங்குகிறது. முடிவுகளைத் திட்டமும் NVIDIA பங்களிப்பாளர் Benjamin Chislett-உம் தெரிவித்துள்ளனர்.
- [இணைக்கப்பட்ட vLLM புல் ரிக்வெஸ்ட் #61867](https://github.com/vllm-project/vllm/pull/61867) விருப்ப அமைப்பு, ஆதரிக்கப்படும் அமைப்புகள், செயலாக்க வரம்பு, சரிபார்ப்பு, முந்தைய 838/489 DSpark அட்டவணை ஆகியவற்றை ஆவணப்படுத்துகிறது. இது குறியீடு மற்றும் முடிவுகளின் பதிவு; சுயாதீன மறுஉருவாக்கம் அல்ல.
- [Moonshot AI-இன் Kimi K3 மாதிரி அட்டை](https://huggingface.co/moonshotai/Kimi-K3) செயலாக்கத்தில் குறிப்பிடப்பட்ட மாதிரியையும் எடைகளையும் அடையாளம் காட்டுகிறது.
- [AgentX ஆய்வு முறை](https://inferencex.semianalysis.com/agentx) தனியான ஊடாட்ட வேக ஒப்பீட்டின் பின்னுள்ள போக்குவரத்தை மீண்டும் இயக்கும் பணிச்சுமையை விவரிக்கிறது.

## Sources

- [vLLM, vLLM-இல் Kimi K3-ஐ ஆழமாக மேம்படுத்துதல்: வேகமாகவும் பொறுப்புடனும் முன்னேறுதல் (2026-10-16)](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel) — நேரடித் தரப்பின் தொழில்நுட்ப விளக்கமும் 842/488, 1.73× முடிவின் மூலமும். 16 GB300 GPU-களில் TP16, தொகுதி 1, DSpark DL7, செயற்கை AL6, ISL1, OSL1k, முன்நிரப்புதலற்ற மொத்த டிகோட் TPS ஆகியவற்றைக் குறிப்பிடுகிறது. தனித்தனி ஊகமற்ற மற்றும் AgentX முடிவுகளையும் வழங்குகிறது.
- [vLLM புல் ரிக்வெஸ்ட் #61867, Kimi K3 சிறப்பு டிகோட்](https://github.com/vllm-project/vllm/pull/61867) — இணைக்கப்பட்ட செயலாக்கமும் ஆசிரியர்கள் மேற்கொண்ட சரிபார்ப்புப் பதிவும். இறுதி விருப்ப அமைப்பு, ஆதரிக்கப்படும் அமைப்புகள், வழக்கமான பாதைக்குத் திரும்புதல் ஆகியவற்றை ஆவணப்படுத்துகிறது. முந்தைய DSpark அட்டவணை TP16 B1 செயற்கை AL6-இல் 838/489 எனக் கூறுவதால், அந்த எண்கள் வலைப்பதிவின் ஜோடியுடன் இணைக்கப்படவில்லை.
- [Moonshot AI, Kimi K3 மாதிரி அட்டை](https://huggingface.co/moonshotai/Kimi-K3) — மாதிரியையும் மாதிரி வழங்குநரின் எடைகளையும் அடையாளம் காட்டுகிறது; vLLM செயல்திறனைச் சுயாதீனமாக உறுதிப்படுத்துவதில்லை.
- [InferenceX, AgentX ஆய்வு முறை மற்றும் தரவுத்தொகுப்புகள்](https://inferencex.semianalysis.com/agentx) — தனியாகத் தெரிவிக்கப்பட்ட ஊடாட்ட வேக ஒப்பீட்டுக்குப் பயன்படுத்திய போக்குவரத்தை மீண்டும் இயக்கும் பணிச்சுமையை விவரிக்கிறது. vLLM ஒப்பீட்டில் GPU எண்ணிக்கையும் மாறுகிறது.