vLLM-ова путања декодирања за Kimi K3 достиже 842 токена у секунди у одређеном GB300 тесту

vLLM је спојио опциону путању декодирања специфичну за Kimi K3 на NVIDIA Blackwell GPU-овима. У свом приказу од 16. октобра пројекат наводи 842 генерисана токена у секунди наспрам 488 за стандардни vLLM, односно добитак од 1.73×. То поређење има уске границе: један захтев у датом тренутку, тензорски паралелизам на 16 GB300 GPU-ова, DSpark спекулативно декодирање са седам предложених токена, синтетичка дужина прихватања од шест, улаз од једног токена и излаз од 1000 токена. Број мери збирну пропусност декодирања након prefill фазе. Не мери колико брзо се заврши цео кориснички захтев.

За инжењере који одлучују да ли да процене ову путању, користан помак је спој значајног резултата декодирања и прилично јасног приказа где се он примењује. Спојена имплементација укључује се избором преко decode_backend: latency_specialized; подразумевана поставка auto и даље користи стандардно декодирање. vLLM каже да специјализована путања циља GB300 имплементације са осам или 16 GPU-ова у једном NVLink домену, док се prefill, мешовите групе и неподржани кораци враћају на стандардну путању пролаза унапред кроз модел.

Где је одлазило време

Kimi K3 је велики модел са мешавином експерата, према његовој картици модела. Током декодирања систем за послуживање више пута извршава пажњу, бира експерте и размењује податке између GPU-ова да би произвео наредне токене. Тим vLLM-а направио је путању у CuTe DSL-у која специјализује те операције за очекиване облике тензора. Њихов приказ описује различита језгра пројекције пажње за мале и веће групе; спајање излазне пројекције пажње, редукције између GPU-ова и наредних резидуалних операција; прорачуне рутера подељене на делове; преклапање заједничких и рутираних експерата; и унапред учитавање тежина током комуникације. У трагу по слојевима приказаном у објави специјализована путања користи 13 језгара и 69 микросекунди, док стандардни vLLM користи 23 језгра и 130 микросекунди. То је пријављени траг за приказану поставку, а не податак о кашњењу апликације.

Обухват је важан колико и дизајн језгара. Захтев за измену описује GB300 валидацију при TP8 и TP16, неспекулативно декодирање до групе 64, DSpark верификацију са три до седам предложених токена и опциони контекстни паралелизам при декодирању. Наводи да је рад на перформансама користио FP8 KV кеш, FP32 SSM кеш и тежине добављача модела. Путања не мења тежине модела, распоређивање, узорковање ни DSpark генератор предлога. То тиму за послуживање омогућава да измењену имплементацију декодирања упореди уз познато окружење, али значи и да оптимизација не убрзава сваки део послуживања.

Две табеле тестова читајте одвојено

Резултат 842 наспрам 488 користи TP16 на 16 GB300 GPU-ова, групу 1, DSpark са седам предложених токена, синтетичку дужину прихватања шест, DL=7, ISL=1 и OSL=1k. vLLM метрику назива збирним бројем токена декодирања у секунди и искључује prefill. Синтетичко прихватање фиксира колико предложених токена тест прихвата; није измерена стопа прихватања из корисничких упита. Имплементација са другачијим упитима, понашањем прихватања, величинама група или дужинама улаза захтева сопствено мерење.

Објава даје и неспекулативну табелу. При TP16, на пример, наводи 256.4 токена у секунди за групу 1 и 3606.1 за групу 64, уз добитке од 1.88× и 1.62× у односу на одговарајуће стандардне поставке. То су збирни резултати TP групе без спекулативног декодирања. Не могу се комбиновати са DSpark бројем да би се тврдило да корисник добија брже искуство при групи 64.

Други број у објави односи се на AgentX, радно оптерећење које понавља обрасце саобраћаја програмерских агената са синтетичким садржајем. vLLM наводи P90 интерактивност од 403.2 наспрам 223.7 токена у секунди по кориснику при конкурентности један. Оптимизовани резултат добијен је на 16 GB300 GPU-ова, док је раније поређење користило осам. Пошто се број GPU-ова мења заједно са имплементацијом, то поређење од 1.8× не издваја побољшање путање декодирања. AgentX такође укључује дуже контексте, размене, паузе и поновну употребу кеша, па његова метрика одговара на другачије питање од чистог теста декодирања.

Постоји мала разлика између јавне објаве и раније табеле перформанси захтева за измену: друга наводи 838 наспрам 489 токена у секунди за TP16, групу 1, DSpark DL7 и синтетичко прихватање шест. Поређење 842 наспрам 488 из објаве извор је овде наведеног броја 1.73×. Ранија табела је користан доказ сличног извршавања, али се два пара не смеју мешати. vLLM је објавио код и сопствену валидацију; BIG CHANGE није поновио ниједно извршавање.

Шта би процена захтевала

Смислено локално поређење почело би од спојеног PR-а и наведене конфигурације: исте тежине добављача модела Kimi K3, GB300 систем са 16 GPU-ова у једном NVLink домену, TP16, формати кеша и тачна DSpark поставка насловног теста. Покрените стандардни auto и опциони latency_specialized под истим оптерећењем, а затим забележите пропусност декодирања одвојено од prefill фазе, времена до првог токена, излазне пропусности и кашњења на нивоу захтева. Радна станица или мањи скуп GPU-ова не могу непосредно да понове насловни резултат са 16 GB300. Објава не утврђује цену изнајмљивања те поставке.

Његов приказ валидације PR-а наводи нумеричке провере и евалуације модела које укључују AIME25, GPQA-Diamond и MRCR тест дугог контекста. Описује и грешку синхронизације откривену током развоја и варијације у тестовима дугог излаза. Те провере читаоцима дају више за испитивање од графикона брзине, али остају докази самих имплементатора. Тим за послуживање треба да одлучи да ли његови стварни хардвер, груписање, дужине контекста и спекулативно прихватање довољно личе на подржане конфигурације да оправдају мерење ове опционе путање на сопственом саобраћају.

Велика промена

Спојена vLLM путања за Kimi K3 чини доступном специјализовану, опциону GPU имплементацију декодирања уз документован тест и траг валидације. Најјачи јавни насловни резултат је 842 наспрам 488 збирних токена декодирања у секунди, односно 1.73×, за TP16 на 16 GB300 GPU-ова при групи 1 са седам DSpark предложених токена и синтетичком дужином прихватања шест. Префилл је искључен. Да ли побољшава одређену услугу зависи од њеног хардвера и целокупног оптерећења захтева.

Извори и додатна литература

• Техничка објава vLLM-а од 16. октобра објашњава промене декодирања и даје поставку 842/488, неспекулативну табелу и AgentX поређење. Резултате наводе пројекат и NVIDIA сарадник Benjamin Chislett.
• Спојени vLLM захтев за измену #61867 документује опциону поставку, подржане конфигурације, границе имплементације, валидацију и ранију DSpark табелу 838/489. То је траг кода и резултата, а не независно понављање.
• Картица модела Kimi K3 компаније Moonshot AI идентификује модел и тежине на које се имплементација позива.
• Методологија AgentX описује оптерећење понављања саобраћаја иза одвојеног поређења интерактивности.