Markdown izdanje

AI-translated from English; not yet reviewed by a fluent editor.

# vLLM-ova putanja dekodiranja za Kimi K3 dostiže 842 tokena u sekundi u određenom GB300 testu

> vLLM navodi 842 naspram 488 zbirnih tokena dekodiranja u sekundi za Kimi K3 na 16 GB300 GPU-ova uz određenu DSpark postavku. Prefill je isključen.

By BIG CHANGE Editorial

Published: 2026-10-18T20:03:34.885Z
Updated: 2026-10-18T20:03:34.885Z
Canonical: https://bigchange.ai/blog/kimi-k3-vllm-gpu-inference-benchmark

![Conceptual charcoal illustration of the rear of a generic compute cabinet with rack units and secured cables in a data-center aisle.](https://bigchange.ai/api/media/file/kimi-k3-decode-cabinet-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual GB300 chassis, vLLM installation or measured result is depicted.

vLLM je spojio opcionu putanju dekodiranja specifičnu za Kimi K3 na NVIDIA Blackwell GPU-ovima. U svom [prikazu od 16. oktobra](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel) projekat navodi 842 generisana tokena u sekundi naspram 488 za standardni vLLM, odnosno dobitak od 1.73×. To poređenje ima uske granice: jedan zahtev u datom trenutku, tenzorski paralelizam na 16 GB300 GPU-ova, DSpark spekulativno dekodiranje sa sedam predloženih tokena, sintetička dužina prihvatanja od šest, ulaz od jednog tokena i izlaz od 1000 tokena. Broj meri zbirnu propusnost dekodiranja nakon prefill faze. Ne meri koliko brzo se završi ceo korisnički zahtev.

Za inženjere koji odlučuju da li da procene ovu putanju, koristan pomak je spoj značajnog rezultata dekodiranja i prilično jasnog prikaza gde se on primenjuje. [Spojena implementacija](https://github.com/vllm-project/vllm/pull/61867) uključuje se izborom preko `decode_backend: latency_specialized`; podrazumevana postavka `auto` i dalje koristi standardno dekodiranje. vLLM kaže da specijalizovana putanja cilja GB300 implementacije sa osam ili 16 GPU-ova u jednom NVLink domenu, dok se prefill, mešovite grupe i nepodržani koraci vraćaju na standardnu putanju prolaza unapred kroz model.

## Gde je odlazilo vreme

Kimi K3 je veliki model sa mešavinom eksperata, prema njegovoj [kartici modela](https://huggingface.co/moonshotai/Kimi-K3). Tokom dekodiranja sistem za posluživanje više puta izvršava pažnju, bira eksperte i razmenjuje podatke između GPU-ova da bi proizveo naredne tokene. Tim vLLM-a napravio je putanju u CuTe DSL-u koja specijalizuje te operacije za očekivane oblike tenzora. Njihov prikaz opisuje različita jezgra projekcije pažnje za male i veće grupe; spajanje izlazne projekcije pažnje, redukcije između GPU-ova i narednih rezidualnih operacija; proračune rutera podeljene na delove; preklapanje zajedničkih i rutiranih eksperata; i unapred učitavanje težina tokom komunikacije. U tragu po slojevima prikazanom u objavi specijalizovana putanja koristi 13 jezgara i 69 mikrosekundi, dok standardni vLLM koristi 23 jezgra i 130 mikrosekundi. To je prijavljeni trag za prikazanu postavku, a ne podatak o kašnjenju aplikacije.

Obuhvat je važan koliko i dizajn jezgara. [Zahtev za izmenu](https://github.com/vllm-project/vllm/pull/61867) opisuje GB300 validaciju pri TP8 i TP16, nespekulativno dekodiranje do grupe 64, DSpark verifikaciju sa tri do sedam predloženih tokena i opcioni kontekstni paralelizam pri dekodiranju. Navodi da je rad na performansama koristio FP8 KV keš, FP32 SSM keš i težine dobavljača modela. Putanja ne menja težine modela, raspoređivanje, uzorkovanje ni DSpark generator predloga. To timu za posluživanje omogućava da izmenjenu implementaciju dekodiranja uporedi uz poznato okruženje, ali znači i da optimizacija ne ubrzava svaki deo posluživanja.

## Dve tabele testova čitajte odvojeno

Rezultat 842 naspram 488 koristi **TP16 na 16 GB300 GPU-ova, grupu 1, DSpark sa sedam predloženih tokena, sintetičku dužinu prihvatanja šest, DL=7, ISL=1 i OSL=1k**. vLLM metriku naziva zbirnim brojem tokena dekodiranja u sekundi i isključuje prefill. Sintetičko prihvatanje fiksira koliko predloženih tokena test prihvata; nije izmerena stopa prihvatanja iz korisničkih upita. Implementacija sa drugačijim upitima, ponašanjem prihvatanja, veličinama grupa ili dužinama ulaza zahteva sopstveno merenje.

Objava daje i [nespekulativnu tabelu](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel#decode-performance-without-speculation). Pri TP16, na primer, navodi 256.4 tokena u sekundi za grupu 1 i 3606.1 za grupu 64, uz dobitke od 1.88× i 1.62× u odnosu na odgovarajuće standardne postavke. To su zbirni rezultati TP grupe bez spekulativnog dekodiranja. Ne mogu se kombinovati sa DSpark brojem da bi se tvrdilo da korisnik dobija brže iskustvo pri grupi 64.

Drugi broj u objavi odnosi se na [AgentX](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel#improvement-on-agentx), radno opterećenje koje ponavlja obrasce saobraćaja programerskih agenata sa sintetičkim sadržajem. vLLM navodi P90 interaktivnost od 403.2 naspram 223.7 tokena u sekundi po korisniku pri konkurentnosti jedan. Optimizovani rezultat dobijen je na **16 GB300 GPU-ova**, dok je ranije poređenje koristilo **osam**. Pošto se broj GPU-ova menja zajedno sa implementacijom, to poređenje od 1.8× ne izdvaja poboljšanje putanje dekodiranja. AgentX takođe uključuje duže kontekste, razmene, pauze i ponovnu upotrebu keša, pa njegova metrika odgovara na drugačije pitanje od čistog testa dekodiranja.

Postoji mala razlika između javne objave i ranije [tabele performansi zahteva za izmenu](https://github.com/vllm-project/vllm/pull/61867): druga navodi 838 naspram 489 tokena u sekundi za TP16, grupu 1, DSpark DL7 i sintetičko prihvatanje šest. Poređenje 842 naspram 488 iz objave izvor je ovde navedenog broja 1.73×. Ranija tabela je koristan dokaz sličnog izvršavanja, ali se dva para ne smeju mešati. vLLM je objavio kod i sopstvenu validaciju; BIG CHANGE nije ponovio nijedno izvršavanje.

## Šta bi procena zahtevala

Smisleno lokalno poređenje počelo bi od [spojenog PR-a i navedene konfiguracije](https://github.com/vllm-project/vllm/pull/61867): iste težine dobavljača modela Kimi K3, GB300 sistem sa 16 GPU-ova u jednom NVLink domenu, TP16, formati keša i tačna DSpark postavka naslovnog testa. Pokrenite standardni `auto` i opcioni `latency_specialized` pod istim opterećenjem, a zatim zabeležite propusnost dekodiranja odvojeno od prefill faze, vremena do prvog tokena, izlazne propusnosti i kašnjenja na nivou zahteva. Radna stanica ili manji skup GPU-ova ne mogu neposredno da ponove naslovni rezultat sa 16 GB300. Objava ne utvrđuje cenu iznajmljivanja te postavke.

Njegov [prikaz validacije PR-a](https://github.com/vllm-project/vllm/pull/61867) navodi numeričke provere i evaluacije modela koje uključuju AIME25, GPQA-Diamond i MRCR test dugog konteksta. Opisuje i grešku sinhronizacije otkrivenu tokom razvoja i varijacije u testovima dugog izlaza. Te provere čitaocima daju više za ispitivanje od grafikona brzine, ali ostaju dokazi samih implementatora. Tim za posluživanje treba da odluči da li njegovi stvarni hardver, grupisanje, dužine konteksta i spekulativno prihvatanje dovoljno liče na podržane konfiguracije da opravdaju merenje ove opcione putanje na sopstvenom saobraćaju.

## Velika promena

Spojena vLLM putanja za Kimi K3 čini dostupnom specijalizovanu, opcionu GPU implementaciju dekodiranja uz dokumentovan test i trag validacije. Najjači javni naslovni rezultat je **842 naspram 488 zbirnih tokena dekodiranja u sekundi, odnosno 1.73×, za TP16 na 16 GB300 GPU-ova pri grupi 1 sa sedam DSpark predloženih tokena i sintetičkom dužinom prihvatanja šest**. Prefill je isključen. Da li poboljšava određenu uslugu zavisi od njenog hardvera i celokupnog opterećenja zahteva.

## Izvori i dodatna literatura

- [Tehnička objava vLLM-a od 16. oktobra](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel) objašnjava promene dekodiranja i daje postavku 842/488, nespekulativnu tabelu i AgentX poređenje. Rezultate navode projekat i NVIDIA saradnik Benjamin Chislett.
- [Spojeni vLLM zahtev za izmenu #61867](https://github.com/vllm-project/vllm/pull/61867) dokumentuje opcionu postavku, podržane konfiguracije, granice implementacije, validaciju i raniju DSpark tabelu 838/489. To je trag koda i rezultata, a ne nezavisno ponavljanje.
- [Kartica modela Kimi K3 kompanije Moonshot AI](https://huggingface.co/moonshotai/Kimi-K3) identifikuje model i težine na koje se implementacija poziva.
- [Metodologija AgentX](https://inferencex.semianalysis.com/agentx) opisuje opterećenje ponavljanja saobraćaja iza odvojenog poređenja interaktivnosti.

## Sources

- [vLLM, Hiperoptimizacija Kimi K3 u vLLM-u: brzo i odgovorno napredovanje (2026-10-16)](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel) — Tehnički prikaz iz prve ruke i izvor rezultata 842/488 i 1.73×. Navodi TP16 na 16 GB300 GPU-ova, grupu 1, DSpark DL7, sintetički AL6, ISL1, OSL1k i zbirni TPS dekodiranja bez prefill faze. Daje i zasebne nespekulativne i AgentX rezultate.
- [vLLM zahtev za izmenu #61867, specijalizovano dekodiranje Kimi K3](https://github.com/vllm-project/vllm/pull/61867) — Spojena implementacija i zapis validacije koju su sproveli autori. Dokumentuje konačnu opcionu postavku, podržane konfiguracije i povratak na standardnu putanju. Ranija DSpark tabela navodi 838/489 pri TP16 B1 sintetički AL6, pa se ti brojevi ne kombinuju sa parom iz bloga.
- [Moonshot AI, kartica modela Kimi K3](https://huggingface.co/moonshotai/Kimi-K3) — Identifikuje model i težine dobavljača modela; ne utvrđuje nezavisno performanse vLLM-a.
- [InferenceX, AgentX metodologija i skupovi podataka](https://inferencex.semianalysis.com/agentx) — Opisuje opterećenje ponavljanja saobraćaja korišćeno u zasebno prijavljenom poređenju interaktivnosti. vLLM poređenje menja i broj GPU-ova.