AI-translated from English; not yet reviewed by a fluent editor.

# vLLM的Kimi K3解码路径在特定GB300测试中达到每秒842个词元

> vLLM报告，在特定DSpark配置下，Kimi K3在16块GB300 GPU上的总体解码吞吐量为每秒842个词元，对照值为488个。不计预填充。

By BIG CHANGE Editorial

Published: 2026-10-18T20:03:34.885Z
Updated: 2026-10-18T20:03:34.885Z
Canonical: https://bigchange.ai/blog/kimi-k3-vllm-gpu-inference-benchmark

![Conceptual charcoal illustration of the rear of a generic compute cabinet with rack units and secured cables in a data-center aisle.](https://bigchange.ai/api/media/file/kimi-k3-decode-cabinet-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual GB300 chassis, vLLM installation or measured result is depicted.

vLLM已合并一条适用于NVIDIA Blackwell GPU、专门针对Kimi K3的可选解码路径。在其[10月16日的说明](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel)中，项目报告每秒生成842个词元，原版vLLM为488个，提升1.73×。这项比较的适用范围很窄：一次一个请求、在16块GB300 GPU上进行张量并行、DSpark推测解码使用七个草稿词元、合成接受长度为六、输入一个词元、输出1000个词元。该数字衡量的是预填充后的总体解码吞吐量，不是用户完整请求结束的速度。

对决定是否评估这条路径的工程师而言，有价值的进展在于显著的解码结果与相当明确的适用范围说明同时出现。[已合并的实现](https://github.com/vllm-project/vllm/pull/61867)需要通过`decode_backend: latency_specialized`主动启用；默认`auto`设置仍使用原版解码。vLLM表示，这条专用路径针对同一NVLink域内有八块或16块GPU的GB300部署；预填充、混合批次及不支持的步骤会回退到标准模型前向计算路径。

## 时间花在了哪里

根据其[模型卡](https://huggingface.co/moonshotai/Kimi-K3)，Kimi K3是一个大型混合专家模型。解码时，推理服务系统不断执行注意力运算、选择专家，并在GPU间交换数据，以生成后续词元。vLLM团队构建了一条CuTe DSL路径，针对预期的张量形状特化这些运算。其说明描述了对小批次和较大批次采用不同的注意力投影内核，融合注意力输出投影、跨GPU归约和后续残差运算，分片路由器计算，共享专家与路由专家的重叠执行，以及通信期间预取权重。文中展示的逐层跟踪显示，专用路径使用13个内核、耗时69微秒，原版vLLM则使用23个内核、耗时130微秒。这是所示配置的跟踪报告，并非应用延迟数据。

适用范围与内核设计同样重要。[拉取请求](https://github.com/vllm-project/vllm/pull/61867)描述了GB300在TP8和TP16下的验证、最大批次64的非推测解码、使用三至七个草稿词元的DSpark验证，以及可选的解码上下文并行。它指出，性能优化工作使用FP8 KV缓存、FP32 SSM缓存和模型提供方的权重。这条路径不改变模型权重、调度、采样或DSpark草稿生成器。因此，推理服务团队可以在熟悉的周边技术栈中比较变更后的解码实现，但这也意味着优化不会加速推理服务的每一部分。

## 两张基准测试表应分开看

842对488的结果使用**16块GB300 GPU上的TP16、批次1、使用七个草稿词元的DSpark、合成接受长度六，以及DL=7、ISL=1、OSL=1k**。vLLM将指标称为每秒总体解码词元数，排除预填充。合成接受固定了基准测试接受多少个提议词元；它不是从用户提示词中测量出的接受率。提示词、接受行为、批次大小或输入长度不同的部署，都需要自行测量。

文中还提供一张[非推测解码表](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel#decode-performance-without-speculation)。例如，在TP16下，批次1为每秒256.4个词元，批次64为3606.1个；相对各自的原版配置，提升分别为1.88×和1.62×。这些是不使用推测解码的TP组总体结果，不能与DSpark数字拼在一起，宣称批次64下每位用户的体验更快。

文中的另一个数字涉及[AgentX](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel#improvement-on-agentx)，这项工作负载用合成内容重放编程智能体的流量模式。vLLM报告，并发度为一时，P90交互速度为每位用户每秒403.2个词元，对照值为223.7。优化结果使用**16块GB300 GPU**，而之前的对照测试使用**八块**。由于GPU数量与实现同时变化，这项1.8×比较无法单独识别解码路径改进的效果。AgentX还包含更长的上下文、对话轮次、停顿和缓存复用，因此其指标回答的问题与纯解码基准测试不同。

公开文章与之前的[拉取请求性能表](https://github.com/vllm-project/vllm/pull/61867)之间有一点差异：后者列出TP16、批次1、DSpark DL7和合成接受长度六时，每秒838对489个词元。本文的1.73×数字来自文章中842对488的比较。早期表格可作为类似运行的有用证据，但不应交叉混用两组数字。vLLM已公布代码与自己的验证；BIG CHANGE并未复现其中任何一次运行。

## 评估需要什么

有意义的本地比较应从[已合并的PR及其声明的配置](https://github.com/vllm-project/vllm/pull/61867)开始：相同的Kimi K3模型提供方权重、同一NVLink域内有16块GPU的GB300系统、TP16、缓存格式，以及主要测试的确切DSpark配置。在相同工作负载下运行原版`auto`和可选的`latency_specialized`，再将解码吞吐量与预填充、首词元时间、输出吞吐量及请求级延迟分开记录。工作站或较小的GPU资源池无法直接复现16块GB300的主要结果。文章并未确定该配置的租用成本。

该[PR的验证说明](https://github.com/vllm-project/vllm/pull/61867)报告了数值检查和模型评测，包括AIME25、GPQA-Diamond及长上下文MRCR测试。它还描述了开发期间发现的同步错误，以及长输出测试的波动。这些检查为读者提供了比速度图表更多可审视的材料，但仍是实现者自己的证据。推理服务团队需要判断，实际硬件、批处理、上下文长度和推测接受行为是否足够接近支持配置，值得在自己的流量上测量这条可选路径。

## 重大变化

vLLM已合并的Kimi K3路径提供了一种专用、可选的GPU解码实现，并附有成文的基准测试和验证记录。公开信息中最突出的数字是**在16块GB300 GPU上使用TP16、批次1、DSpark七个草稿词元和合成接受长度六时，总体解码速度为每秒842对488个词元，即1.73×**。不计预填充。它能否改善特定服务，取决于该服务的硬件与完整请求工作负载。

## 来源与延伸阅读

- [vLLM于10月16日发布的技术文章](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel)解释了解码变更，并提供842/488的配置、非推测解码表和AgentX比较。结果由项目及NVIDIA贡献者Benjamin Chislett报告。
- [已合并的vLLM拉取请求#61867](https://github.com/vllm-project/vllm/pull/61867)记录了可选设置、支持配置、实现边界、验证，以及早期的838/489 DSpark表格。这是代码与结果的记录，并非独立复现。
- [Moonshot AI的Kimi K3模型卡](https://huggingface.co/moonshotai/Kimi-K3)指明实现引用的模型与权重。
- [AgentX方法说明](https://inferencex.semianalysis.com/agentx)描述了另一项交互速度比较所用的流量重放工作负载。

## Sources

- [vLLM，《在vLLM中深度优化Kimi K3：快速且负责任地前进》（2026-10-16）](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel) — 第一方技术说明，也是842/488、1.73×结果的来源。它明确列出16块GB300 GPU上的TP16、批次1、DSpark DL7、合成AL6、ISL1、OSL1k，以及不计预填充的总体解码TPS。另提供不同的非推测解码与AgentX结果。
- [vLLM拉取请求#61867，Kimi K3专用解码](https://github.com/vllm-project/vllm/pull/61867) — 已合并的实现与作者执行的验证记录。记录最终可选设置、支持配置和回退机制。早期DSpark表格列出TP16 B1、合成AL6下为838/489，因此不能将这些数字与博客中的一组混用。
- [Moonshot AI，Kimi K3模型卡](https://huggingface.co/moonshotai/Kimi-K3) — 指明模型与模型提供方的权重；不独立证明vLLM性能。
- [InferenceX，AgentX方法与数据集](https://inferencex.semianalysis.com/agentx) — 描述另行报告的交互速度比较所用的流量重放工作负载。vLLM的比较还改变了GPU数量。