AI-translated from English; not yet reviewed by a fluent editor.

# مسار فك ترميز Kimi K3 في vLLM يصل إلى 842 رمزًا في الثانية في اختبار محدد على GB300

> أعلن vLLM عن 842 مقابل 488 رمز فك ترميز إجماليًا في الثانية لنموذج Kimi K3 على 16 وحدة GPU من نوع GB300 بإعداد محدد لـDSpark. لا يشمل القياس المعالجة الأولية.

By BIG CHANGE Editorial

Published: 2026-10-18T20:03:34.885Z
Updated: 2026-10-18T20:03:34.885Z
Canonical: https://bigchange.ai/blog/kimi-k3-vllm-gpu-inference-benchmark

![Conceptual charcoal illustration of the rear of a generic compute cabinet with rack units and secured cables in a data-center aisle.](https://bigchange.ai/api/media/file/kimi-k3-decode-cabinet-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual GB300 chassis, vLLM installation or measured result is depicted.

دمج vLLM مسارًا اختياريًا لفك الترميز مخصصًا لنموذج Kimi K3 على وحدات NVIDIA Blackwell GPU. وفي [عرضه الصادر في 16 أكتوبر](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel)، أعلن المشروع عن توليد 842 رمزًا في الثانية مقابل 488 في vLLM القياسي، أي تحسن قدره 1.73×. لهذه المقارنة نطاق ضيق: طلب واحد في كل مرة، وتوازٍ موترّي عبر 16 وحدة GB300 GPU، وفك ترميز تخميني باستخدام DSpark مع سبعة رموز مسودة، وطول قبول اصطناعي يساوي ستة، وإدخال من رمز واحد وإخراج من 1000 رمز. يقيس الرقم معدل فك الترميز الإجمالي بعد المعالجة الأولية، ولا يقيس سرعة إتمام طلب المستخدم كاملًا.

بالنسبة إلى المهندسين الذين يقررون ما إذا كانوا سيقيّمون هذا المسار، فإن التطور المفيد هو الجمع بين نتيجة كبيرة في فك الترميز وشرح واضح نسبيًا لمجال انطباقها. [التنفيذ المدمج](https://github.com/vllm-project/vllm/pull/61867) يُفعَّل اختياريًا عبر `decode_backend: latency_specialized`؛ أما الإعداد الافتراضي `auto` فيواصل استخدام فك الترميز القياسي. ويقول vLLM إن المسار المتخصص يستهدف عمليات نشر GB300 التي تضم ثماني وحدات GPU أو 16 وحدة ضمن نطاق NVLink واحد، بينما تعود المعالجة الأولية والدفعات المختلطة والخطوات غير المدعومة إلى مسار التمرير الأمامي القياسي للنموذج.

## أين كان يُستهلك الوقت

Kimi K3 نموذج كبير من نوع مزيج الخبراء، وفق ما توضحه [بطاقة النموذج](https://huggingface.co/moonshotai/Kimi-K3). أثناء فك الترميز، يكرر نظام تقديم الاستدلال تشغيل الانتباه واختيار الخبراء وتبادل البيانات بين وحدات GPU لإنتاج الرموز التالية. بنى فريق vLLM مسار CuTe DSL يخصص هذه العمليات لأشكال الموترات المتوقعة. ويصف العرض نوى مختلفة لإسقاط الانتباه للدفعات الصغيرة والأكبر؛ ودمج إسقاط خرج الانتباه والاختزال بين وحدات GPU والعمل المتبقي اللاحق؛ وحسابات الموجّه الموزعة على أجزاء؛ وتداخل عمل الخبراء المشتركين والموجّه إليهم؛ والجلب المسبق للأوزان أثناء الاتصال. وفي تتبع لكل طبقة يظهر في المنشور، يستخدم المسار المتخصص 13 نواة و69 ميكروثانية، مقابل 23 نواة و130 ميكروثانية في vLLM القياسي. هذا تتبع مُبلَّغ عنه للإعداد المعروض، وليس رقمًا لزمن استجابة تطبيق.

نطاق التطبيق مهم بقدر تصميم النوى. ويصف [طلب الدمج](https://github.com/vllm-project/vllm/pull/61867) التحقق على GB300 عند TP8 وTP16، وفك الترميز غير التخميني حتى الدفعة 64، والتحقق باستخدام DSpark مع ثلاثة إلى سبعة رموز مسودة، وتوازي سياق فك الترميز الاختياري. ويذكر أن العمل على الأداء استخدم ذاكرة KV مخبأة بصيغة FP8، وذاكرة SSM مخبأة بصيغة FP32، وأوزان مزود النموذج. لا يغيّر المسار أوزان النموذج أو الجدولة أو أخذ العينات أو مولّد المسودات في DSpark. ويتيح ذلك لفريق الاستدلال مقارنة تنفيذ معدّل لفك الترميز مع بقية حزمة تقنية مألوفة، لكنه يعني أيضًا أن التحسين لا يسرّع كل أجزاء الخدمة.

## اقرأ جدولي الاختبار كلًا على حدة

تستخدم نتيجة 842 مقابل 488 **TP16 على 16 وحدة GB300 GPU، والدفعة 1، وDSpark مع سبعة رموز مسودة، وطول قبول اصطناعي ستة، وDL=7 وISL=1 وOSL=1k**. يسمي vLLM المقياس إجمالي رموز فك الترميز في الثانية، ويستبعد المعالجة الأولية. يثبّت القبول الاصطناعي عدد الرموز المقترحة التي يقبلها الاختبار؛ وليس معدل قبول مقاسًا من مطالبات المستخدمين. ويحتاج أي نشر يختلف في المطالبات أو سلوك القبول أو أحجام الدفعات أو أطوال الإدخال إلى قياس خاص به.

ويعرض المنشور أيضًا [جدولًا غير تخميني](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel#decode-performance-without-speculation). فعند TP16 مثلًا، يعلن عن 256.4 رمزًا في الثانية عند الدفعة 1 و3606.1 عند الدفعة 64، مع تحسن قدره 1.88× و1.62× مقارنة بالإعدادين القياسيين المقابلين على الترتيب. هذه نتائج إجمالية لمجموعة TP من دون فك ترميز تخميني. ولا يمكن دمجها مع رقم DSpark للادعاء بأن تجربة كل مستخدم أسرع عند الدفعة 64.

ويتناول رقم آخر في المنشور [AgentX](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel#improvement-on-agentx)، وهو حمل عمل يعيد تشغيل أنماط حركة مرور وكلاء البرمجة باستخدام محتوى اصطناعي. يعلن vLLM عن تفاعلية P90 تبلغ 403.2 مقابل 223.7 رمزًا في الثانية لكل مستخدم عند تزامن طلب واحد. وشُغّلت النتيجة المحسّنة على **16 وحدة GB300 GPU**، بينما شُغّلت المقارنة السابقة على **ثمانٍ**. وبما أن عدد وحدات GPU يتغير مع التنفيذ، فإن مقارنة 1.8× لا تعزل تحسن مسار فك الترميز وحده. ويشمل AgentX أيضًا سياقات أطول وأدوارًا حوارية وفترات توقف وإعادة استخدام الذاكرة المخبأة، لذلك يجيب مقياسه عن سؤال مختلف عن اختبار فك الترميز الخالص.

هناك اختلاف طفيف بين المنشور العام وبين [جدول أداء طلب الدمج السابق](https://github.com/vllm-project/vllm/pull/61867): يذكر الأخير 838 مقابل 489 رمزًا في الثانية عند TP16 والدفعة 1 وDSpark DL7 وقبول اصطناعي يساوي ستة. ومقارنة 842 مقابل 488 في المنشور هي مصدر رقم 1.73× المستخدم هنا. يقدم الجدول السابق دليلًا مفيدًا على تشغيل مشابه، لكن لا ينبغي خلط الزوجين. نشر vLLM الشيفرة والتحقق الذي أجراه بنفسه؛ ولم تُعِد BIG CHANGE تنفيذ أي من التشغيلين.

## ما الذي يتطلبه التقييم

تبدأ المقارنة المحلية ذات المغزى بالرجوع إلى [طلب الدمج المدمج وإعداده المعلن](https://github.com/vllm-project/vllm/pull/61867): أوزان Kimi K3 نفسها من مزود النموذج، ونظام GB300 يضم 16 وحدة GPU في نطاق NVLink واحد، وTP16، وصيغ الذاكرة المخبأة، وإعداد DSpark المطابق تمامًا للاختبار الرئيسي. شغّل الوضع القياسي `auto` والوضع الاختياري `latency_specialized` تحت حمل العمل نفسه، ثم سجّل معدل فك الترميز منفصلًا عن المعالجة الأولية وزمن الوصول إلى أول رمز ومعدل الإخراج وزمن الاستجابة على مستوى الطلب. لا تستطيع محطة عمل أو مجموعة GPU أصغر إعادة إنتاج النتيجة الرئيسية على 16 وحدة GB300 مباشرة. ولا يحدد المنشور تكلفة استئجار ذلك الإعداد.

أما [تقرير التحقق في PR](https://github.com/vllm-project/vllm/pull/61867) فيعرض فحوصًا عددية وتقييمات للنموذج تشمل AIME25 وGPQA-Diamond واختبار MRCR طويل السياق. ويصف أيضًا خطأ مزامنة اكتُشف أثناء التطوير وتفاوتًا في اختبارات الإخراج الطويل. تمنح هذه الفحوص القراء مادة للفحص تتجاوز رسم السرعة، لكنها تظل أدلة من منفذي النظام أنفسهم. وعلى فريق الاستدلال أن يقرر ما إذا كانت أجهزته الفعلية وتجميع الدفعات وأطوال السياق والقبول التخميني تشبه الإعدادات المدعومة بدرجة تبرر قياس هذا المسار الاختياري على حركة مروره الخاصة.

## التغيير الكبير

يتيح مسار Kimi K3 المدمج في vLLM تنفيذًا متخصصًا واختياريًا لفك الترميز على GPU، مع اختبار موثق وسجل تحقق. وأبرز نتيجة معلنة هي **842 مقابل 488 رمز فك ترميز إجماليًا في الثانية، أي 1.73×، عند TP16 على 16 وحدة GB300 GPU والدفعة 1، مع سبعة رموز مسودة في DSpark وطول قبول اصطناعي يساوي ستة**. تُستبعد المعالجة الأولية. أما تحسن خدمة معينة فيعتمد على أجهزتها وحمل العمل الكامل لطلباتها.

## المصادر وقراءات إضافية

- [منشور vLLM التقني في 16 أكتوبر](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel) يشرح تغييرات فك الترميز، ويقدم إعداد 842/488 والجدول غير التخميني ومقارنة AgentX. أبلغ عن النتائج المشروع ومساهم NVIDIA ‏Benjamin Chislett.
- [طلب دمج vLLM رقم #61867 المدمج](https://github.com/vllm-project/vllm/pull/61867) يوثق الإعداد الاختياري والإعدادات المدعومة وحدود التنفيذ والتحقق وجدول DSpark السابق الذي يذكر 838/489. إنه سجل الشيفرة والنتائج، وليس إعادة إنتاج مستقلة.
- [بطاقة نموذج Kimi K3 من Moonshot AI](https://huggingface.co/moonshotai/Kimi-K3) تحدد النموذج والأوزان التي يشير إليها التنفيذ.
- [منهجية AgentX](https://inferencex.semianalysis.com/agentx) تصف حمل إعادة تشغيل حركة المرور الذي تستند إليه مقارنة التفاعلية المنفصلة.

## Sources

- [vLLM، تحسين Kimi K3 بعمق في vLLM: التقدم بسرعة ومسؤولية (2026-10-16)](https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel) — عرض تقني من الجهة المعنية مباشرة ومصدر نتيجة 842/488 و1.73×. يحدد TP16 على 16 وحدة GB300 GPU والدفعة 1 وDSpark DL7 وAL6 اصطناعيًا وISL1 وOSL1k وإجمالي TPS لفك الترميز من دون المعالجة الأولية. ويقدم كذلك نتائج منفصلة غير تخمينية ونتائج AgentX.
- [طلب دمج vLLM رقم #61867، فك ترميز متخصص لـKimi K3](https://github.com/vllm-project/vllm/pull/61867) — التنفيذ المدمج وسجل تحقق أجراه المؤلفون. يوثق الإعداد الاختياري النهائي والإعدادات المدعومة والرجوع إلى المسار القياسي. ويذكر جدول DSpark السابق 838/489 عند TP16 B1 وAL6 اصطناعي، لذلك لا تُدمج هذه الأرقام مع زوج الأرقام الوارد في المدونة.
- [Moonshot AI، بطاقة نموذج Kimi K3](https://huggingface.co/moonshotai/Kimi-K3) — تحدد النموذج وأوزان مزود النموذج؛ ولا تثبت أداء vLLM بصورة مستقلة.
- [InferenceX، منهجية AgentX ومجموعات البيانات](https://inferencex.semianalysis.com/agentx) — تصف حمل إعادة تشغيل حركة المرور المستخدم في مقارنة التفاعلية المعلنة بصورة منفصلة. ويتغير عدد وحدات GPU أيضًا في مقارنة vLLM.