vLLM نے NVIDIA Blackwell GPU پر Kimi K3 کے لیے اختیاری، ماڈل کے لیے مخصوص ڈی کوڈ راستہ ضم کیا ہے۔ اپنے 16 اکتوبر کے بیان میں منصوبے نے عام vLLM کے 488 کے مقابلے میں 842 ٹوکن فی سیکنڈ پیدا ہونے کی اطلاع دی، یعنی 1.73× اضافہ۔ اس موازنے کا دائرہ محدود ہے: ایک وقت میں ایک درخواست، 16 GB300 GPU پر ٹینسر متوازی عمل کاری، سات مسودہ ٹوکن کے ساتھ DSpark قیاسی ڈی کوڈنگ، چھ کی مصنوعی قبولیت لمبائی، ایک ٹوکن کا ان پٹ اور 1000 ٹوکن کا آؤٹ پٹ۔ یہ عدد پری فل کے بعد کی مجموعی ڈی کوڈنگ گنجائش ناپتا ہے۔ یہ نہیں ناپتا کہ صارف کی مکمل درخواست کتنی جلد ختم ہوتی ہے۔

اس راستے کا جائزہ لینے یا نہ لینے کا فیصلہ کرنے والے انجینئروں کے لیے مفید پیش رفت یہ ہے کہ نمایاں ڈی کوڈ نتیجے کے ساتھ اس کے اطلاق کی نسبتاً واضح تفصیل بھی موجود ہے۔ ضم شدہ نفاذ کو decode_backend: latency_specialized کے ذریعے اختیاری طور پر فعال کیا جاتا ہے؛ پہلے سے طے شدہ auto ترتیب عام ڈی کوڈنگ ہی استعمال کرتی رہتی ہے۔ vLLM کے مطابق خصوصی راستہ ایک NVLink ڈومین میں آٹھ یا 16 GPU والی GB300 تنصیبات کے لیے ہے، جبکہ پری فل، مخلوط بیچ اور غیر معاون مراحل معیاری ماڈل فارورڈ راستے پر واپس جاتے ہیں۔

وقت کہاں صرف ہو رہا تھا

Kimi K3 ایک بڑا مکسچر آف ایکسپرٹس ماڈل ہے، اس کے ماڈل کارڈ کے مطابق۔ ڈی کوڈنگ کے دوران سروس فراہم کرنے والا نظام اگلے ٹوکن بنانے کے لیے بار بار اٹینشن چلاتا، ماہر ماڈیول منتخب کرتا اور GPU کے درمیان ڈیٹا کا تبادلہ کرتا ہے۔ vLLM ٹیم نے CuTe DSL راستہ بنایا جو ان کاموں کو متوقع ٹینسر شکلوں کے لیے مخصوص بناتا ہے۔ بیان میں چھوٹے اور بڑے بیچ کے لیے مختلف اٹینشن پروجیکشن کرنل؛ اٹینشن آؤٹ پٹ پروجیکشن، GPU کے درمیان ریڈکشن اور اس کے بعد کے ریزیڈیول کام کا انضمام؛ تقسیم شدہ راؤٹر حسابات؛ مشترک اور روٹ کیے گئے ایکسپرٹس کے کام کا اوورلیپ؛ اور مواصلات کے دوران ویٹ پہلے سے لانا شامل ہے۔ پوسٹ میں دکھائے گئے فی پرت ٹریس میں مخصوص راستہ 13 کرنل اور 69 مائیکرو سیکنڈ استعمال کرتا ہے، جبکہ عام vLLM 23 کرنل اور 130 مائیکرو سیکنڈ لیتا ہے۔ یہ دکھائی گئی ترتیب کا رپورٹ کردہ ٹریس ہے، ایپلیکیشن کی تاخیر کا عدد نہیں۔

کرنل کی ساخت جتنا ہی اطلاق کا دائرہ بھی اہم ہے۔ پل ریکویسٹ میں TP8 اور TP16 پر GB300 جانچ، بیچ 64 تک غیر قیاسی ڈی کوڈ، تین سے سات مسودہ ٹوکن کے ساتھ DSpark تصدیق اور اختیاری ڈی کوڈ سیاقی متوازی عمل کاری بیان کی گئی ہے۔ اس کے مطابق کارکردگی کے کام میں FP8 KV کیش، FP32 SSM کیش اور ماڈل فراہم کنندہ کے ویٹ استعمال ہوئے۔ یہ راستہ ماڈل ویٹ، شیڈیولنگ، سیمپلنگ یا DSpark مسودہ ساز کو نہیں بدلتا۔ اس سے سروس ٹیم مانوس باقی اسٹیک کے ساتھ بدلے ہوئے ڈی کوڈ نفاذ کا موازنہ کر سکتی ہے، مگر اس کا یہ مطلب بھی ہے کہ اصلاح سروس کے ہر حصے کو تیز نہیں کرتی۔

دونوں بینچ مارک جدول الگ پڑھیں

842 بمقابلہ 488 کے نتیجے میں 16 GB300 GPU پر TP16، بیچ 1، سات مسودہ ٹوکن والا DSpark، چھ کی مصنوعی قبولیت لمبائی، DL=7، ISL=1 اور OSL=1k استعمال ہوئے۔ vLLM اس پیمانے کو مجموعی ڈی کوڈ ٹوکن فی سیکنڈ کہتا اور پری فل کو خارج کرتا ہے۔ مصنوعی قبولیت طے کرتی ہے کہ بینچ مارک کتنے تجویز کردہ ٹوکن قبول کرے گا؛ یہ صارفین کے پرامپٹ سے ناپی گئی قبولیت شرح نہیں۔ مختلف پرامپٹ، قبولیت کے رویے، بیچ کے حجم یا ان پٹ کی لمبائی والی تنصیب کو اپنی پیمائش درکار ہے۔

پوسٹ میں ایک غیر قیاسی جدول بھی ہے۔ مثال کے طور پر TP16 پر بیچ 1 میں 256.4 اور بیچ 64 میں 3606.1 ٹوکن فی سیکنڈ بتائے گئے ہیں، جو متعلقہ عام ترتیبوں سے بالترتیب 1.88× اور 1.62× بہتر ہیں۔ یہ قیاسی ڈی کوڈنگ کے بغیر پورے TP گروپ کے مجموعی نتائج ہیں۔ انہیں DSpark کے عدد کے ساتھ ملا کر بیچ 64 میں ہر صارف کے لیے زیادہ تیز تجربے کا دعویٰ نہیں کیا جا سکتا۔

پوسٹ کا ایک اور عدد AgentX سے متعلق ہے، جو مصنوعی مواد کے ساتھ کوڈنگ ایجنٹ ٹریفک کے انداز دوبارہ چلاتا ہے۔ vLLM نے ایک وقت میں ایک درخواست پر فی صارف فی سیکنڈ ٹوکن کے لحاظ سے P90 تعامل کی رفتار 403.2 بمقابلہ 223.7 بتائی۔ بہتر بنایا گیا نتیجہ 16 GB300 GPU پر چلا، جبکہ پچھلا موازنہ آٹھ پر چلا تھا۔ نفاذ کے ساتھ GPU کی تعداد بھی بدلتی ہے، اس لیے 1.8× موازنہ صرف ڈی کوڈ راستے کی بہتری کو الگ نہیں کرتا۔ AgentX میں طویل سیاق، مکالماتی باریوں، وقفوں اور کیش کے دوبارہ استعمال کا بھی دخل ہے، لہٰذا اس کا پیمانہ خالص ڈی کوڈ بینچ مارک سے مختلف سوال کا جواب دیتا ہے۔

عوامی پوسٹ اور اس سے پہلے کے پل ریکویسٹ کارکردگی جدول میں معمولی فرق ہے: مؤخر الذکر TP16، بیچ 1، DSpark DL7 اور مصنوعی قبولیت چھ کے لیے 838 بمقابلہ 489 ٹوکن فی سیکنڈ دکھاتا ہے۔ یہاں استعمال ہونے والے 1.73× عدد کا ماخذ پوسٹ کا 842 بمقابلہ 488 موازنہ ہے۔ سابقہ جدول ملتے جلتے رن کا مفید ثبوت ہے، لیکن دو جوڑیوں کے اعداد ملانے نہیں چاہییں۔ vLLM نے کوڈ اور اپنی جانچ شائع کی ہے؛ BIG CHANGE نے ان دونوں میں سے کسی رن کو دوبارہ انجام دے کر نہیں جانچا۔

جائزے کے لیے کیا درکار ہوگا

بامعنی مقامی موازنہ ضم شدہ PR اور اس کی بیان کردہ ترتیب سے شروع ہوگا: Kimi K3 ماڈل فراہم کنندہ کے وہی ویٹ، ایک NVLink ڈومین میں 16 GPU والا GB300 نظام، TP16، کیش فارمیٹ اور نمایاں آزمائش کی عین DSpark ترتیب۔ عام auto اور اختیاری latency_specialized کو یکساں ورک لوڈ پر چلائیں، پھر ڈی کوڈ گنجائش کو پری فل، پہلے ٹوکن تک وقت، آؤٹ پٹ گنجائش اور درخواست کی سطح کی تاخیر سے الگ درج کریں۔ ورک اسٹیشن یا چھوٹا GPU پول 16-GB300 نمایاں نتیجے کو براہ راست دوبارہ پیدا نہیں کر سکتا۔ پوسٹ اس ترتیب کے کرائے کی لاگت مقرر نہیں کرتی۔

اس PR کی جانچ کی وضاحت میں عددی پڑتال اور ماڈل جائزے بتائے گئے ہیں، جن میں AIME25، GPQA-Diamond اور طویل سیاق کا MRCR ٹیسٹ شامل ہیں۔ ترقی کے دوران ملنے والی ہم وقت سازی کی خرابی اور لمبے آؤٹ پٹ کے ٹیسٹوں میں تفاوت بھی بیان ہوا ہے۔ یہ پڑتال قارئین کو رفتار کے چارٹ سے زیادہ جانچنے کا مواد دیتی ہے، مگر پھر بھی نفاذ کرنے والوں ہی کا ثبوت ہے۔ سروس ٹیم کو فیصلہ کرنا ہے کہ اس کا حقیقی ہارڈویئر، بیچنگ، سیاق کی لمبائی اور قیاسی قبولیت معاون ترتیبوں سے اتنی ملتی ہے یا نہیں کہ اپنے ٹریفک پر اس اختیاری راستے کی پیمائش جائز ہو۔

بڑی تبدیلی

vLLM میں ضم Kimi K3 راستہ دستاویزی بینچ مارک اور جانچ کے ریکارڈ کے ساتھ مخصوص، اختیاری GPU ڈی کوڈ نفاذ دستیاب کرتا ہے۔ سب سے نمایاں عوامی نتیجہ ہے 16 GB300 GPU پر TP16، بیچ 1، DSpark کے سات مسودہ ٹوکن اور چھ کی مصنوعی قبولیت لمبائی کے ساتھ 842 بمقابلہ 488 مجموعی ڈی کوڈ ٹوکن فی سیکنڈ، یعنی 1.73×۔ پری فل شامل نہیں۔ کسی مخصوص سروس میں بہتری اس سروس کے ہارڈویئر اور مکمل درخواست کے ورک لوڈ پر منحصر ہے۔

ماخذ اور مزید مطالعہ

  • vLLM کی 16 اکتوبر کی تکنیکی پوسٹ ڈی کوڈ تبدیلیاں سمجھاتی اور 842/488 ترتیب، غیر قیاسی جدول اور AgentX موازنہ پیش کرتی ہے۔ نتائج منصوبے اور NVIDIA معاون Benjamin Chislett نے بتائے ہیں۔
  • ضم شدہ vLLM پل ریکویسٹ #61867 اختیاری ترتیب، معاون صورتوں، نفاذ کی حدود، جانچ اور سابقہ 838/489 DSpark جدول کو دستاویز کرتی ہے۔ یہ کوڈ اور نتائج کا ریکارڈ ہے، آزادانہ تکرار نہیں۔
  • Moonshot AI کا Kimi K3 ماڈل کارڈ نفاذ میں حوالہ دیے گئے ماڈل اور ویٹ کی شناخت کرتا ہے۔
  • AgentX طریقۂ کار الگ تعامل کی رفتار کے موازنے کے پس منظر میں ٹریفک دوبارہ چلانے والے ورک لوڈ کو بیان کرتا ہے۔