سرچ انجن کو کال کرنے والے ایجنٹ کو سوال متن میں ظاہر کر کے نتیجہ پڑھنا ہوتا ہے۔ اس کا اندرونی استدلال اسی صورت میں ہونا ضروری نہیں۔ 13 اکتوبر کے پری پرنٹ میں، Stanford، University of Illinois Urbana-Champaign، Together AI اور Meta کے محققین HybridAgent بیان کرتے ہیں۔ یہ نظام مسلسل اقدار والی اندرونی حالتوں اور ٹول کال، مشاہدات اور جواب کے متن کے درمیان بدلتا ہے۔ انہوں نے تحقیقی کوڈ اور ایجنٹ کے دو چیک پوائنٹ جاری کیے ہیں۔ کارکردگی اور افادیت کے بتائے گئے نتائج مصنفین کے تجربات کے ہیں، آزادانہ اعادے یا تعینات سروس کے نہیں۔
بڑی تبدیلی
- کیا بدلا: HybridAgent زبان ماڈل کے ایجنٹ کو ایک کام کے دوران مسلسل اقدار والی اندرونی حالت کے مراحل اور عام متن کے درمیان بدلنے کا طریقہ دیتا ہے۔ سرچ، Python اور حتمی جواب کا انٹرفیس متن ہی رہتا ہے۔
- یہ کیوں اہم ہے: ایجنٹوں پر تحقیق کرنے والے ڈویلپر جانچ سکتے ہیں کہ کیا ہر درمیانی قدم لکھنا ضروری ہے۔ مصنفین کے یکساں حالات والے تجربات ان کے طریقے میں جنریشن کے کم مراحل کی طرف اشارہ کرتے ہیں، جبکہ عوامی کوڈ اس کی بناوٹ جانچنے دیتا ہے۔ ان میں سے کوئی چیز چلتی سروس کا بل کم ہونا ثابت نہیں کرتی۔
- کس پر نظر رکھیں: جاری چیک پوائنٹس کے ساتھ آزادانہ رنز جانچ سکتے ہیں کہ ناپا گیا فائدہ مختلف کاموں اور ٹول لاگت پر قائم رہتا ہے یا نہیں۔ زیادہ مشکل جانچ یہ ہے کہ لیٹنٹ حالت سے حاصل کردہ پڑھنے کے قابل الفاظ جواب تک پہنچنے کا دیانت دارانہ بیان دیتے ہیں یا نہیں۔
تبدیلی کیسے کام کرتی ہے
عام متنی موڈ میں ماڈل ٹوکن بناتا ہے۔ خاص <latent> ٹوکن دینے پر HybridLink نامی چھوٹا جزو ماڈل کی آخری مخفی حالت کو دوبارہ اس کی ان پٹ اسپیس میں نقش کرتا ہے۔ نظام بننے والے مسلسل ویکٹر کو پہلے لفظ میں بدلے بغیر اگلے مرحلے میں دیتا ہے۔ قریب ترین ٹوکن سے موازنے میں </latent> مارکر پہچانے جانے پر یہ متنی موڈ میں لوٹتا ہے۔ تب ماڈل ٹول کال یا اپنا جواب لکھ سکتا ہے۔ مقالہ ایک برقرار رہنے والے کی-ویلیو کیش کی وضاحت کرتا ہے جو متن، لیٹنٹ مراحل اور ٹول کے مشاہدات اگلی گفتگو کی باریوں تک لے جاتا ہے۔ ساخت اور تبدیلی کے قواعد پری پرنٹ کے حصوں 3 اور 4 میں ہیں۔
اس کے لیے پہلے سے تربیت یافتہ ماڈل میں اڈاپٹر لگانے سے زیادہ کام درکار ہے۔ مصنفین پہلے متنی مظاہروں کو متن اور لیٹنٹ حالتوں کی ملی جلی تربیتی ترتیب میں بدلتے ہیں۔ پھر زیر نگرانی تربیت سے بنیادی ماڈل اور HybridLink کو مل کر کام سکھاتے ہیں۔ ری انفورسمنٹ لرننگ کا مرحلہ بننے والے ایجنٹ کو استدلال اور سرچ کے کاموں پر تربیت دیتا ہے۔ اس مرحلے میں مصنفین نمونے کے طور پر منتخب متنی مقامات کے احتمالات اپ ڈیٹ کرتے اور ریکارڈ شدہ لیٹنٹ ان پٹ دوبارہ چلاتے ہیں۔ مقالے کے مطابق تربیتی ڈیٹا میں 54,000 تبدیل کردہ مظاہرے، پھر گہرے استدلال کی 12,000 اور ایجنٹ سرچ کی 1,000 مثالوں کے الگ مجموعے ہیں۔ تربیت اور ڈیٹا کی تفصیل۔
بینچ مارک نے کیا ناپا
بنیادی جائزہ Qwen3-Base پر بنے 8B اور 14B ورژنز کو 11 بینچ مارک پر بیان کرتا ہے۔ چھ ریاضی، سائنسی یا طبی علم اور کئی مرحلوں والے سوالات پر ہیں؛ پانچ سرچ اور ایجنٹ کے کاموں کو اہمیت دیتے ہیں۔ الگ ضمیمہ 4B ورژن کو چار بینچ مارک پر آزماتا ہے: AIME25، AIME26، MATH500 اور GPQA-Diamond۔ مصنفین اسی بنیادی ماڈل اور تربیتی ڈیٹا والے متنی ایجنٹوں، لیٹنٹ استدلال کے طریقوں، صف اوّل کے ایجنٹوں اور ٹول استعمال کے فریم ورک سے تقابل کرتے ہیں۔ ان گروپوں کے تقابلی مقصد الگ ہیں۔ مثلاً یکساں حالات کے 14B ری انفورسمنٹ لرننگ تقابل میں MATH500 پر HybridAgent کا اسکور 88.2% ہے، جبکہ ARPO سے تربیت یافتہ متنی ایجنٹ کا 87.0%۔ GAIA اوسط میں مقالہ HybridAgent 14B کے لیے 52.4% اور اس ARPO بنیاد کے لیے 43.7% بتاتا ہے۔ یہ مصنفین کی ترتیب کے نتائج ہیں، تعینات ایجنٹوں کی عمومی درجہ بندی نہیں۔ بنیادی جدولیں، 4B ضمیمہ اور تقابلی بنیادوں کی تعریف۔
ترتیب اہم ہے۔ مقالہ ریاضی کے جائزوں میں گہرے استدلال پر تربیت یافتہ چیک پوائنٹ اور علم و ایجنٹ کے جائزوں میں ایجنٹ سرچ پر تربیت یافتہ چیک پوائنٹ استعمال کرتا ہے۔ اس کے مطابق انفرنس میں temperature 0.6، top-p 0.95 اور top-k 20 استعمال ہوئے اور بجٹ میں متنی ٹوکن اور لیٹنٹ مراحل دونوں شمار کیے گئے۔ ریاضی اور علم کے کاموں میں 4,096، جبکہ مشکل ایجنٹ کاموں میں 24,000 مراحل کی اجازت تھی۔ لیٹنٹ حصے کم از کم 16 اور زیادہ سے زیادہ 256 مراحل چلے؛ عملی راستوں پر ٹول کال کی حدیں تھیں۔ ٹولز سینڈ باکس Python انٹرپریٹر اور براہ راست سرچ تھے۔ سرچ صفحات کا خلاصہ اور آؤٹ پٹ کا فیصلہ کرنے میں بھی ماڈل استعمال ہوا۔ مصنفین 32 H100 GPU پر تربیت اور انفرنس بتاتے ہیں۔ مختلف ٹول سروس، بازیافت کے نتائج یا عملی حالات تقابل بدل سکتے ہیں۔ تجربے کی ترتیب۔
خلاصے کی 10.4% کارکردگی کی بہتری یکساں ماڈل سائز اور تربیتی بجٹ کے تحت ری انفورسمنٹ لرننگ مرحلے میں متعلقہ متنی اور لیٹنٹ بنیادوں سے تقابل ہے۔ اسے ہر صف اوّل کے ایجنٹ پر عمومی برتری نہیں سمجھنا چاہیے۔ مقالہ بنیادی ایجنٹ جدول کے لیے پانچ آزاد رنز کے نتائج بھی دیتا ہے، جن میں درستگی کے معیاری انحراف کا اوسط 0.014 ہے۔ نتائج اور جدول کی وضاحت۔
افادیت کے دعوے کے حساب کا دائرہ محدود ہے
متنی بنیادوں سے تقابل میں مقالہ 2.7 گنا کم متنی ٹوکن اور جنریشن کے کل مراحل میں زیادہ سے زیادہ 54% کمی بتاتا ہے۔ خلاصہ انفرنس کی رفتار 1.8 سے 2.6 گنا اور اندازاً لاگت 2.7 سے 3.7 گنا کم بتاتا ہے۔ لیٹنٹ مراحل بھی ماڈل کی کمپیوٹیشن مانگتے ہیں۔ مصنفین کی لاگت جدول ہر متنی یا لیٹنٹ مرحلے کے لیے بنیادی ماڈل کا مکمل فارورڈ پاس شمار کرتی ہے۔ فی گھنٹہ H100 کی قیمت 2.50 امریکی ڈالر اور زیادہ سے زیادہ BF16 تھروپٹ کا 10% فرض کر کے دس لاکھ جوابوں کا اندازہ لگایا جاتا ہے۔ 8B بنیادی ماڈل میں حساب فی سوال 62.5 سے 17.2 ٹریلین فلوٹنگ پوائنٹ آپریشن اور فی دس لاکھ سوال 439 سے 121 امریکی ڈالر ہو جاتا ہے۔ افادیت کا حصہ اور لاگت کی جدول۔
وہی ضمیمہ پرامپٹ پروسیسنگ، سیاق کے ساتھ بدلنے والی اٹینشن لاگت اور بیرونی ٹول چلانے کو صاف طور پر خارج کرتا ہے۔ اس لیے سرچ کال، ہوسٹنگ اور دیگر سروس اخراجات اس ڈالر تقابل سے باہر ہیں۔ یہ اعداد مصنفین کے ناپے گئے جنریشن راستوں اور بیان کردہ کمپیوٹ ماڈل کے مفید شواہد ہیں، مگر پوری ایجنٹ سروس چلانے کی لاگت طے نہیں کرتے۔
پڑھے جانے کے قابل لیٹنٹ حصوں کو بھی جانچنا ہوگا
HybridAgent ہر لیٹنٹ مرحلے کو قریب ترین ٹوکن ایمبیڈنگ میں نقش کر کے سیوڈو ٹیکسٹ دکھا سکتا ہے۔ ریپوزٹری کی مثال ایسی پیش کش حقیقی سرچ اور Python کالز کے ساتھ دکھاتی ہے۔ مقالے کے الگ تجربے میں لیٹنٹ ویکٹر بدلنے یا ان کی جگہ دوسرے رکھنے سے MATH500 کی درستگی کم ہوتی ہے۔ اس سے یہ دعویٰ مضبوط ہوتا ہے کہ ان حالتوں کا جواب پر اثر ہے۔ یہ ثابت نہیں ہوتا کہ قریب ترین الفاظ کمپیوٹیشن کا مکمل یا وفادارانہ بیان دیتے ہیں۔ لیٹنٹ مداخلت کی جدول۔
مصنفین 560 ریاضی کے مسائل پر بیرونی نگرانی میں نظر آنے والے متن کی افادیت بھی آزماتے ہیں۔ جدول یکساں حالات کے متنی ایجنٹوں سے کم نمایاں متنی ٹوکن HybridAgent کے لیے بتاتی ہے، اور ماڈل کے فیصلے پر مبنی نگرانی اور ڈی بگنگ کے کئی پیمانے دیتی ہے۔ کچھ بہتر ہوتے ہیں؛ 14B میں مضبوط مانیٹر کا AUROC HybridAgent کے لیے 0.989 اور متنی ایجنٹ کے لیے 0.990 ہے۔ یہ آزمائشیں مخصوص مانیٹر اور کام جانچتی ہیں۔ خصوصاً مخفی لیٹنٹ حصوں کے لیے عمومی شفافیت یا حفاظت ثابت نہیں کر سکتیں۔ آڈٹ کی صلاحیت کا تجربہ۔
اب کیا دستیاب ہے
اس MIT لائسنس یافتہ ریپوزٹری میں ہائبرڈ جنریشن انجن، Python اور سرچ ٹول، زیر نگرانی و ری انفورسمنٹ لرننگ پائپ لائن، بیچ انفرنس اور سیوڈو ٹیکسٹ انسپکٹر ہیں۔ مصنفین عوامی 8B اور 14B ایجنٹ چیک پوائنٹس اور تربیتی ڈیٹاسیٹس کے لنک دیتے ہیں۔ مقالے کی ریاضی کی جانچ الگ تربیت یافتہ گہرے استدلال کے چیک پوائنٹس پر ہوئی؛ README کی جاری ماڈل فہرست دو ایجنٹ چیک پوائنٹ بتاتی ہے۔ ہر عوامی چیک پوائنٹ میں بنیادی ماڈل اور HybridLink کے ویٹس ہیں۔ ماڈل کارڈ کے مطابق صرف Transformers سے بنیادی ماڈل لوڈ کرنے پر صرف متن والا ماڈل ملتا ہے؛ لیٹنٹ جنریشن اور ٹول استعمال کے لیے منصوبے کا کوڈ چاہیے۔
README زیر نگرانی تربیت کے لیے 8 یا 16 GPU اور ایجنٹ سرچ ری انفورسمنٹ لرننگ لانچر کے لیے چار نوڈ پر 32 GPU تجویز کرتی ہے۔ تنصیب کی ہدایات میں سرچ API کلید شامل ہے۔ دستاویزی تحقیقی پائپ لائن آزمانے والے کے لیے یہ اہم ضروریات ہیں۔ BIG CHANGE نے مقالہ، ریپوزٹری اور ماڈل کارڈ دیکھے ہیں؛ کوڈ نہیں چلایا، چیک پوائنٹس ڈاؤن لوڈ نہیں کیے یا بینچ مارک دوبارہ نہیں کیے۔
