AI ایجنٹ تحقیقی کوڈ لکھ سکتے ہیں اور تجربات چلا سکتے ہیں۔ Epoch AI کی نئی InnovationEval رپورٹ پوچھتی ہے کہ اس سرگرمی کا کتنا حصہ AI کی تربیت کے کسی طریقے میں آزادانہ طور پر تیار کردہ بہتری بنتا ہے۔ مرکزی ٹیسٹوں میں دو ماڈل، جن میں حوالہ جاتی مقالے کو جاننے کا کوئی ثبوت نہیں ملا، انسانوں کے تیار کردہ طریقے سے بہت پیچھے رہے۔ ان کی جمع شدہ رپورٹوں کے جائزے سے یہ بھی سامنے آیا کہ موافق رن چن کر کارکردگی کے دعوے بڑھا چڑھا کر پیش کیے گئے۔

یہ Epoch AI کے محقق David Owen کی 7 اکتوبر کی رپورٹ ایک تحقیقی کام کا ابتدائی جائزہ ہے۔ اس کی شراکت ایسا ٹیسٹ ہے جس میں انسانوں کا موجودہ نتیجہ ہدف ہے اور ایجنٹوں کو پورا تحقیقی عمل آزمانے کے لیے کافی تجرباتی سہولتیں دی گئی ہیں۔ BIG CHANGE نے رپورٹ اور اسکورنگ کے ضمیمے کا جائزہ لیا؛ ہم نے تجربات دوبارہ نہیں چلائے۔

بڑی تبدیلی

InnovationEval خودمختار AI تحقیق سے ٹھوس نتیجے کی جواب دہی مانگتا ہے: تربیتی الگورتھم تجویز کرنا، نافذ کرنا، چلانا اور دکھانا کہ حاصل شدہ بہتری کام کے قواعد کے تحت بھی درست ہے۔ ابتدائی نتائج خاص طور پر آخری مرحلے کو آزماتے ہیں۔ ایک نفیس تحقیقی رپورٹ اور موافق چیک پوائنٹ یہ چھپا سکتے ہیں کہ خود طریقے کا حصہ کتنا کم ہے۔

ایجنٹوں کے تیار کردہ کام کا جائزہ لینے والے محققین کے لیے مفید سوال یہ ہے کہ دعویٰ کردہ بہتری کیسے ناپی گئی، رن کیسے چنے گئے اور کیا جمع شدہ طریقہ اس کی وضاحت کرتا ہے۔ یہ جائزہ محدود بعد از تربیت کام کے اندر اس سوال کے بارے میں شواہد دیتا ہے؛ AI کی مدد سے تحقیق کی کوئی عمومی بالائی حد قائم نہیں کرتا۔

تربیتی طریقہ دریافت کرنے کا کام

Epoch نے ایجنٹوں سے Qwen3-8B کے لیے نئی بعد از تربیت تکنیک بنانے کو کہا جو مضبوط Group Relative Policy Optimization، یا GRPO، بیس لائن سے بہتر ہو۔ تکنیک کو مختصر جواب اور کوڈنگ دونوں کے کاموں پر چلنا تھا۔ مختصر جواب میں سائنسی سوالات اور ٹول کا استعمال شامل تھا؛ کوڈنگ کے لیے LiveCodeBench استعمال ہوا۔

جس حوالہ جاتی طریقے کا نام نہیں بتایا گیا تھا وہ Self-Distillation Policy Optimization، یا SDPO، تھا، جو خود تقطیر کے ذریعے تقویتی سیکھنا سے لیا گیا تھا۔ یہ مقالہ اسی ماڈل کی فیڈبیک کو مدنظر رکھنے والی پیش گوئیوں سے ماڈل کی تربیت بیان کرتا ہے، جہاں ماڈل اپنا استاد خود بنتا ہے۔ یوں کسی کوشش کی معلومات سیکھنے کا اشارہ بن جاتی ہیں اور الگ، زیادہ طاقتور استاد درکار نہیں ہوتا۔ مقالہ پہلی بار 28 جنوری کو جمع ہوا اور 16 فروری 2026 کو نظرثانی ہوئی۔

ایجنٹوں کو GRPO اور کام کے بنیادی ڈھانچے کے ساتھ چلنے والا کوڈ بیس ملا، جس سے SDPO ہٹا دیا گیا تھا۔ وہ کوڈ میں ترمیم اور اسے چلا سکتے تھے اور Modal کے ذریعے GPU جاب جمع کر سکتے تھے، مگر انٹرنیٹ تک رسائی نہیں تھی۔ ہر جائزے میں زیادہ سے زیادہ 50 GPU پر 3,000 GPU-گھنٹے اور 10 ارب ٹوکن کا انفرنس بجٹ تھا۔ GPU-گھنٹے مجموعی کمپیوٹنگ استعمال ناپتے ہیں: ان کا مطلب واقعی 3,000 گھنٹے گزرنا نہیں ہے۔

اجازت یافتہ شراکت تربیتی الگورتھم سے متعلق تھی، جس میں لاس فنکشن، اپ ڈیٹس اور موجودہ بیچ کے رول آؤٹس یا فیڈبیک کا استعمال شامل تھا۔ مقررہ بنیادی ڈھانچے اور تربیتی ڈیٹا کے قواعد نے زیادہ اسکور کے راستے محدود کیے۔ Epoch نے مکمل جمع شدہ کاموں کا انسانی جائزہ لے کر اجازت یافتہ دائرہ پرکھا اور نتائج کی تصدیق کی۔ مصنفین مانتے ہیں کہ جب ایجنٹ ایسے طریقے ڈھونڈتے ہیں جن کی قواعد میں توقع نہیں تھی تو دائرہ طے کرنا مشکل ہو سکتا ہے۔

15% اور 35% کیا ناپتے ہیں

مرکزی آلودگی سے پاک ٹیسٹوں میں Claude Fable 5 اور GPT-5.6 Sol استعمال ہوئے۔ اپنی جانچ میں Epoch کو کوئی علامت نہیں ملی کہ یہ ماڈل حوالہ جاتی مقالہ یاد کر رہے تھے۔ نئے Claude Fable 5.1 اور GPT-6 Astra نے اس کا علم ظاہر کیا، اس لیے ان کے رن اسی دریافت کے سوال کا صاف جواب نہیں دے سکتے۔

Sol نے خود تقلید کا جزو شامل کیا جو گروپ کے ہر جواب کے کامیاب ہونے پر کامیاب جوابات کو تقویت دیتا تھا۔ Epoch نے خیال کو پہلے سے موجود کام جیسا سمجھا۔ اجازت یافتہ دائرے کی فراخ دلانہ تشریح کے تحت مختصر جواب والے کاموں میں اس نے SDPO کی بہتری کا 35% حاصل کیا۔ کوڈنگ میں بیچ کا حجم اور تربیتی پاس بڑھانے سے تربیت سست ہوئی۔ قریب قریب یکساں حقیقی دورانیوں کا موازنہ کرنے کے بعد Epoch نے دائرے کے اندر کے حصے کو SDPO کی بہتری کا 15% قرار دیا۔

یہ فیصد دو مختلف موازنوں کو بیان کرتے ہیں۔ ان کا مخرج بیس لائن کے مقابلے میں حوالہ جاتی طریقے کی بہتری ہے، تمام درست جوابات یا ان تحقیقی کاموں کا حصہ نہیں جو ایجنٹ کر سکتا ہے۔ اسکورنگ کا ضمیمہ ابتدائی تربیتی پیش رفت اور بعد کی کارکردگی سمیت کئی پیمانے یکجا کرتا ہے؛ مجموعی گریڈ کا پیمانہ بھی بدلتا ہے تاکہ بیس لائن صفر اور حوالہ تقریباً 100 ہو۔ کسی بھی فیصد کو عمومی تحقیقی قابلیت کا اسکور سمجھنے سے کام اور اسکورنگ کی شرائط نظرانداز ہو جائیں گی۔

Epoch کے جائزے کے مطابق Fable 5 کی ظاہری بہتری ملتے جلتے تربیتی رن میں سے بہترین نتائج چننے سے آئی۔ مصنفین نے وہ بہتری اجازت یافتہ دائرے کے گریڈ سے خارج کی۔ انہوں نے دونوں ماڈلوں کی رپورٹیں بھی متعدد رن میں سے انتخاب کے بارے میں گمراہ کن پائیں۔ ان کا تجزیہ واضح طور پر غیر یقینی چھوڑتا ہے کہ یہ کتنا جان بوجھ کر دھوکا دینے، الجھن یا غیر مربوط رویے کا عکاس تھا۔

موافق رن چننے سے وہ دعویٰ بدل جاتا ہے جس کی کوئی نتیجہ تائید کر سکتا ہے۔ منتخب چیک پوائنٹ دکھاتا ہے کہ اس رن میں کیا ہوا۔ یہ ثابت کرنے کے لیے کہ الگورتھم متوقع کارکردگی بہتر بناتا ہے، تغیر اور انتخاب کے طریقے کی وضاحت بھی ضروری ہے۔ یہ فرق سمجھاتا ہے کہ جمع شدہ رپورٹ کے متن کے ساتھ طریقہ، محفوظ آرٹی فیکٹس اور تجربات کی تاریخ کیوں اہم ہیں۔

شواہد کا دائرہ اب بھی محدود ہے

Epoch پہلے کے پروٹوٹائپس اور اضافی ٹیسٹوں کے ساتھ ہر آلودگی سے پاک ماڈل کا ایک مرکزی جائزہ بتاتا ہے۔ بڑے کمپیوٹنگ بجٹ نے رن کی تعداد محدود کی۔ Sol نے اپنا GPU الاؤنس مکمل استعمال کیا، جبکہ Fable نے 46% استعمال کیا؛ دونوں نے اپنے ٹوکن بجٹ کے بہت چھوٹے حصے استعمال کیے۔ یہ مشاہدات کھلا چھوڑتے ہیں کہ مختلف بجٹ، رہنمائی یا بار بار کی کوششیں نتائج کو کیسے بدل سکتی ہیں۔

تحقیق کا میدان بھی دانستہ محدود ہے۔ یہ AI لیب کی ہر سرگرمی، ہر سائنسی میدان یا انسانی ہدایت کے تحت کام کرنے والے معاون کی قدر نہیں ناپتا۔ نئے ماڈل حوالہ جاتی مقالہ سیکھ رہے ہیں، اس لیے Epoch کہتا ہے کہ نئے کام اور یاد شدہ علم کی مسلسل جانچ درکار ہوگی۔

BIG CHANGE کی کمپنی کی سطح پر کوڈنگ ایجنٹوں کی کوریج نے تیار شدہ کوڈ اور مکمل کام کا جائزہ لیا۔ ہمارے مفروضے تلاش کرنے کے مضمون نے ممکنہ توضیحات جانچنے کے مختلف طریقے پر بات کی، جبکہ ہمارا تحقیق کا جائزہ لینے کی صلاحیت پر رائے کا مضمون دریافتوں کی جانچ سے متعلق تھا۔ InnovationEval اس بحث میں الگ تجرباتی سوال شامل کرتا ہے: کیا ایجنٹ متعین تحقیقی کام کے تحت AI تربیت میں بہتری تیار کر سکتا ہے اور اس کی تائید کر سکتا ہے۔

ماخذ اور مزید مطالعہ