Sakana AI کے محققین نے ایسا نظام آزمایا جو review لکھنے سے پہلے سائنسی مقالے پڑھتا ہے۔ 8 اکتوبر کے preprintمیں چار تیار کردہ reviews ملا کر Multi-Layered Review نے مرکزی دعووں میں دانستہ شامل کردہ تضادات کے 73.43% شناخت کیے۔ یہ مصنوعی benchmark کی سب سے مرکزی قسم کا عدد ہے۔ حقیقی رپورٹ شدہ مسائل والے الگ واپس لیے گئے مقالوں کے مجموعے میں، سخت معیار پر reviews اور واپسی کے تبصروں کی عین مطابقت 16.11% تھی؛ نرم معیار پر ملتی جلتی تشویش اٹھانے کی شرح 26.07% رہی۔

بڑی تبدیلی

  • کیا بدلا: Sakana کی ٹیم نے AI reviews کو قابلِ شناخت، دانستہ شامل کردہ غلطیوں کے مقابل آزمایا، نہ کہ صرف یہ ناپا کہ تیار کردہ review انسانی review سے کتنا ملتا ہے۔ نمایاں 73.43% سب سے مرکزی تضادات اور ہر مقالے پر چار کوششوں تک محدود ہے۔
  • یہ کیوں اہم ہے: مبصرین اور مدیران کو ایسے اوزار درکار ہیں جو بنیادی غلطی کی نشاندہی کریں، صرف قابلِ یقین نثر نہ لکھیں۔ واپس لیے گئے مقالوں پر کم مطابقت دکھاتی ہے کہ کارکردگی غلطی کی قسم اور شناخت ناپنے کے طریقے پر منحصر ہے۔
  • کیا دیکھنا ہے: اگلا مفید ٹیسٹ دیکھے گا کہ نظام مختلف مضامین اور طویل مقالات میں قدرتی طور پر پیدا ہونے والے مسائل ڈھونڈ کر قابلِ جانچ ثبوت دے سکتے ہیں یا نہیں۔ preprint نے یہ بھی پایا کہ جمع شدہ متن میں چھپی ہدایات review کے اسکور پر اثر ڈال سکتی ہیں۔

تضاد کا ٹیسٹ کیسے ہوا

محققین نے ACL، AISTATS، CVPR اور ICML 2025، نیز NeurIPS 2024 کے 257 AI کانفرنس مقالوں سے آغاز کیا۔ Gemini 2.5 Pro سے دعوے اور معاون تفصیلات نقشہ بند کی گئیں۔ پھر GPT-4.1 نے مرکزی دعوے سے مختلف فاصلے پر متضاد اقتباسات بنائے۔ اصل اقتباسات بدل کر اور مقالے دوبارہ compile کرکے 1,164 تبدیل شدہ نسخے بنائے گئے، ہر ایک میں ایک شامل کردہ تضاد تھا۔ مطالعے کے ڈیزائن میں صفر فاصلہ مرکزی دعوے کا تضاد ہے؛ زیادہ فاصلہ زیادہ ضمنی تفصیل کو ظاہر کرتا ہے۔

Claude Sonnet 4 پر مبنی Sakana reviewer پہلے مقالے کا خاکہ بناتا، پھر ثبوت، مفروضے اور کمزوریاں پڑھتا اور آخر میں review لکھتا ہے۔ مکمل framework ضمیمے کا خلاصہ اور ادبی تلاش بھی شامل کر سکتا ہے۔ تضاد کے ٹیسٹ میں محققین نے صرف Review Agentاستعمال کیا، وہ دو اختیاری اجزا نہیں۔ o3 ماڈل نے ہر review کو اصل اور بدلے ہوئے اقتباسات سے ملا کر جانچا کہ مطلوبہ تضاد پکڑا گیا یا نہیں۔ یہ مرحلہ دس بار دہرایا اور اوسط بتایا گیا۔

73.43% کا عدد preprint کی جدول 14سے ہے: صفر فاصلے کا تضاد پکڑا ہوا شمار ہوتا اگر چار تیار کردہ reviews میں سے کوئی ایک اسے شناخت کرتی۔ 257 اصل مقالوں میں ہر ایک کے لیے ایک صفر فاصلے والا تبدیل شدہ نسخہ تھا۔ اس زمرے میں ایک MLR review کا اسکور 60.79% تھا۔ تمام 1,164 شامل کردہ تضادات میں چار reviews نے 40.95% اور ایک نے 28.32% حاصل کیے۔ مرکزی دعووں سے غلطیاں دور ہونے پر شرح گھٹی، اگرچہ سب سے دور گروہوں میں مثالیں کم تھیں۔

موازنہ ترتیبات کے ساتھ دیکھنا چاہیے۔ صفر فاصلے کی غلطیوں پر GPT-4.1 والا LLM-Review 14.56% پر تھا؛ Claude Sonnet 4 پر بدلنے اور متن کی حد بندی ہٹانے سے نتیجہ 35.40% ہوگیا۔ ایک MLR review 60.79% پر تھا۔ اس سے ماڈل کے انتخاب اور عمل دونوں کی اہمیت ظاہر ہوتی ہے؛ چار reviews کا 73.43% غلطی پکڑنے کے متعدد مواقع سے بھی فائدہ اٹھاتا ہے۔ بنیادی نظاموں نے مختلف ماڈل اور فارمیٹ استعمال کیے، اس لیے نمایاں عدد تین مرحلوں کے طریقے کی الگ پیمائش نہیں۔

حقیقی مقالوں کی جانچ زیادہ مشکل تھی

مصنفین نے WithdrarXiv-Checkبھی جانچا، جو واپس لیے گئے arXiv مقالوں کو واپسی کے تبصروں سے جوڑتا ہے۔ اصل 245 مقالوں کے ٹیسٹ مجموعے میں سے 30 صفحات تک کے 211 مقالے لیے گئے۔ o3 جج نے تیار کردہ review میں ایسی تشویش تلاش کی جو واپسی کی وجہ سے ملتی ہو۔ “عین” مطابقت پر MLR 16.11% پر تھا؛ ملتی جلتی تشویش کی اجازت پر 26.07%۔ اسی نرم ترتیب میں اگلا baseline، AgentReview، 18.48% پر تھا۔ یہ دستاویزی وجوہ سے مطابقت ہے، ہر مقالے کی ہر ممکن خامی کی پیمائش نہیں۔

دونوں مجموعوں کے تقابل کی حدود ہیں۔ مصنفین کہتے ہیں کہ بہت سے واپس لیے گئے مقالے ریاضی اور طبیعیات کے ہیں، جبکہ نظام بنیادی طور پر AI کانفرنس جمع کرانے کے لیے بنائے گئے۔ ضمیمہ صفحات بڑھنے کے ساتھ شناخت گھٹنے کی اطلاع دیتا ہے۔ مصنوعی benchmark کا ایک فائدہ بھی ہے: 50 شامل کردہ تضادات کے دستی audit میں انسانی مبصرین نے 34% کو اردگرد کی عبارت کا قدرتی بہاؤ توڑنے والا سمجھا۔ اس لیے کچھ مصنوعی تبدیلیاں تحقیق یا تحریر کے دوران پیدا ہونے والی غلطیوں سے آسانی سے نظر آ سکتی ہیں۔

preprint دانستہ چھیڑ چھاڑ بھی آزماتا ہے۔ محققین نے 50 مسترد شدہ مقالوں کے اختتام کے بعد نہایت چھوٹے سفید حروف میں ہدایات چھپائیں۔ مقالے کے مطابق تمام آزمودہ review نظام متاثر ہوئے؛ MLR نے آٹھ صورتوں میں انہیں واضح طور پر دیکھا۔ اپنے review اسکور میں اوسط تبدیلی کم تھی، مگر انفرادی تبدیلیاں بہت مختلف تھیں۔ یہ الگ تنبیہ ہے کہ جمع شدہ مسودے کے متن کو قابلِ اعتماد ہدایت نہ سمجھا جائے۔

یہ کام زیادہ ٹھوس طریقہ دیتا ہے کہ پوچھا جائے آیا AI reviewer معلوم غلطی پکڑتا ہے۔ یہ قابلِ اعتماد خودکار peer review ثابت نہیں کرتا۔ نتائج نظام کے بنانے والوں نے preprint میں رپورٹ کیے؛ BIG CHANGE نے کوڈ نہیں چلایا اور جائزوں کو آزادانہ طور پر نہیں دہرایا۔

ذرائع اور مزید مطالعہ