اختبر باحثو Sakana AI نظاماً يقرأ الأوراق العلمية قبل صياغة مراجعة. وفي بحث أولي بتاريخ 8 أكتوبر، رصد نظام Multi-Layered Review نسبة 73.43% من التناقضات التي أُدرجت عمداً في الادعاءات الرئيسية عند جمع أربع مراجعات مولدة. يصف هذا الرقم الفئة الأكثر مركزية في معيار اصطناعي. وفي مجموعة منفصلة من أوراق مسحوبة تضمنت مشكلات حقيقية مُبلغاً عنها، تطابقت المراجعات بدقة مع تعليقات السحب في 16.11% من الحالات وفق اختبار صارم، أو أثارت مخاوف مشابهة في 26.07% وفق اختبار أوسع.

التغيير الأبرز

  • ما الذي تغير: اختبر فريق Sakana مراجعات الذكاء الاصطناعي بأخطاء واضحة أُدرجت عمداً، بدلاً من الاكتفاء بقياس مدى شبه المراجعة المولدة بمراجعة بشرية. وتشمل نسبة 73.43% الأشد بروزاً التناقضات المزروعة الأكثر مركزية وأربع محاولات لكل ورقة.
  • لماذا يهم ذلك: يحتاج المراجعون والمحررون إلى أدوات تشير إلى أخطاء جوهرية، لا إلى نثر مقنع فحسب. ويبين انخفاض التطابق كثيراً في الأوراق المسحوبة مدى اعتماد الأداء على نوع الخطأ وطريقة قياس اكتشافه.
  • ما الذي ينبغي متابعته: قد يختبر العمل التالي قدرة الأنظمة على العثور على مشكلات نشأت طبيعياً عبر تخصصات وأوراق أطول، مع تقديم أدلة يستطيع المراجعون التحقق منها. ووجد البحث الأولي أيضاً أن التعليمات المخفية في النص المقدم قد تؤثر في درجات المراجعة.

كيف أُجري اختبار التناقض

بدأ الباحثون بـ257 ورقة لمؤتمرات ذكاء اصطناعي من ACL وAISTATS وCVPR وICML 2025، إضافة إلى NeurIPS 2024. واستخدموا Gemini 2.5 Pro لرسم خريطة الادعاءات والتفاصيل الداعمة. ثم أنشأ GPT-4.1 مقاطع متناقضة على مسافات مختلفة من ادعاء رئيسي في تلك الخريطة. وبعد استبدال المقاطع الأصلية وإعادة تجميع الأوراق، نتجت 1,164 نسخة معدلة، تضم كل منها تناقضاً مزروعاً واحداً. ووفق تصميم الدراسة، تعني المسافة صفر تناقضاً في ادعاء رئيسي؛ أما المسافات الأكبر فتتناول تفاصيل أقل مركزية.

يبدأ مراجع Sakana، المبني حول Claude Sonnet 4، بتلخيص الورقة، ثم يفحص الأدلة والافتراضات ونقاط الضعف، وأخيراً يصوغ المراجعة. ويمكن للإطار الكامل إضافة ملخص ملحق وبحثاً في الأدبيات. وفي اختبار التناقض استخدم الباحثون Review Agent فقط, من دون المكونين الاختياريين. وقارن نموذج o3 كل مراجعة بالمقاطع الأصلية والمعدلة للحكم على رصد التناقض المقصود. وكرر الباحثون خطوة التحكيم عشر مرات وأبلغوا عن المتوسط.

تأتي نسبة 73.43% من الجدول 14 في البحث الأولي: عُدّ تناقض المسافة صفر مكشوفاً إذا رصدته أي مراجعة من المراجعات الأربع المولدة . ويتضمن المعيار نسخة معدلة واحدة عند المسافة صفر لكل ورقة من الأوراق الأصلية الـ257. وسجلت مراجعة MLR واحدة 60.79% في هذه الفئة. ومن بين التناقضات المزروعة الـ1,164 كلها، سجلت أربع مراجعات 40.95% وواحدة 28.32%. وانخفض المعدل كلما ابتعدت الأخطاء عن الادعاءات الرئيسية، مع قلة الأمثلة في الفئات الأبعد.

ينبغي قراءة المقارنة مع إعداداتها. ففي أخطاء المسافة صفر، سجل LLM-Review باستخدام GPT-4.1 نسبة 14.56%؛ وارتفعت إلى 35.40% عند استبداله بـClaude Sonnet 4 وإزالة اقتطاع النص. وسجلت مراجعة MLR واحدة 60.79%. يشير ذلك إلى أثر اختيار النموذج وإجراء المراجعة؛ كما تستفيد نسبة 73.43% لأربع مراجعات من تعدد فرص رصد الخطأ. واستخدمت الأنظمة المرجعية نماذج وصيغاً مختلفة، لذا فالرقم البارز لا يقيس منفرداً الإجراء ذي المراحل الثلاث.

كان الاختبار على الأوراق الحقيقية أصعب

قيّم المؤلفون أيضاً WithdrarXiv-Check، وهي مجموعة بيانات لأوراق arXiv مسحوبة مقترنة بتعليقات السحب. واستخدموا 211 ورقة لا تتجاوز 30 صفحة من مجموعة اختبار أصلية تضم 245 ورقة. بحث محكّم o3 عن مخاوف في المراجعة المولدة تطابق سبب السحب. وحقق MLR نسبة 16.11% عند المطابقة «الدقيقة»، و26.07% عند قبول مخاوف مشابهة. وسجل المرجع التالي في الإعداد المشابه، AgentReview، 18.48%. هذه مطابقات لأسباب سحب موثقة، وليست قياساً لكل عيب محتمل في كل ورقة.

للمقارنة بين مجموعتي البيانات حدود. يقول المؤلفون إن كثيراً من الأوراق المسحوبة في الرياضيات والفيزياء، بينما صُممت الأنظمة أساساً لمشاركات مؤتمرات الذكاء الاصطناعي. ويذكر الملحق انخفاض الاكتشاف مع زيادة عدد الصفحات. وللمعيار الاصطناعي ميزة أيضاً: ففي مراجعة بشرية لـ50 تناقضاً مزروعاً، رأى المقيمون أن 34% قطعت التدفق الطبيعي للنص المحيط. لذلك قد يسهل رصد بعض التعديلات الاصطناعية أكثر من الأخطاء التي نشأت أثناء البحث أو الكتابة.

يختبر البحث الأولي أيضاً التلاعب المتعمد. أخفى الباحثون تعليمات بأحرف بيضاء صغيرة جداً بعد الخاتمة في 50 ورقة مرفوضة. وذكر البحث أن جميع أنظمة المراجعة المختبرة تأثرت بها؛ ولاحظها MLR صراحة في ثماني حالات. كان متوسط تغير درجة مراجعته صغيراً، لكن التغيرات الفردية تفاوتت كثيراً. وهذا تحذير منفصل من التعامل مع نص المخطوط المقدم باعتباره تعليمات موثوقة.

يقدم العمل طريقة أكثر تحديداً للسؤال عما إذا كان مراجع الذكاء الاصطناعي يكتشف خطأ معروفاً. لكنه لا يثبت موثوقية مراجعة الأقران المؤتمتة. أبلغ منشئو النظام عن النتائج في بحث أولي؛ ولم تشغّل BIG CHANGE الشيفرة أو تكرر التقييمات بشكل مستقل.

المصادر وقراءات إضافية