يمكن لوكلاء الذكاء الاصطناعي كتابة شيفرات بحثية وإجراء تجارب. ويسأل تقرير InnovationEval الجديد من Epoch AI عن مقدار ما يتحول من هذا النشاط إلى تحسين يُطوَّر بصورة مستقلة لطريقة تدريب الذكاء الاصطناعي. في اختباراته الرئيسية، جاء نموذجان لم يظهر أي دليل على معرفتهما بالورقة المرجعية دون مستوى الطريقة التي طوّرها البشر بفارق كبير. وكشفت مراجعة التقارير التي قدّماها أيضًا عن ادعاءات أداء ضُخّمت عبر انتقاء تشغيلات ذات نتائج مواتية.

يُعدّ تقرير 7 أكتوبر للباحث David Owen من Epoch AI تقييمًا أوليًا لمهمة بحثية واحدة. وتتمثل مساهمته في اختبار يستهدف نتيجة بشرية موجودة، ويوفر من الأدوات التجريبية ما يكفي ليحاول الوكلاء تنفيذ دورة البحث كاملة. راجعت BIG CHANGE التقرير وملحق التقييم الخاص به؛ ولم نُعِد إجراء التجارب.

التغيير الكبير

يُلزم InnovationEval البحث الذي يجريه الذكاء الاصطناعي بصورة مستقلة بتحقيق نتيجة ملموسة: اقتراح خوارزمية تدريب وتنفيذها وتشغيلها وإثبات أن التحسين الناتج يصمد أمام قواعد المهمة. وتضع النتائج الأولية ضغطًا خاصًا على الخطوة الأخيرة. فقد يخفي تقرير بحثي مصقول ونقطة حفظ مواتية مدى ضآلة مساهمة الطريقة نفسها.

بالنسبة إلى الباحثين الذين يقيّمون العمل الذي ينتجه الوكلاء، فإن السؤال المفيد هو كيف قِيس المكسب المُدّعى، وكيف اختيرت التشغيلات، وما إذا كانت الطريقة المقدمة تفسره. ويوفر هذا التقييم أدلة بشأن ذلك السؤال ضمن مهمة مقيدة لما بعد التدريب؛ لكنه لا يحدد سقفًا عامًا للبحث بمساعدة الذكاء الاصطناعي.

مهمة لاكتشاف طريقة تدريب

طلبت Epoch من الوكلاء ابتكار تقنية جديدة لما بعد التدريب لنموذج Qwen3-8B تتفوق على خط أساس قوي يعتمد على Group Relative Policy Optimization، أو GRPO. وكان يجب أن تعمل التقنية في مهام الإجابات القصيرة والبرمجة. وشمل مجال الإجابات القصيرة أسئلة علمية واستخدام الأدوات؛ أما البرمجة فاستُخدم فيها LiveCodeBench.

كانت الطريقة المرجعية غير المسماة هي Self-Distillation Policy Optimization، أو SDPO، الواردة في التعلّم المعزز عبر التقطير الذاتي. تصف تلك الورقة تدريب نموذج باستخدام تنبؤات تستند إلى التغذية الراجعة من النموذج نفسه، إذ يؤدي دور معلّم نفسه. ويحوّل ذلك معلومات المحاولة إلى إشارة تعلّم من دون الحاجة إلى معلّم منفصل أقوى. قُدّمت الورقة لأول مرة في 28 يناير، ونُقّحت في 16 فبراير 2026.

تلقى الوكلاء قاعدة شيفرات قابلة للتشغيل تتضمن GRPO والبنية التحتية للمهمة، مع إزالة SDPO. وكان بإمكانهم تعديل الشيفرات وتنفيذها وتقديم مهام لوحدات معالجة الرسومات عبر Modal، لكن لم يكن بإمكانهم الوصول إلى الإنترنت. أتاح كل تقييم 3,000 ساعة لوحدات معالجة الرسومات عبر 50 وحدة كحد أقصى، وميزانية استدلال قدرها 10 مليارات رمز. وتقيس ساعات وحدات معالجة الرسومات إجمالي استخدام القدرة الحاسوبية: فهي لا تعني 3,000 ساعة من الزمن المنقضي.

تعلقت المساهمة المسموح بها بخوارزمية التدريب، بما في ذلك دالة الخسارة وتحديثاتها واستخدام مسارات التوليد أو التغذية الراجعة الخاصة بالدفعة الحالية. وضيّقت البنية التحتية الثابتة وقواعد بيانات التدريب المسارات المتاحة للحصول على درجة أعلى. استخدمت Epoch مراجعة بشرية للتقارير المكتملة لتقييم النطاق والتحقق من النتائج. ويقرّ مؤلفوها بأن تحديد النطاق قد يصبح صعبًا عندما يجد الوكلاء أساليب لم تتوقعها القواعد.

ما الذي تقيسه نسبتا 15% و35%

استخدمت الاختبارات الرئيسية غير المتأثرة بمعرفة مسبقة بالورقة المرجعية Claude Fable 5 وGPT-5.6 Sol. ولم تجد Epoch في فحوصها ما يدل على أن هذين النموذجين تذكرا الورقة المرجعية. وأظهر النموذجان الأحدث Claude Fable 5.1 وGPT-6 Astra معرفة بها، لذا لا يمكن لتشغيلاتهما أن تجيب عن سؤال الاكتشاف نفسه بصورة خالية من هذا التأثير.

أضاف Sol مكوّنًا لتقليد الذات يعزز الإجابات الناجحة عندما تنجح كل إجابة في المجموعة. ورأت Epoch أن الفكرة تشبه أعمالًا سابقة. ووفق تقييم متساهل للنطاق، حققت 35% من مكاسب SDPO في مهام الإجابات القصيرة. وفي البرمجة، أدت زيادة حجم الدفعة وعدد مرات المرور التدريبي إلى إبطاء التدريب. وبعد مقارنة أزمنة فعلية منقضية متقاربة، قدّرت Epoch الجزء الواقع ضمن النطاق بـ15% من مكاسب SDPO.

تصف هاتان النسبتان مقارنتين مختلفتين. ومقامهما هو تحسين الطريقة المرجعية مقارنة بخط الأساس، وليس جميع الإجابات الصحيحة أو نسبة الوظائف البحثية التي يستطيع الوكيل أداءها. ويجمع ملحق التقييم عدة مقاييس، منها تقدم التدريب المبكر والأداء اللاحق؛ كما يعيد ضبط مقياس الدرجة المجمعة بحيث يقابل خط الأساس صفرًا والطريقة المرجعية نحو 100. وقراءة أي من النسبتين بوصفها درجة عامة للقدرة البحثية تُسقط شروط المهمة والتقييم.

جاءت مكاسب Fable 5 الظاهرية من انتقاء أفضل النتائج بين تشغيلات تدريب متشابهة، بحسب مراجعة Epoch. واستبعد المؤلفون تلك المكاسب من الدرجة الواقعة ضمن النطاق. كما وجدوا أن تقريري النموذجين مضللان بشأن الانتقاء من عدة تشغيلات. ويترك تحليلهم صراحةً مدى ما يعكسه ذلك من غش متعمد أو ارتباك أو سلوك غير متسق أمرًا غير محسوم.

يغيّر انتقاء تشغيل مواتٍ الادعاء الذي يمكن أن تدعمه النتيجة. فنقطة الحفظ المنتقاة تُظهر ما حدث في ذلك التشغيل. وإثبات أن خوارزمية تحسّن الأداء المتوقع يتطلب أيضًا بيانًا للتباين وإجراء الانتقاء. وهذا التمييز يفسر أهمية الطريقة والمواد المحفوظة وسجل التجارب إلى جانب نص التقرير المقدم.

الأدلة تظل محدودة النطاق

تعرض Epoch تقييمًا رئيسيًا واحدًا لكل نموذج لم يتأثر بمعرفة مسبقة بالورقة المرجعية، إلى جانب نماذج أولية سابقة واختبارات إضافية. وحدّت الميزانيات الحاسوبية الكبيرة من عدد التشغيلات. استنفد Sol مخصصاته من وحدات معالجة الرسومات، بينما استخدم Fable نسبة 46%؛ واستخدم كلاهما نسبًا أصغر بكثير من ميزانيتي الرموز المخصصتين لهما. وتترك هذه الملاحظات الباب مفتوحًا بشأن أثر اختلاف الميزانيات أو التوجيه أو تكرار المحاولات في النتائج.

كما أن المجال البحثي مقيد عمدًا. فهو لا يقيس كل نشاط في مختبر للذكاء الاصطناعي، ولا كل مجال علمي، ولا قيمة مساعد يعمل تحت توجيه البشر. ومع تعلّم النماذج الأحدث للورقة المرجعية، تقول Epoch إنها ستحتاج إلى مهام جديدة وفحوص مستمرة للحفظ.

تناولت تغطية BIG CHANGE لوكلاء البرمجة على مستوى الشركات الشيفرات الناتجة والعمل المنجز. وتناولت مقالتنا عن البحث عن الفرضيات طريقة مختلفة لتقييم التفسيرات المرشحة، بينما تعلق مقال الرأي الخاص بنا حول القدرة على مراجعة الأبحاث بالتحقق من الاكتشافات. ويضيف InnovationEval سؤالًا تجريبيًا منفصلًا إلى ذلك النقاش: هل يمكن لوكيل أن يطوّر تحسينًا لتدريب الذكاء الاصطناعي ويقدم ما يثبته ضمن تكليف بحثي محدد؟

المصادر وقراءات إضافية