نسخة Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench يختبر وكلاء الذكاء الاصطناعي عبر خطوات مترابطة في المعلوماتية الحيوية

> يتتبّع معيار يَعرض مؤلفوه نتائجه وكلاء الذكاء الاصطناعي في مهام مترابطة للمعلوماتية الحيوية. تنخفض الدرجات في الخطوات اللاحقة، بينما تحسّن التغذية الراجعة النتائج ضمن حدود معيّنة.

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

يطلب OmicsBench من وكيل ذكاء اصطناعي أن يُجري تحليلًا في المعلوماتية الحيوية عبر طلبات متتابعة يعتمد بعضها على بعض. وفي [مسودة بحثية أولية بتاريخ 15 أكتوبر](https://arxiv.org/html/2610.21074v1)، يفيد Gideon Shaked وSiddharth Nagisetty بأن دقة الوكلاء الذين قيّموهم تراجعت مع تقدم الجلسة وعندما اعتمدت خطوة على إجابات سابقة. وتطرح النتيجة أمام علماء الأحياء الحاسوبية سؤالًا أدق من قدرة الوكيل على حل مهمة منفردة: هل يستطيع إبقاء التحليل ملتزمًا بالبيانات والتعليمات طوال الدراسة؟

## التغيير الكبير

- **ما الذي تغيّر:** يقيّم OmicsBench سلسلة من خطوات التحليل المترابطة ضمن جلسة واحدة مستمرة للوكيل. ويكشف أخطاء قد تخفيها إجابة نهائية واحدة، مع أن الأدلة هنا تأتي من المسودة الأولية لمؤلفي المعيار أنفسهم.
- **لماذا يهم:** يستطيع فريق بحث يقيّم وكيلًا للتحليل متعدد الخطوات فحص مواضع انحراف نتائجه، بما في ذلك التزامه بمعايير الاختيار المحددة. وتسجل الورقة درجات أدنى في الخطوات المعتمدة على غيرها، لذا فإن الإجابة الجيدة عن طلب واحد دليل ضعيف على أداء سير العمل كاملًا.
- **ما الذي ينبغي متابعته:** يتيح برنامج التشغيل المتاح للعامة والمهام الثلاث المنشورة للباحثين فحص المنهج. وتبقى المهام الـ94 الأخرى خاصة؛ ومن شأن تقييمات مستقلة على أعمال محجوزة للاختبار، تتحقق من جودة التحليل بما يتجاوز مطابقة الإجابات، أن تقدم أدلة أقوى على الاستخدام العملي.

## كيف يتتبّع المعيار مسار دراسة

يحتوي OmicsBench على 97 مهمة مبنية من دراسات بيولوجية منشورة ومجموعات بياناتها، مقسّمة إلى 662 مهمة فرعية. وكل مهمة رسم بياني للخطوات: تعني الحافة أن إجابة لاحقة تعتمد على إجابة سابقة. ويبلغ وسيط عدد المهام الفرعية في المهمة سبعًا، ووسيط أطول سلسلة اعتماد ثلاث خطوات. وتصبح كل مهمة فرعية دورًا للمستخدم في جلسة مستمرة. ويمكن للوكيل استخدام البيانات وملفاته السابقة، لكنه ملزم بكتابة ملف إجابة محدد في كل دور. ويقول المؤلفان إن خبراء بشريين اختاروا الدراسات وراجعوا المهام الناتجة بعد أن أعدّ وكيل مسوداتها. [قسم المنهجية في الورقة](https://arxiv.org/html/2610.21074v1) يصف هذا البناء وإجراءات التقييم.

يختلف هذا التصميم عن تقييم قصير تنتهي فيه كل مسألة بعد إجابة واحدة. ويختلف أيضًا عن طلب على مستوى دراسة كاملة يقدّم للوكيل الهدف كله دفعة واحدة ولا يقيّم إلا ناتجه النهائي. هنا يتيح التسلسل ملاحظة ما إذا كانت نتيجة سابقة تُنقل بصورة صحيحة إلى التحليل اللاحق. ويطلب [مثال متاح للعامة](https://arxiv.org/html/2610.21074v1) من الوكيل تحديد بصمة لحالة خلايا الكلى، ثم استخدام تلك النتيجة في تحليل لاحق للمنظِّمات والبرامج البيولوجية. وتجعل هذه الروابط الاعتمادات ملموسة، من دون أن تثبت أن سير العمل الكامل ينتج اكتشافًا علميًا جديدًا سليمًا.

الدرجة متوسط حسابي. يقارن مُقيِّم حتمي واحد أو أكثر الحقول في كل ملف إجابة بمفتاح الإجابات؛ ويكون متوسطها درجة المهمة الفرعية، فيما تساوي درجة المهمة متوسط درجات مهامها الفرعية. وبنى المؤلفان 58 نوعًا من المُقيِّمات لمخرجات مثل مجموعات الجينات ونتائج الإثراء والقيم العددية. ويستعين بعضها بقواعد بيانات مرجعية لمطابقة المعرِّفات البيولوجية البديلة، فلا يلزم أن يفشل اسم مرادف صحيح لجين في مقارنة حرفية للسلاسل النصية. لذلك تقيس الدرجة التوافق مع إجابات المعيار وحدود التفاوت التي يحددها، ولا تمثل حكمًا خبيرًا شاملًا على التحليل أو تفسيره العلمي.

## النتائج تعتمد على التغذية الراجعة

اختبر المؤلفان 12 نموذجًا عبر ثلاث بيئات لتشغيل الوكلاء. وشُغّلت كل مهمة ثلاث مرات لكل وضع في حاوية معزولة عن الشبكة؛ ويبدأ المتوسط المعروض بحساب متوسط تلك التشغيلات على مستوى المهمة. في وضع *المحاولة الواحدة*، لا يحصل الوكيل على تغذية راجعة عن الإجابة قبل المهمة الفرعية التالية. وتراوحت متوسطات درجات المهام عبر توليفات النماذج وبيئات التشغيل من 0.43 إلى 0.57 على مقياس من صفر إلى واحد. وفي وضع *العتبة*، تُطلِق الدرجة الأقل من 0.7 إشعارًا بالفشل وتتيح محاولتين إضافيتين بحد أقصى. وتراوحت المتوسطات من 0.54 إلى 0.67. وسجلت أفضل توليفة معروضة، Opus 5 على OpenCode، درجة 0.57 من دون تغذية راجعة و0.67 معها. وهذه نتائج معيارية يوردها المؤلفان، وليست تشغيلًا أجراه BIG CHANGE أو إعادة اختبار مستقلة.

يحتاج التحسن مع إعادة المحاولة إلى تفسير حذر. فقد لاحظ المؤلفان أن الوكلاء يخمّنون عبر تجربة الخيارات في بعض المهام الفرعية ذات الخيارات المغلقة، لذا استبعدا 177 من هذه المهام من تحليلات الأدوار وإعادة المحاولة. ويقولان إن صورًا أخرى من استغلال التغذية الراجعة ممكنة، وإن حصة التحسن في وضع العتبة المنسوبة إلى هذا السلوك لم تُقَس. وتصف درجات هذا الوضع الأداء في ظل هذه الإشارة المحددة وهذا الحد للمحاولات. ولا ينبغي قراءتها بوصفها دليلًا على أن الوكيل صحّح التحليل الأساسي.

عبر التوليفات المختلفة، كانت درجات المهام الفرعية في الدور الثاني للمستخدم أقل بمقدار 0.06 إلى 0.12 من درجات الدور الأول في تحليل المحاولة الواحدة بالورقة. وسجلت المهام الفرعية التي تعتمد على إجابات سابقة درجات أدنى من المهام المستقلة. ومع إعادة المحاولة في وضع العتبة، لم يبلغ عتبة 0.7 خلال ثلاث محاولات سوى 22% إلى 34% من المهام الفرعية المدرجة في تحليل إعادة المحاولة، مقابل 15% إلى 24% في المحاولة الأولى. وتتناول هذه الأنماط سؤال المعيار الرئيسي بصورة أكثر مباشرة من ترتيب النماذج: ما زال الحفاظ على ترابط سلسلة العمل صعبًا في هذه الاختبارات.

## ما الذي يكشفه تحليل الإخفاقات

فحص المؤلفان المحاولات الأولى الفاشلة في عينة من 150 مهمة فرعية. ورصد تحليلهما الآلي حالات أعاد فيها الوكلاء نتائج أكثر من المطلوب، أو استبدلوا بقاعدة الاختيار المطلوبة قاعدة من عندهم، أو استخدموا إجراءً مختلفًا، أو أجابوا اعتمادًا على معرفة سابقة بدلًا من البيانات المُعَدّة لهم. وقد تبدو القائمة المُعادة معقولة لعالم أحياء حتى لو اختيرت باستخدام مرشح إحصائي خاطئ. وتجعل أمثلة الورقة فحص هذا الإخفاق أكثر فائدة من الاقتصار على درجة إجمالية واحدة.

هذه التصنيفات للإخفاقات استكشافية. فقد ولّد نموذج لغوي بصفته حَكَمًا الأوصاف والفئات؛ وفحص المؤلفان اتفاق التوسيم المتكرر، لكنهما لم يتحققا من صحة التصنيفات بمقارنتها بموسِّمين بشريين. كذلك لا تسمح التشغيلات المحدودة عبر بيئات مختلفة بعزل مقدار الفرق في الدرجة الذي يعود إلى النموذج عن المقدار الذي يعود إلى برمجيات الوكيل المحيطة به. وتشمل مجموعة المهام مجالات بيولوجية متعددة، لكن المؤلفين يقولان إن عدد المهام في كل مجال أقل من أن يسمح بمقارنات موثوقة بين النماذج داخله.

يمكن للباحثين فحص [المستودع الذي يربط إليه المؤلفان](https://huggingface.co/datasets/gideonshaked/OmicsBench)، والذي يحتوي على برنامج التشغيل وثلاثة ملفات مهام متاحة للعامة مع مفاتيح الإجابات. وتقول الورقة إن المهام الـ94 الأخرى محفوظة كمجموعة اختبار خاصة. ويتيح هذا الجزء العام فحص كيفية بناء OmicsBench؛ لكنه لا يستطيع بمفرده إعادة إنتاج ترتيب الورقة الكامل القائم على 97 مهمة. وتقيس المسودة الأولية الوكلاء مقابل إجابات تحليل محددة. وهي لا تثبت قدرتهم على إجراء اكتشافات علمية موثوقة، أو العمل بلا إشراف في مختبر بحثي، أو الحلول محل علماء الأحياء الحاسوبية.

## المصادر وقراءات إضافية

- [Shaked وNagisetty، «OmicsBench»، arXiv v1، 15 أكتوبر 2026](https://arxiv.org/html/2610.21074v1). تستند الأرقام ووصف نظام التقييم هنا إلى المنهجية والنتائج والقيود والملاحق. وهذه مسودة بحثية أولية يعرض مؤلفاها نتائجها.
- [مستودع OmicsBench العام](https://huggingface.co/datasets/gideonshaked/OmicsBench). يتضمن الإصدار الذي يربط إليه المؤلفان برنامج التشغيل وثلاثة ملفات مهام متاحة للعامة. ويشرح الملحق E في الورقة المجموعة المحجوزة للاختبار والتراخيص.

## Sources

- [Shaked وNagisetty: OmicsBench، arXiv v1](https://arxiv.org/html/2610.21074v1) — مسودة بحثية أولية يعرض مؤلفاها نتائجها. تشرح المنهجية والنتائج والقيود والملحق E معيار المهام الـ97 وإصداره العام المكوّن من ثلاث مهام؛ ولم يُشغِّله BIG CHANGE.
- [مستودع OmicsBench العام](https://huggingface.co/datasets/gideonshaked/OmicsBench) — تأكد وجود برنامج التشغيل وثلاثة ملفات أسئلة متاحة للعامة، يشير إليها المؤلفان، من القوائم المباشرة لشجرة المستودع. وتقول الورقة إن المهام الـ94 الأخرى تظل خاصة.