AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench باہم منحصر بایوانفارمیٹکس مراحل میں AI ایجنٹس کو آزماتا ہے

> مصنفین کا پیش کردہ ایک بینچ مارک باہم منحصر بایوانفارمیٹکس کاموں میں AI ایجنٹس کا جائزہ لیتا ہے۔ بعد کے مراحل میں اسکور گرتے ہیں، جبکہ مخصوص حدود کے تحت فیڈبیک نتائج بہتر بناتا ہے۔

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

OmicsBench ایک AI ایجنٹ سے کہتا ہے کہ مسلسل اور باہم منحصر درخواستوں کے دوران بایوانفارمیٹکس تجزیہ آگے بڑھائے۔ [15 اکتوبر کے ایک پری پرنٹ](https://arxiv.org/html/2610.21074v1) میں Gideon Shaked اور Siddharth Nagisetty بتاتے ہیں کہ ان کے جانچے گئے ایجنٹس کی درستگی سیشن آگے بڑھنے کے ساتھ اور اس وقت کم ہوئی جب کوئی مرحلہ پچھلے جواب پر منحصر تھا۔ یہ نتیجہ کمپیوٹیشنل ماہرین حیاتیات کے سامنے اس سے زیادہ واضح سوال رکھتا ہے کہ آیا ایجنٹ ایک الگ تھلگ کام حل کر سکتا ہے: کیا وہ پوری تحقیق کے دوران تجزیے کو ڈیٹا اور ہدایات کے مطابق رکھ سکتا ہے؟

## بڑی تبدیلی

- **کیا بدلا:** OmicsBench ایجنٹ کے ایک ہی مسلسل سیشن میں باہم منحصر تجزیاتی مراحل کی ترتیب کو اسکور دیتا ہے۔ اس سے وہ غلطیاں سامنے آتی ہیں جو ایک حتمی جواب میں چھپ سکتی ہیں، البتہ یہاں شواہد بینچ مارک کے مصنفین کے اپنے پری پرنٹ سے آتے ہیں۔
- **یہ کیوں اہم ہے:** کئی مرحلوں کے تجزیے کے لیے ایجنٹ کو جانچنے والی تحقیقی ٹیم دیکھ سکتی ہے کہ نتائج کہاں بھٹکتے ہیں، اس سمیت کہ آیا وہ طے شدہ انتخابی معیار کی پابندی کرتا ہے۔ مقالہ منحصر مراحل میں کم اسکور بتاتا ہے، اس لیے ایک پرامپٹ کا اچھا جواب پورے ورک فلو کے لیے کمزور ثبوت ہے۔
- **کس پر نظر رہے:** عوامی رنر اور جاری کیے گئے تین کام محققین کو طریقہ جانچنے دیتے ہیں۔ باقی 94 کام نجی ہیں؛ الگ رکھے گئے کام پر آزادانہ جائزے، جن میں جوابات کی مطابقت سے بڑھ کر تجزیے کا معیار بھی پرکھا جائے، عملی استعمال کے بارے میں مضبوط تر شواہد دیں گے۔

## بینچ مارک تحقیق کے مراحل کا پیچھا کیسے کرتا ہے

OmicsBench میں شائع شدہ حیاتیاتی مطالعات اور ان کے ڈیٹا سیٹس سے بنائے گئے 97 کام ہیں، جو 662 ذیلی کاموں میں تقسیم ہیں۔ ہر کام مراحل کا ایک گراف ہے: ایک کنارہ ظاہر کرتا ہے کہ بعد کا جواب پہلے والے پر منحصر ہے۔ فی کام ذیلی کاموں کی میڈین تعداد سات اور سب سے طویل انحصاری زنجیر کی میڈین لمبائی تین مراحل ہے۔ ہر ذیلی کام مسلسل سیشن میں صارف کی ایک باری بنتا ہے۔ ایجنٹ ڈیٹا اور اپنی پچھلی فائلیں استعمال کر سکتا ہے، لیکن ہر باری میں اسے مقررہ جواب فائل لکھنی ہوتی ہے۔ مصنفین کہتے ہیں کہ انسانی ماہرین نے مطالعات منتخب کیے اور ایجنٹ کے کاموں کے مسودے بنانے کے بعد ان کاموں کا جائزہ لیا۔ [مقالے کا طریقۂ کار والا حصہ](https://arxiv.org/html/2610.21074v1) اس تشکیل اور جائزے کے طریقے کی وضاحت کرتا ہے۔

یہ ڈیزائن اس مختصر جانچ سے مختلف ہے جس میں ہر سوال ایک جواب کے بعد ختم ہو جاتا ہے۔ یہ تحقیق کے پیمانے کے اس پرامپٹ سے بھی مختلف ہے جو ایجنٹ کو ایک ساتھ مکمل مقصد دیتا اور صرف آخری نتیجے کو اسکور دیتا ہے۔ یہاں ترتیب سے معلوم کیا جا سکتا ہے کہ پہلے نتیجے کو بعد کے تجزیے میں درست طور پر استعمال کیا گیا یا نہیں۔ ایک [عوامی مثال](https://arxiv.org/html/2610.21074v1) ایجنٹ سے گردے کے خلیوں کی حالت کے سگنیچر کی شناخت اور پھر اسی نتیجے سے ریگولیٹرز اور حیاتیاتی پروگراموں کا مزید تجزیہ کرنے کو کہتی ہے۔ یہ روابط انحصار کو واضح کرتے ہیں، لیکن اس بات کو ثابت نہیں کرتے کہ مکمل ورک فلو کوئی معتبر نئی سائنسی دریافت پیدا کرتا ہے۔

اسکور ایک اوسط ہے۔ ایک یا زیادہ قطعی اصولوں پر مبنی جانچ کنندگان ہر جواب فائل کے فیلڈز کو جوابی کلید سے ملاتے ہیں؛ ان کی اوسط ذیلی کام کا اسکور بنتی ہے، اور کام کا اسکور اس کے ذیلی کاموں کی اوسط ہے۔ مصنفین نے جین سیٹس، افزودگی کے نتائج اور عددی قدروں جیسی آؤٹ پٹس کے لیے 58 طرح کے جانچ کنندگان بنائے۔ کچھ حوالہ جاتی ڈیٹا بیس سے متبادل حیاتیاتی شناخت کنندگان کو ملاتے ہیں، اس لیے جین کا ایک درست مترادف نام لفظی اسٹرنگ موازنے میں لازماً غلط قرار نہیں پاتا۔ لہٰذا اسکور بینچ مارک کے متعین جوابات اور قابل قبول فرق سے مطابقت ناپتا ہے، تجزیے یا اس کی سائنسی تشریح پر ماہرین کا مکمل فیصلہ نہیں۔

## نتائج فیڈبیک پر منحصر ہیں

مصنفین نے تین ایجنٹ اجرائی فریم ورک میں 12 ماڈلز آزمائے۔ ہر کام ہر موڈ میں نیٹ ورک سے الگ کنٹینر میں تین بار چلایا گیا؛ بتائی گئی اوسط پہلے کام کی سطح پر ان رنز کی اوسط لیتی ہے۔ *ایک کوشش* والے موڈ میں اگلے ذیلی کام سے پہلے ایجنٹ کو جواب پر کوئی فیڈبیک نہیں ملتا۔ ماڈل اور فریم ورک کے امتزاجوں میں کاموں کے اوسط اسکور صفر سے ایک کے پیمانے پر 0.43 سے 0.57 تھے۔ *حد مقرر کرنے* والے موڈ میں 0.7 سے کم اسکور ناکامی کا نوٹس لاتا ہے اور زیادہ سے زیادہ دو مزید کوششوں کی اجازت دیتا ہے۔ اوسط اسکور 0.54 سے 0.67 تھے۔ بتائے گئے بہترین امتزاج، OpenCode پر Opus 5، نے بغیر فیڈبیک 0.57 اور فیڈبیک کے ساتھ 0.67 حاصل کیا۔ یہ مصنفین کے بتائے ہوئے بینچ مارک نتائج ہیں، BIG CHANGE کا اپنا رن یا آزادانہ تکرار نہیں۔

دوبارہ کوشش سے بہتری کی محتاط تشریح ضروری ہے۔ مصنفین نے دیکھا کہ کچھ محدود اختیارات والے ذیلی کاموں میں ایجنٹس اختیارات آزما کر اندازے لگا رہے تھے، اس لیے انہوں نے ایسے 177 ذیلی کام باریوں اور دوبارہ کوششوں کے تجزیوں سے نکال دیے۔ وہ کہتے ہیں کہ فیڈبیک سے ناجائز فائدہ اٹھانے کے اور طریقے بھی ممکن ہیں، اور حد والے موڈ کی بہتری میں اس رویے کا حصہ ناپا نہیں گیا۔ اس موڈ کے اسکور اس مخصوص اشارے اور کوششوں کی حد کے تحت کارکردگی بتاتے ہیں۔ انہیں اس بات کا ثبوت نہیں سمجھنا چاہیے کہ ایجنٹ نے بنیادی تجزیہ درست کر لیا۔

مقالے کے ایک کوشش والے تجزیے میں، مختلف امتزاجوں کے لیے صارف کی دوسری باری کے ذیلی کاموں کے اسکور پہلی باری سے 0.06 سے 0.12 کم تھے۔ پچھلے جوابات پر منحصر ذیلی کاموں کے اسکور آزاد کاموں سے کم تھے۔ حد والے موڈ میں دوبارہ کوشش کی اجازت کے ساتھ، اس دوبارہ کوشش کے تجزیے میں شامل ذیلی کاموں میں سے صرف 22% سے 34% تین کوششوں کے اندر 0.7 کی حد تک پہنچے، جبکہ پہلی کوشش میں یہ شرح 15% سے 24% تھی۔ یہ رجحانات ماڈلز کی درجہ بندی سے زیادہ براہ راست بینچ مارک کے مرکزی سوال کو واضح کرتے ہیں: ان آزمائشوں میں کام کی زنجیر کو برقرار رکھنا اب بھی مشکل ہے۔

## ناکامی کا تجزیہ کیا دکھاتا ہے

مصنفین نے 150 ذیلی کاموں کے نمونے میں ناکام پہلی کوششوں کا جائزہ لیا۔ خودکار تجزیے میں ایسے واقعات ملے جن میں ایجنٹس نے بہت زیادہ نتائج دیے، مطلوبہ انتخابی اصول کو اپنے اصول سے بدل دیا، مختلف طریقہ اپنایا یا فراہم کردہ ڈیٹا کے بجائے سابقہ علم سے جواب دیا۔ ماہر حیاتیات کو واپس آنے والی فہرست بظاہر معقول لگ سکتی ہے، چاہے اسے غلط شماریاتی فلٹر سے منتخب کیا گیا ہو۔ مقالے کی مثالیں اس ناکامی کا جائزہ لینے میں ایک مجموعی اسکور سے زیادہ مددگار ہیں۔

ناکامی کے یہ لیبل ابتدائی تحقیقی نوعیت کے ہیں۔ زبان ماڈل پر مبنی جج نے وضاحتیں اور زمرے بنائے؛ مصنفین نے بار بار کی گئی لیبلنگ میں اتفاق جانچا، لیکن انسانی لیبل لگانے والوں کے مقابلے میں ان کی توثیق نہیں کی۔ مختلف فریم ورک میں محدود رنز بھی یہ الگ نہیں کر سکتے کہ اسکور کے فرق کا کتنا حصہ ماڈل اور کتنا اردگرد کے ایجنٹ سافٹ ویئر سے آتا ہے۔ کاموں کا مجموعہ کئی حیاتیاتی شعبوں پر محیط ہے، لیکن مصنفین کہتے ہیں کہ ہر شعبے کے اندر ماڈلز کے قابل اعتماد موازنے کے لیے کام بہت کم ہیں۔

محققین [مصنفین کے فراہم کردہ لنک کی ریپوزٹری](https://huggingface.co/datasets/gideonshaked/OmicsBench) کا معائنہ کر سکتے ہیں، جس میں رنر اور جوابی کلیدوں سمیت تین عوامی کام فائلیں ہیں۔ مقالے کے مطابق باقی 94 کام نجی ٹیسٹ سیٹ کے طور پر رکھے گئے ہیں۔ یہ عوامی حصہ OmicsBench کی تشکیل جانچنے دیتا ہے؛ یہ اکیلا مقالے کی مکمل 97 کاموں کی درجہ بندی دوبارہ پیدا نہیں کر سکتا۔ پری پرنٹ ایجنٹس کو مخصوص تجزیاتی جوابات کے مقابلے میں ناپتا ہے۔ یہ ثابت نہیں کرتا کہ وہ قابل اعتماد سائنسی دریافتیں کر سکتے، تحقیقی لیب میں بغیر نگرانی چل سکتے یا کمپیوٹیشنل ماہرین حیاتیات کی جگہ لے سکتے ہیں۔

## ذرائع اور مزید مطالعہ

- [Shaked اور Nagisetty، «OmicsBench»، arXiv v1، 15 اکتوبر 2026](https://arxiv.org/html/2610.21074v1)۔ طریقۂ کار، نتائج، حدود اور ضمیمے یہاں کے اعداد و شمار اور اسکورنگ کی وضاحت کی بنیاد ہیں۔ یہ مصنفین کی جانب سے پیش کردہ پری پرنٹ ہے۔
- [OmicsBench کی عوامی ریپوزٹری](https://huggingface.co/datasets/gideonshaked/OmicsBench)۔ مصنفین کے دیے ہوئے لنک کی ریلیز میں رنر اور تین عوامی کام فائلیں ہیں۔ مقالے کا ضمیمہ E الگ رکھے گئے سیٹ اور لائسنسوں کی وضاحت کرتا ہے۔

## Sources

- [Shaked اور Nagisetty: OmicsBench، arXiv v1](https://arxiv.org/html/2610.21074v1) — مصنفین کی جانب سے پیش کردہ پری پرنٹ۔ طریقۂ کار، نتائج، حدود اور ضمیمہ E میں 97 کاموں کے بینچ مارک اور اس کی تین کاموں والی عوامی ریلیز کی وضاحت ہے؛ BIG CHANGE نے اسے نہیں چلایا۔
- [OmicsBench کی عوامی ریپوزٹری](https://huggingface.co/datasets/gideonshaked/OmicsBench) — مصنفین کے لنک کردہ رنر اور تین عوامی سوال فائلوں کی تصدیق ریپوزٹری کے براہ راست ٹری اندراجات سے ہوئی۔ مقالہ کہتا ہے کہ باقی 94 کام نجی رہتے ہیں۔