Markdown संस्करण

AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench निर्भर जैवसूचनाविज्ञान चरणों में AI एजेंटों को परखता है

> लेखकों द्वारा स्वयं रिपोर्ट किया गया बेंचमार्क निर्भर जैवसूचनाविज्ञान कार्यों में AI एजेंटों का अनुसरण करता है। बाद के चरणों में अंक गिरते हैं, जबकि फीडबैक सीमाओं के साथ परिणाम सुधारता है।

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

OmicsBench किसी AI एजेंट से लगातार, एक-दूसरे पर निर्भर अनुरोधों के माध्यम से जैवसूचनाविज्ञान विश्लेषण आगे बढ़ाने को कहता है। [15 अक्टूबर के एक प्रीप्रिंट](https://arxiv.org/html/2610.21074v1) में Gideon Shaked और Siddharth Nagisetty बताते हैं कि उनके मूल्यांकन में एजेंटों की सटीकता सत्र आगे बढ़ने और किसी चरण के पिछले उत्तरों पर निर्भर होने पर कम हुई। इससे संगणकीय जीवविज्ञानियों के सामने एक अलग-थलग काम हल कर सकने से अधिक विशिष्ट प्रश्न आता है: क्या एजेंट पूरे अध्ययन में विश्लेषण को डेटा और निर्देशों के प्रति निष्ठावान रख सकता है?

## बड़ा बदलाव

- **क्या बदला:** OmicsBench एजेंट के एक निरंतर सत्र में निर्भर विश्लेषण चरणों की शृंखला को अंक देता है। यह उन गलतियों को सामने लाता है जिन्हें एक अंतिम उत्तर छिपा सकता है, हालाँकि यहाँ साक्ष्य बेंचमार्क के लेखकों के अपने प्रीप्रिंट से आता है।
- **यह क्यों महत्त्वपूर्ण है:** बहु-चरणीय विश्लेषण के लिए एजेंट को परखने वाला शोध दल देख सकता है कि उसके परिणाम कहाँ भटकते हैं, जिसमें यह भी शामिल है कि वह तय चयन मानदंडों का पालन करता है या नहीं। शोधपत्र निर्भर चरणों में कम अंक बताता है, इसलिए एक प्रॉम्प्ट का अच्छा उत्तर पूरे कार्यप्रवाह के लिए कमजोर साक्ष्य है।
- **आगे क्या देखें:** सार्वजनिक रनर और जारी किए गए तीन कार्य शोधकर्ताओं को विधि जाँचने देते हैं। बाकी 94 कार्य निजी हैं। परीक्षण के लिए अलग रखे काम पर स्वतंत्र मूल्यांकन, जिसमें केवल उत्तर मिलाने से आगे विश्लेषण की गुणवत्ता जाँची जाए, व्यावहारिक उपयोग पर अधिक मजबूत साक्ष्य देगा।

## बेंचमार्क किसी अध्ययन का अनुसरण कैसे करता है

OmicsBench में प्रकाशित जैविक अध्ययनों और उनके डेटासेट से बने 97 कार्य हैं, जिन्हें 662 उपकार्यों में बाँटा गया है। प्रत्येक कार्य चरणों का ग्राफ है: एक किनारा दर्शाता है कि बाद का उत्तर किसी पहले उत्तर पर निर्भर है। प्रति कार्य उपकार्यों की संख्या का माध्यिका मान सात है और सबसे लंबी निर्भरता-शृंखला की लंबाई का माध्यिका मान तीन चरण है। एक उपकार्य निरंतर सत्र में उपयोगकर्ता की एक बारी बनता है। एजेंट डेटा और अपनी पुरानी फाइलें इस्तेमाल कर सकता है, लेकिन हर बारी में एक निर्धारित उत्तर-फाइल लिखनी होती है। लेखकों के अनुसार, मानव विशेषज्ञों ने अध्ययन चुने; एजेंट द्वारा कार्यों के मसौदे बनाने के बाद विशेषज्ञों ने बने हुए कार्यों की समीक्षा की। [शोधपत्र का विधि अनुभाग](https://arxiv.org/html/2610.21074v1) इस निर्माण और मूल्यांकन प्रक्रिया का वर्णन करता है।

यह संरचना उस छोटे मूल्यांकन से अलग है जिसमें हर प्रश्न एक उत्तर के बाद समाप्त हो जाता है। यह उस अध्ययन-स्तरीय प्रॉम्प्ट से भी अलग है जो एजेंट को पूरा उद्देश्य एक साथ देकर केवल अंतिम उत्पाद को अंक देता है। यहाँ क्रम से यह देखना संभव होता है कि पहले का परिणाम आगे के विश्लेषण में सही ढंग से पहुँचता है या नहीं। एक [सार्वजनिक उदाहरण](https://arxiv.org/html/2610.21074v1) एजेंट से गुर्दे की कोशिका-अवस्था का सिग्नेचर पहचानने और फिर उसे नियामकों तथा जैविक कार्यक्रमों के आगे के विश्लेषण में इस्तेमाल करने को कहता है। ये संबंध निर्भरताओं को ठोस बनाते हैं, पर यह साबित नहीं करते कि पूरा कार्यप्रवाह कोई विश्वसनीय नई वैज्ञानिक खोज देता है।

अंक एक औसत है। एक या अधिक नियतात्मक जाँचकर्ता प्रत्येक उत्तर-फाइल के फ़ील्ड की उत्तर-कुंजी से तुलना करते हैं; उनका औसत उपकार्य का अंक बनता है और कार्य का अंक उसके उपकार्यों का औसत होता है। लेखकों ने जीन समूहों, एनरिचमेंट विश्लेषण के परिणामों और संख्यात्मक मानों जैसे आउटपुट के लिए 58 प्रकार के जाँचकर्ता बनाए। कुछ संदर्भ डेटाबेस के माध्यम से वैकल्पिक जैविक पहचानकर्ताओं का मिलान करते हैं, इसलिए किसी जीन का मान्य समानार्थी नाम शब्दशः स्ट्रिंग तुलना में असफल होना जरूरी नहीं है। इस तरह अंक बेंचमार्क के परिभाषित उत्तरों और स्वीकार्य अंतर से मेल को मापता है, न कि विश्लेषण या उसकी वैज्ञानिक व्याख्या पर पूर्ण विशेषज्ञ निर्णय को।

## परिणाम फीडबैक पर निर्भर करते हैं

लेखकों ने एजेंट चलाने के तीन ढाँचों में 12 मॉडल परखे। नेटवर्क से अलग कंटेनर में प्रत्येक मोड के लिए हर कार्य तीन बार चलाया गया; रिपोर्ट किया गया औसत पहले कार्य स्तर पर उन रन का औसत निकालता है। *एकल-पास* मोड में अगले उपकार्य से पहले एजेंट को उत्तर पर कोई फीडबैक नहीं मिलता। मॉडल और ढाँचे के संयोजनों में कार्यों के औसत अंक शून्य से एक के पैमाने पर 0.43 से 0.57 थे। *सीमा-आधारित* मोड में 0.7 से नीचे का अंक असफलता की सूचना और अधिकतम दो अतिरिक्त प्रयासों को सक्रिय करता है। औसत अंक 0.54 से 0.67 थे। रिपोर्ट किए गए सर्वश्रेष्ठ संयोजन, OpenCode पर Opus 5, ने बिना फीडबैक 0.57 और उसके साथ 0.67 अंक पाए। ये लेखकों द्वारा रिपोर्ट किए गए बेंचमार्क परिणाम हैं, BIG CHANGE का रन या स्वतंत्र पुनरावृत्ति नहीं।

दोबारा प्रयास से हुए सुधार को सावधानी से समझना जरूरी है। लेखकों ने कुछ बंद-विकल्प वाले उपकार्यों में एजेंटों को विकल्पों का अनुमान लगाकर कोशिश करते देखा, इसलिए बारी और पुनःप्रयास के विश्लेषण से ऐसे 177 उपकार्य हटा दिए। उनके अनुसार फीडबैक का अनुचित लाभ उठाने के अन्य तरीके भी संभव हैं और सीमा-आधारित मोड के सुधार में इस व्यवहार का हिस्सा मापा नहीं गया है। उस मोड के अंक इसी विशिष्ट संकेत और प्रयास-सीमा के तहत प्रदर्शन बताते हैं। उन्हें इस बात का प्रमाण नहीं मानना चाहिए कि एजेंट ने मूल विश्लेषण ठीक कर लिया।

सभी संयोजनों में, शोधपत्र के एकल-पास विश्लेषण में दूसरी बारी के उपकार्यों के अंक पहली बारी से 0.06 से 0.12 कम थे। पुराने उत्तरों पर निर्भर उपकार्यों के अंक स्वतंत्र उपकार्यों से नीचे रहे। सीमा-आधारित पुनःप्रयास में उस पुनःप्रयास विश्लेषण में शामिल केवल 22% से 34% उपकार्य तीन प्रयासों के भीतर 0.7 की सीमा तक पहुँचे, जबकि पहले प्रयास में यह 15% से 24% था। ये पैटर्न मॉडल रैंकिंग से अधिक सीधे बेंचमार्क के मुख्य प्रश्न को संबोधित करते हैं: इन परीक्षणों में काम की शृंखला को अक्षुण्ण रखना अब भी कठिन है।

## असफलता का विश्लेषण क्या दिखाता है

लेखकों ने 150 उपकार्यों के नमूने में असफल पहले प्रयासों को देखा। उनके स्वचालित विश्लेषण में ऐसे मामले मिले जहाँ एजेंट बहुत अधिक परिणाम लौटाते, माँगा गया चयन नियम अपने नियम से बदलते, दूसरी प्रक्रिया अपनाते या तैयार डेटा की जगह पहले के ज्ञान से उत्तर देते थे। किसी जीवविज्ञानी को लौटाई गई सूची विश्वसनीय लग सकती है, भले ही उसे गलत सांख्यिकीय फ़िल्टर से चुना गया हो। शोधपत्र के उदाहरण किसी एक समग्र अंक की तुलना में ऐसी असफलता को जाँचने के लिए अधिक उपयोगी बनाते हैं।

असफलता के ये लेबल अन्वेषणात्मक हैं। निर्णायक की भूमिका में एक भाषा मॉडल ने विवरण और श्रेणियाँ बनाईं; लेखकों ने बार-बार किए गए एनोटेशन की सहमति जाँची, लेकिन मानव एनोटेटरों के मुकाबले लेबल का सत्यापन नहीं किया। अलग-अलग ढाँचों में सीमित रन से यह भी अलग नहीं किया जा सकता कि अंक के अंतर में कितना योगदान मॉडल का और कितना आसपास के एजेंट सॉफ्टवेयर का है। कार्य-संग्रह कई जैविक क्षेत्रों में फैला है, लेकिन लेखकों के अनुसार हर क्षेत्र में विश्वसनीय क्षेत्रीय मॉडल तुलना के लिए बहुत कम कार्य हैं।

शोधकर्ता [लेखकों द्वारा लिंक की गई रिपॉज़िटरी](https://huggingface.co/datasets/gideonshaked/OmicsBench) देख सकते हैं, जिसमें रनर और उत्तर-कुंजी सहित तीन सार्वजनिक कार्य-फाइलें हैं। शोधपत्र के अनुसार अन्य 94 कार्य निजी परीक्षण-समूह के रूप में रखे गए हैं। यह सार्वजनिक उपसमूह OmicsBench की बनावट जाँचने देता है, लेकिन अकेले इससे शोधपत्र की पूरी 97-कार्य रैंकिंग दोहराई नहीं जा सकती। प्रीप्रिंट एजेंटों को निर्धारित विश्लेषण-उत्तरों के विरुद्ध मापता है। यह साबित नहीं करता कि वे भरोसेमंद वैज्ञानिक खोजें कर सकते हैं, शोध प्रयोगशाला में बिना निगरानी काम कर सकते हैं या संगणकीय जीवविज्ञानियों की जगह ले सकते हैं।

## स्रोत और आगे पढ़ें

- [Shaked और Nagisetty, “OmicsBench”, arXiv v1, 15 अक्टूबर 2026](https://arxiv.org/html/2610.21074v1)। विधियाँ, परिणाम, सीमाएँ और परिशिष्ट यहाँ दिए आँकड़ों तथा अंक देने की पद्धति के वर्णन का आधार हैं। यह लेखकों द्वारा स्वयं रिपोर्ट किया गया प्रीप्रिंट है।
- [OmicsBench की सार्वजनिक रिपॉज़िटरी](https://huggingface.co/datasets/gideonshaked/OmicsBench)। लेखकों द्वारा लिंक की गई रिलीज़ में रनर और तीन सार्वजनिक कार्य-फाइलें हैं। शोधपत्र का परिशिष्ट E अलग रखे परीक्षण-समूह और लाइसेंसों को समझाता है।

## Sources

- [Shaked और Nagisetty: OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — लेखकों द्वारा स्वयं रिपोर्ट किया गया प्रीप्रिंट। विधियाँ, परिणाम, सीमाएँ और परिशिष्ट E 97-कार्य बेंचमार्क तथा उसके तीन कार्यों की सार्वजनिक रिलीज़ का वर्णन करते हैं; BIG CHANGE ने इसे चलाया नहीं है।
- [OmicsBench की सार्वजनिक रिपॉज़िटरी](https://huggingface.co/datasets/gideonshaked/OmicsBench) — लेखकों द्वारा लिंक किए रनर और तीन सार्वजनिक प्रश्न-फाइलों की पुष्टि सीधे रिपॉज़िटरी ट्री की सूचियों से हुई है। शोधपत्र के अनुसार अन्य 94 कार्य निजी हैं।