AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench परस्परावलंबी जैवमाहितीशास्त्रीय टप्प्यांमध्ये AI एजंटची चाचणी घेते

> लेखकांनीच नोंदवलेला हा बेंचमार्क परस्परावलंबी जैवमाहितीशास्त्रीय कामांमधून AI एजंटचा मागोवा घेतो. पुढील टप्प्यांतील गुण कमी होतात; अभिप्रायामुळे काही मर्यादांच्या अधीन परिणाम सुधारतात.

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

OmicsBench AI एजंटला सलग आणि परस्परावलंबी विनंत्यांनुसार जैवमाहितीशास्त्रीय विश्लेषण पुढे नेण्यास सांगते. [15 ऑक्टोबरच्या प्रीप्रिंटमध्ये](https://arxiv.org/html/2610.21074v1), Gideon Shaked आणि Siddharth Nagisetty यांनी नोंदवले आहे की सत्र पुढे जाताना आणि एखादा टप्पा आधीच्या उत्तरांवर अवलंबून असताना त्यांनी तपासलेल्या एजंटची अचूकता कमी झाली. त्यामुळे संगणकीय जीवशास्त्रज्ञांसमोर एजंट एखादे स्वतंत्र काम सोडवू शकतो का यापेक्षा अधिक नेमका प्रश्न येतो: संपूर्ण अभ्यासादरम्यान तो विश्लेषण डेटा आणि सूचनांशी प्रामाणिक ठेवू शकतो का?

## मोठा बदल

- **काय बदलले:** OmicsBench एजंटच्या एका सलग सत्रातील परस्परावलंबी विश्लेषण-टप्प्यांच्या मालिकेला गुण देते. एका अंतिम उत्तरामुळे झाकले जाऊ शकणाऱ्या चुका ती उघड करते; मात्र येथील पुरावे बेंचमार्कच्या लेखकांच्या स्वतःच्या प्रीप्रिंटमधून येतात.
- **हे महत्त्वाचे का:** अनेक टप्प्यांच्या विश्लेषणासाठी एजंटचे मूल्यमापन करणारा संशोधन संघ त्याचे परिणाम कुठे भरकटतात, तसेच तो दिलेले निवड-निकष पाळतो का, हे तपासू शकतो. अवलंबून असलेल्या टप्प्यांना कमी गुण मिळाल्याचे लेखात नोंदवले आहे. त्यामुळे एका प्रॉम्प्टला चांगले उत्तर मिळणे हा संपूर्ण कार्यप्रवाहासाठी कमकुवत पुरावा ठरतो.
- **पुढे काय पाहावे:** सार्वजनिकरीत्या उपलब्ध चाचणी चालवणारा प्रोग्राम आणि प्रसिद्ध केलेली तीन कामे संशोधकांना पद्धत तपासू देतात. उरलेली 94 कामे खासगी आहेत. बाजूला राखलेल्या चाचणी-कामांवरील स्वतंत्र मूल्यमापन आणि केवळ उत्तर जुळते का यापलीकडे विश्लेषणाच्या गुणवत्तेची तपासणी यांमुळे प्रत्यक्ष वापराविषयी अधिक ठोस पुरावे मिळतील.

## बेंचमार्क अभ्यासाचा मागोवा कसा घेते

OmicsBench मध्ये प्रकाशित जैविक अभ्यास आणि त्यांच्या डेटासेटवर आधारित 97 कामे असून ती 662 उपकामांत विभागली आहेत. प्रत्येक काम हा टप्प्यांचा आलेख आहे: एखादी कड म्हणजे पुढील उत्तर आधीच्या उत्तरावर अवलंबून आहे. प्रत्येक कामातील उपकामांच्या संख्येची मध्यिका सात आहे, तर सर्वांत लांब अवलंबन-साखळीच्या लांबीची मध्यिका तीन टप्पे आहे. प्रत्येक उपकाम सलग सत्रातील वापरकर्त्याची एक संवाद-फेरी बनते. एजंट डेटा आणि स्वतःच्या आधीच्या फाइल वापरू शकतो; मात्र प्रत्येक फेरीसाठी ठरावीक उत्तर-फाइल लिहिणे आवश्यक आहे. लेखकांच्या म्हणण्यानुसार, मानवी तज्ज्ञांनी अभ्यासांची निवड केली; एजंटने कामांचे मसुदे तयार केल्यानंतर तज्ज्ञांनी तयार झालेली कामे तपासली. [लेखातील पद्धतींचा विभाग](https://arxiv.org/html/2610.21074v1) ही रचना आणि मूल्यमापन-प्रक्रिया स्पष्ट करतो.

ही रचना प्रत्येक प्रश्न एकाच उत्तरानंतर संपणाऱ्या लहान मूल्यमापनापेक्षा वेगळी आहे. एजंटला संपूर्ण अभ्यासाचे उद्दिष्ट एकाच वेळी देऊन फक्त अंतिम निष्पत्तीला गुण देणाऱ्या प्रॉम्प्टपेक्षाही ती वेगळी आहे. येथे टप्प्यांच्या क्रमामुळे आधीचा परिणाम पुढील विश्लेषणात योग्य रीतीने नेला जातो का हे पाहता येते. एक [सार्वजनिक उदाहरण](https://arxiv.org/html/2610.21074v1) एजंटला मूत्रपिंडातील पेशींच्या अवस्थेची ओळख दर्शवणारा सिग्नेचर शोधण्यास, आणि मग तो परिणाम नियामक व जैविक कार्यक्रमांच्या पुढील विश्लेषणात वापरण्यास सांगते. हे दुवे अवलंबन ठोस करतात; पण संपूर्ण कार्यप्रवाह विश्वासार्ह नवा वैज्ञानिक निष्कर्ष देतो हे सिद्ध करत नाहीत.

गुण म्हणजे सरासरी. एक किंवा अधिक निर्धारक मूल्यमापक प्रत्येक उत्तर-फाइलमधील क्षेत्रांची उत्तरसूचीशी तुलना करतात; त्यांची सरासरी उपकामाचे गुण ठरते आणि कामाचे गुण त्याच्या उपकामांची सरासरी असतात. लेखकांनी जनुकांचे संच, समृद्धी-विश्लेषणाचे परिणाम आणि संख्यात्मक मूल्ये यांसारख्या निष्पत्तींसाठी 58 प्रकारचे मूल्यमापक तयार केले. काही संदर्भ डेटाबेसद्वारे पर्यायी जैविक ओळखचिन्हे जुळवतात. त्यामुळे एखाद्या जनुकाचा वैध समानार्थी शब्द अक्षरशः मजकूर-जुळवणीत नापास होईलच असे नाही. म्हणून गुण हे बेंचमार्कने ठरवलेली उत्तरे आणि स्वीकार्य तफावती यांच्याशी जुळण्याचे मोजमाप आहेत; विश्लेषण किंवा त्याच्या वैज्ञानिक अर्थाबद्दलचा संपूर्ण तज्ज्ञ निर्णय नाहीत.

## परिणाम अभिप्रायावर अवलंबून असतात

लेखकांनी एजंट चालवण्याच्या तीन चौकटींमध्ये 12 मॉडेल तपासली. नेटवर्कपासून विलग कंटेनरमध्ये प्रत्येक पद्धतीसाठी प्रत्येक काम तीन वेळा चालवले गेले; नोंदवलेली सरासरी प्रथम कामाच्या पातळीवर या चाचणी-फेऱ्यांची सरासरी काढते. *एकाच फेरीच्या* पद्धतीत पुढील उपकामापूर्वी एजंटला उत्तराविषयी अभिप्राय मिळत नाही. मॉडेल आणि चौकटींच्या जोड्यांतील कामांचे सरासरी गुण शून्य ते एकच्या पट्टीवर 0.43 ते 0.57 होते. *गुणमर्यादा असलेल्या* पद्धतीत 0.7 पेक्षा कमी गुण आल्यास अपयशाची सूचना आणि आणखी जास्तीतजास्त दोन प्रयत्न मिळतात. सरासरी गुण 0.54 ते 0.67 होते. नोंदवलेल्या सर्वोत्कृष्ट जोडीत, OpenCode वरील Opus 5 ला अभिप्रायाशिवाय 0.57 आणि अभिप्रायासह 0.67 गुण मिळाले. हे लेखकांनी नोंदवलेले बेंचमार्क परिणाम आहेत; BIG CHANGE ने केलेली चाचणी किंवा स्वतंत्र पुनरुत्पादन नाही.

पुन्हा प्रयत्न केल्याने होणारी सुधारणा काळजीपूर्वक समजून घ्यावी लागते. काही बंद-पर्यायी उपकामांत एजंट अंदाजाने पर्याय तपासत असल्याचे लेखकांनी पाहिले. त्यामुळे संवाद-फेऱ्या आणि पुन्हा प्रयत्न यांच्या विश्लेषणातून अशी 177 उपकामे वगळली. अभिप्रायाचा गैरफायदा घेण्याचे इतर प्रकारही शक्य आहेत आणि गुणमर्यादा पद्धतीतील सुधारणेपैकी किती भाग या वर्तनामुळे आला हे मोजलेले नाही, असे ते सांगतात. त्या पद्धतीचे गुण या विशिष्ट संकेताच्या आणि प्रयत्न-मर्यादेच्या अधीन कामगिरी दर्शवतात. एजंटने मूळ विश्लेषण दुरुस्त केले याचा पुरावा म्हणून ते वाचू नयेत.

लेखातील एकाच फेरीच्या विश्लेषणात, सर्व जोड्यांमध्ये दुसऱ्या संवाद-फेरीतील उपकामांचे गुण पहिल्या फेरीपेक्षा 0.06 ते 0.12 कमी होते. आधीच्या उत्तरांवर अवलंबून असलेल्या उपकामांचे गुण स्वतंत्र उपकामांपेक्षा कमी होते. गुणमर्यादेसह पुन्हा प्रयत्न केल्यावर, त्या पुनर्प्रयत्न विश्लेषणातील फक्त 22% ते 34% उपकामांनी तीन प्रयत्नांत 0.7 ची मर्यादा गाठली; पहिल्याच प्रयत्नात हा वाटा 15% ते 24% होता. हे नमुने मॉडेलच्या क्रमवारीपेक्षा बेंचमार्कच्या मुख्य प्रश्नाला अधिक थेट भिडतात: या चाचण्यांत कामाची साखळी अखंड राखणे अजूनही कठीण आहे.

## अपयशाच्या विश्लेषणातून काय दिसते

लेखकांनी 150 उपकामांच्या नमुन्यातील अयशस्वी पहिले प्रयत्न तपासले. स्वयंचलित विश्लेषणात एजंटने गरजेपेक्षा जास्त परिणाम दिलेले, मागितलेला निवड-नियम स्वतःच्या नियमाने बदललेला, वेगळी प्रक्रिया वापरलेली किंवा तयार ठेवलेल्या डेटाऐवजी पूर्वज्ञानावरून उत्तर दिलेले आढळले. जीवशास्त्रज्ञाला परत मिळालेली यादी चुकीचा सांख्यिकीय फिल्टर वापरून निवडली असली तरी पटण्याजोगी वाटू शकते. एकत्रित गुणांपेक्षा लेखातील उदाहरणांमुळे हे अपयश तपासणे अधिक उपयुक्त ठरते.

ही अपयशाची लेबले अन्वेषणात्मक आहेत. भाषिक मॉडेलवर आधारित परीक्षकाने वर्णने आणि वर्ग तयार केले; लेखकांनी पुन्हा केलेल्या लेबलिंगमध्ये कितपत सहमती होती ते तपासले, पण मानवी लेबलिंगशी तुलना करून या लेबलांची वैधता तपासली नाही. वेगवेगळ्या एजंट-चौकटींतील मर्यादित चाचण्यांतून गुणांतील फरक किती मॉडेलमुळे आणि किती सभोवतालच्या एजंट-सॉफ्टवेअरमुळे पडतो, हेही वेगळे करता येत नाही. कामांचा संच अनेक जैविक क्षेत्रांत पसरलेला आहे; परंतु प्रत्येक क्षेत्रात विश्वासार्ह क्षेत्रांतर्गत मॉडेल-तुलना करण्याइतकी कामे नाहीत, असे लेखक म्हणतात.

संशोधक [लेखकांनी दुवा दिलेला रेपॉझिटरी](https://huggingface.co/datasets/gideonshaked/OmicsBench) तपासू शकतात. त्यात चाचणी चालवणारा प्रोग्राम आणि उत्तरसूचीसह तीन सार्वजनिक कामांच्या फाइल आहेत. लेखानुसार इतर 94 कामे खासगी चाचणी-संच म्हणून राखली आहेत. हा सार्वजनिक उपसंच OmicsBench कशी बनवली आहे हे तपासण्यास मदत करतो; पण त्यावरून एकट्याने लेखातील संपूर्ण 97 कामांची क्रमवारी पुनरुत्पादित करता येत नाही. प्रीप्रिंट एजंटचे मोजमाप ठरावीक विश्लेषण-उत्तरांच्या आधारे करते. ते विश्वासार्ह वैज्ञानिक शोध लावू शकतात, संशोधन प्रयोगशाळेत देखरेखीशिवाय चालू शकतात किंवा संगणकीय जीवशास्त्रज्ञांची जागा घेऊ शकतात, हे ती सिद्ध करत नाही.

## स्रोत आणि अधिक वाचन

- [Shaked आणि Nagisetty, “OmicsBench”, arXiv v1, 15 ऑक्टोबर 2026](https://arxiv.org/html/2610.21074v1). पद्धती, निष्कर्ष, मर्यादा आणि परिशिष्टे येथील आकडे व गुणांकनाच्या वर्णनाला आधार देतात. हा लेखकांनी स्वतः नोंदवलेला प्रीप्रिंट आहे.
- [OmicsBench सार्वजनिक रेपॉझिटरी](https://huggingface.co/datasets/gideonshaked/OmicsBench). लेखकांनी दुवा दिलेल्या प्रकाशनात चाचणी चालवणारा प्रोग्राम आणि तीन सार्वजनिक कामांच्या फाइल आहेत. लेखातील परिशिष्ट E राखीव चाचणी-संच आणि परवाने स्पष्ट करते.

## Sources

- [Shaked आणि Nagisetty: OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — लेखकांनी स्वतः नोंदवलेला प्रीप्रिंट. पद्धती, निष्कर्ष, मर्यादा आणि परिशिष्ट E मध्ये 97 कामांचा बेंचमार्क व त्यातील तीन कामांचे सार्वजनिक प्रकाशन स्पष्ट केले आहे; BIG CHANGE ने तो चालवलेला नाही.
- [OmicsBench सार्वजनिक रेपॉझिटरी](https://huggingface.co/datasets/gideonshaked/OmicsBench) — लेखकांनी दुवा दिलेला चाचणी चालवणारा प्रोग्राम आणि तीन सार्वजनिक प्रश्न-फाइल यांची थेट रेपॉझिटरी वृक्षातील नोंदींवरून खात्री केली आहे. इतर 94 कामे खासगीच आहेत, असे लेख सांगतो.