Markdown பதிப்பு

AI-translated from English; not yet reviewed by a fluent editor.

# சார்புடைய உயிர்த்தகவலியல் படிகளில் AI ஏஜென்டுகளைச் சோதிக்கும் OmicsBench

> ஆசிரியர்களே அறிக்கை செய்த அளவுகோல், சார்புடைய உயிர்த்தகவலியல் பணிகளில் AI ஏஜென்டுகளைப் பின்தொடர்கிறது. பிந்தைய படிகளில் மதிப்பெண்கள் குறைகின்றன; பின்னூட்டம் வரம்புகளுக்கு உட்பட்டு முடிவுகளை மேம்படுத்துகிறது.

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

அடுத்தடுத்த, ஒன்றை ஒன்று சார்ந்த கோரிக்கைகளின் வழியாக உயிர்த்தகவலியல் பகுப்பாய்வை மேற்கொள்ளுமாறு OmicsBench ஒரு AI ஏஜென்டைக் கேட்கிறது. ஒரு [அக்டோபர் 15 முன்பதிப்பில்](https://arxiv.org/html/2610.21074v1), Gideon Shaked மற்றும் Siddharth Nagisetty, தாங்கள் மதிப்பிட்ட ஏஜென்டுகளின் துல்லியம் அமர்வு தொடரும்போதும், ஒரு படி முந்தைய பதில்களைச் சார்ந்திருக்கும்போதும் குறைந்ததாகக் கூறுகின்றனர். தனிப்பட்ட ஒரு பணியை ஏஜென்ட் தீர்க்குமா என்பதைவிடத் துல்லியமான கேள்வியை இது கணினிசார் உயிரியலாளர்களுக்கு முன்வைக்கிறது: ஓர் ஆய்வு முழுவதும் தரவுக்கும் அறிவுறுத்தல்களுக்கும் உண்மையாகப் பகுப்பாய்வைத் தொடர முடியுமா?

## முக்கிய மாற்றம்

- **என்ன மாறியது:** தொடர்ச்சியான ஒரே ஏஜென்ட் அமர்வில் சார்புடைய பகுப்பாய்வுப் படிகளின் வரிசைக்கு OmicsBench மதிப்பெண் அளிக்கிறது. ஒரே இறுதிப் பதில் மறைக்கக்கூடிய தவறுகளை இது வெளிப்படுத்துகிறது. ஆனால் இங்குள்ள ஆதாரங்கள் அளவுகோலின் ஆசிரியர்களது சொந்த முன்பதிப்பிலிருந்தே வருகின்றன.
- **ஏன் முக்கியம்:** பலபடி பகுப்பாய்வுக்காக ஏஜென்டை மதிப்பிடும் ஆய்வுக் குழு, குறிப்பிட்ட தேர்வு அளவுகோல்களை அது பின்பற்றுகிறதா என்பது உட்பட முடிவுகள் எங்கு வழுவுகின்றன என்பதைப் பார்க்கலாம். சார்புடைய படிகளில் குறைந்த மதிப்பெண்கள் கிடைத்ததாக ஆய்வுக் கட்டுரை தெரிவிக்கிறது. எனவே ஒரு ப்ராம்ப்டுக்குக் கிடைக்கும் நல்ல பதில், முழுப் பணிப்பாய்வுக்கான பலவீனமான ஆதாரமே.
- **கவனிக்க வேண்டியது:** பொதுவாகக் கிடைக்கும் இயக்கி நிரலும் வெளியிடப்பட்ட மூன்று பணிகளும் முறையை ஆய்வாளர்கள் ஆராய உதவுகின்றன. எஞ்சிய 94 பணிகள் தனிப்பட்டவையாக உள்ளன. சோதனைக்காக ஒதுக்கிவைத்த பணிகளில் சுயாதீன மதிப்பீடுகள் நடத்தி, பதில் பொருத்தத்தைத் தாண்டிப் பகுப்பாய்வுத் தரத்தைச் சரிபார்ப்பது நடைமுறைப் பயன்பாட்டிற்கு வலுவான ஆதாரங்களைத் தரும்.

## ஓர் ஆய்வை அளவுகோல் எவ்வாறு பின்தொடர்கிறது

வெளியிடப்பட்ட உயிரியல் ஆய்வுகளையும் அவற்றின் தரவுத்தொகுப்புகளையும் அடிப்படையாகக் கொண்ட 97 பணிகள் OmicsBench-இல் உள்ளன; அவை 662 துணைப்பணிகளாகப் பிரிக்கப்பட்டுள்ளன. ஒவ்வொரு பணியும் படிகளின் வரைபடம்: ஓர் இணைப்பு, பிந்தைய பதில் முந்தைய பதிலைச் சார்ந்திருப்பதைக் குறிக்கிறது. ஒரு பணியின் துணைப்பணி எண்ணிக்கையின் இடைநிலை மதிப்பு ஏழு; மிக நீண்ட சார்புச் சங்கிலியின் நீளத்திற்கான இடைநிலை மதிப்பு மூன்று படிகள். தொடர்ச்சியான அமர்வில் ஒரு துணைப்பணி, பயனரின் ஒரு உரையாடல் சுற்றாக அமைகிறது. ஏஜென்ட் தரவையும் தனது முந்தைய கோப்புகளையும் பயன்படுத்தலாம். ஆனால் ஒவ்வொரு முறைக்கும் குறிப்பிட்ட பதில் கோப்பை எழுத வேண்டும். மனித நிபுணர்கள் ஆய்வுகளைத் தேர்ந்தெடுத்ததாகவும், ஏஜென்ட் பணிகளின் வரைவுகளை உருவாக்கிய பிறகு உருவான பணிகளை நிபுணர்கள் பரிசீலித்ததாகவும் ஆசிரியர்கள் கூறுகின்றனர். [ஆய்வுக் கட்டுரையின் முறைகள் பகுதி](https://arxiv.org/html/2610.21074v1) அந்த உருவாக்கத்தையும் மதிப்பீட்டு நடைமுறையையும் விவரிக்கிறது.

ஒவ்வொரு கேள்வியும் ஒரு பதிலுடன் முடியும் குறுகிய மதிப்பீட்டிலிருந்து இந்த வடிவமைப்பு வேறுபடுகிறது. முழு ஆய்வின் நோக்கத்தை ஒரே நேரத்தில் ஏஜென்டிடம் கொடுத்து, இறுதிப் படைப்புக்கு மட்டும் மதிப்பெண் அளிக்கும் ஆய்வளவிலான ப்ராம்ப்டிலிருந்தும் இது வேறுபடுகிறது. இங்கு முந்தைய முடிவு பிந்தைய பகுப்பாய்வுக்குச் சரியாக எடுத்துச் செல்லப்படுகிறதா என்பதை வரிசை கவனிக்க உதவுகிறது. ஒரு [பொதுவில் கிடைக்கும் எடுத்துக்காட்டு](https://arxiv.org/html/2610.21074v1) சிறுநீரகச் செல் நிலைக்கான சிக்னேச்சரை அடையாளம் கண்டு, அந்த முடிவைப் பிந்தைய ஒழுங்குபடுத்திகள் மற்றும் உயிரியல் செயல்திட்டங்களின் பகுப்பாய்வில் பயன்படுத்துமாறு ஏஜென்டைக் கேட்கிறது. இந்த இணைப்புகள் சார்புகளைத் தெளிவாக்குகின்றன. ஆனால் முழுப் பணிப்பாய்வு நம்பத்தகுந்த புதிய அறிவியல் கண்டுபிடிப்பை உருவாக்கும் என்பதை நிறுவுவதில்லை.

மதிப்பெண் ஒரு சராசரி. ஒன்று அல்லது அதற்கு மேற்பட்ட நிர்ணயமான மதிப்பீட்டு நிரல்கள், ஒவ்வொரு பதில் கோப்பின் புலங்களையும் விடைக்குறிப்புடன் ஒப்பிடுகின்றன. அவற்றின் சராசரியே துணைப்பணி மதிப்பெண்; துணைப்பணிகளின் சராசரியே பணி மதிப்பெண். மரபணுத் தொகுதிகள், செறிவூட்டல் பகுப்பாய்வு முடிவுகள், எண் மதிப்புகள் போன்ற வெளியீடுகளுக்காக 58 வகை மதிப்பீட்டு நிரல்களை ஆசிரியர்கள் உருவாக்கினர். சில நிரல்கள் மாற்று உயிரியல் அடையாளங்களை மேற்கோள் தரவுத்தளங்கள் மூலம் பொருத்துகின்றன. இதனால் ஒரு மரபணுவின் செல்லுபடியான மாற்றுப்பெயர், எழுத்துத் தொடரை அப்படியே ஒப்பிடும்போது கட்டாயம் தவறாகக் கருதப்பட வேண்டியதில்லை. எனவே அளவுகோல் வரையறுத்த பதில்களுடனும் அனுமதிக்கப்பட்ட வேறுபாடுகளுடனும் உள்ள பொருத்தத்தையே மதிப்பெண் அளவிடுகிறது; பகுப்பாய்வோ அதன் அறிவியல் விளக்கமோ குறித்த முழுமையான நிபுணர் தீர்ப்பை அல்ல.

## முடிவுகள் பின்னூட்டத்தைச் சார்ந்தவை

மூன்று ஏஜென்ட் இயக்கக் கட்டமைப்புகளில் 12 மாடல்களை ஆசிரியர்கள் சோதித்தனர். நெட்வொர்க்கிலிருந்து தனிமைப்படுத்தப்பட்ட கண்டெய்னரில், ஒவ்வொரு முறையிலும் ஒவ்வொரு பணியும் மூன்று முறை இயக்கப்பட்டது. அறிக்கையிடப்பட்ட சராசரி முதலில் பணி அளவில் அந்த இயக்கங்களின் சராசரியைக் கணக்கிடுகிறது. *ஒற்றைப் பாஸ்* முறையில், அடுத்த துணைப்பணிக்கு முன் பதில் பற்றிய பின்னூட்டம் ஏஜென்டுக்குக் கிடைப்பதில்லை. மாடல் மற்றும் கட்டமைப்பு இணைகளில் பணி சராசரி மதிப்பெண்கள் பூஜ்ஜியம் முதல் ஒன்று வரையிலான அளவில் 0.43 முதல் 0.57 வரை இருந்தன. *வரம்பு விதிக்கப்பட்ட* முறையில், 0.7-க்குக் குறைந்த மதிப்பெண் தோல்வி அறிவிப்பையும் அதிகபட்சம் மேலும் இரண்டு முயற்சிகளையும் ஏற்படுத்துகிறது. சராசரி மதிப்பெண்கள் 0.54 முதல் 0.67 வரை இருந்தன. அறிக்கையிடப்பட்ட சிறந்த இணையான OpenCode-இல் Opus 5, பின்னூட்டமின்றி 0.57-ஐயும் அதனுடன் 0.67-ஐயும் பெற்றது. இவை ஆசிரியர்கள் அறிக்கை செய்த அளவுகோல் முடிவுகள்; BIG CHANGE செய்த இயக்கமோ சுயாதீன மறுசோதனையோ அல்ல.

மறுமுயற்சிகளால் ஏற்படும் முன்னேற்றத்தை எச்சரிக்கையுடன் விளக்க வேண்டும். சில மூடிய தேர்வுத் துணைப்பணிகளில் விருப்பங்களை ஏஜென்டுகள் ஊகித்து முயல்வதை ஆசிரியர்கள் கவனித்தனர். அதனால் உரையாடல் சுற்றுகள் மற்றும் மறுமுயற்சிகள் பற்றிய பகுப்பாய்வுகளில் இருந்து அத்தகைய 177 துணைப்பணிகளை விலக்கினர். பின்னூட்டத்தைச் சாதகமாகச் சுரண்டும் வேறு வழிகளும் இருக்கலாம் என்றும், வரம்பு முறையின் முன்னேற்றத்தில் இந்த நடத்தைக்குரிய பங்கு எவ்வளவு என்பது அளவிடப்படவில்லை என்றும் அவர்கள் கூறுகின்றனர். அந்த மதிப்பெண்கள் இந்தக் குறிப்பிட்ட சமிக்ஞை மற்றும் முயற்சி வரம்பின் கீழான செயல்திறனை விவரிக்கின்றன. அடிப்படைப் பகுப்பாய்வை ஏஜென்ட் திருத்திவிட்டதற்கான சான்றாக அவற்றைப் படிக்கக் கூடாது.

ஆய்வுக் கட்டுரையின் ஒற்றைப் பாஸ் பகுப்பாய்வில், இணைகள் முழுவதிலும் இரண்டாவது உரையாடல் சுற்றின் துணைப்பணி மதிப்பெண்கள் முதல் சுற்றைவிட 0.06 முதல் 0.12 வரை குறைவாக இருந்தன. முந்தைய பதில்களைச் சார்ந்த துணைப்பணிகள் தனித்த துணைப்பணிகளைவிடக் குறைவான மதிப்பெண்கள் பெற்றன. வரம்புடன் மறுமுயற்சி செய்தபோது, அந்த மறுமுயற்சி பகுப்பாய்வில் சேர்க்கப்பட்ட துணைப்பணிகளில் 22% முதல் 34% மட்டுமே மூன்று முயற்சிகளுக்குள் 0.7 வரம்பை அடைந்தன; முதல் முயற்சியில் அது 15% முதல் 24% ஆக இருந்தது. மாடல் தரவரிசையைவிட இந்தப் போக்குகள் அளவுகோலின் முக்கியக் கேள்வியை நேரடியாக அணுகுகின்றன: இந்தச் சோதனைகளில் பணிச் சங்கிலியைச் சிதையாமல் வைத்திருப்பது இன்னும் கடினம்.

## தோல்விப் பகுப்பாய்வு காட்டுவது

150 துணைப்பணிகளின் மாதிரியில் தோல்வியடைந்த முதல் முயற்சிகளை ஆசிரியர்கள் ஆராய்ந்தனர். ஏஜென்டுகள் அதிகமான முடிவுகளைத் திருப்பியளித்தல், கேட்ட தேர்வு விதிக்குப் பதில் தமது விதியைப் பயன்படுத்துதல், வேறு நடைமுறையைப் பயன்படுத்துதல் அல்லது தயாராக வைக்கப்பட்ட தரவுக்குப் பதில் முன் அறிவிலிருந்து பதிலளித்தல் போன்றவற்றைத் தானியங்கி பகுப்பாய்வு கண்டறிந்தது. தவறான புள்ளியியல் வடிகட்டியால் தேர்ந்தெடுக்கப்பட்டிருந்தாலும், திரும்பக் கிடைக்கும் பட்டியல் ஓர் உயிரியலாளருக்கு நம்பத்தகுந்ததாகத் தோன்றலாம். ஒற்றைத் தொகுப்பு மதிப்பெண்ணைவிட அந்தத் தோல்வியை ஆய்வு செய்யக் கட்டுரையின் எடுத்துக்காட்டுகள் பயனுள்ளதாக உள்ளன.

அந்தத் தோல்வி வகைக்குறிகள் ஆராய்வுத் தன்மையுடையவை. மொழி மாடல் நடுவர் விவரிப்புகளையும் வகைகளையும் உருவாக்கியது. மீண்டும் செய்யப்பட்ட குறியீடுகளின் ஒத்திசைவை ஆசிரியர்கள் சோதித்தனர்; ஆனால் மனிதக் குறியீட்டாளர்கள் வழங்கிய குறியீடுகளுடன் ஒப்பிட்டு வகைக்குறிகளை உறுதிப்படுத்தவில்லை. வெவ்வேறு கட்டமைப்புகளில் நடந்த குறைந்த அளவிலான இயக்கங்களால் மதிப்பெண் வேறுபாட்டில் எவ்வளவு மாடலிலிருந்தும் எவ்வளவு அதைச் சுற்றியுள்ள ஏஜென்ட் மென்பொருளிலிருந்தும் வருகிறது என்பதையும் பிரிக்க முடியாது. பல உயிரியல் துறைகளைப் பணி தொகுப்பு உள்ளடக்குகிறது. ஆனால் ஒவ்வொரு துறைக்குள்ளும் நம்பகமாக மாடல்களை ஒப்பிடப் போதுமான பணிகள் இல்லை என்று ஆசிரியர்கள் கூறுகின்றனர்.

ஆய்வாளர்கள் [ஆசிரியர்கள் இணைத்துள்ள ரெப்பாசிட்டரியை](https://huggingface.co/datasets/gideonshaked/OmicsBench) ஆராயலாம். அதில் இயக்கி நிரலும் விடைக்குறிப்புகளுடன் மூன்று பொதுப் பணி கோப்புகளும் உள்ளன. எஞ்சிய 94 பணிகள் தனிப்பட்ட சோதனைத் தொகுப்பாக வைக்கப்பட்டுள்ளன என்று கட்டுரை கூறுகிறது. OmicsBench எவ்வாறு உருவாக்கப்பட்டது என்பதை ஆராய அந்தப் பொதுத் துணைத்தொகுப்பு உதவுகிறது. ஆனால் அதன் மூலம் மட்டும் கட்டுரையின் முழு 97 பணித் தரவரிசையை மீண்டும் உருவாக்க முடியாது. குறிப்பிட்ட பகுப்பாய்வுப் பதில்களுக்கு எதிராகவே முன்பதிப்பு ஏஜென்டுகளை அளவிடுகிறது. நம்பகமான அறிவியல் கண்டுபிடிப்புகளைச் செய்யவோ, ஆய்வு ஆய்வகத்தில் மேற்பார்வையின்றிச் செயல்படவோ, கணினிசார் உயிரியலாளர்களை மாற்றீடு செய்யவோ அவை முடியும் என்பதை அது நிறுவவில்லை.

## மூலங்கள் மற்றும் மேலும் வாசிக்க

- [Shaked மற்றும் Nagisetty, “OmicsBench”, arXiv v1, அக்டோபர் 15, 2026](https://arxiv.org/html/2610.21074v1). முறைகள், முடிவுகள், வரம்புகள், பிற்சேர்க்கைகள் இங்குள்ள எண்களுக்கும் மதிப்பிடும் முறை விளக்கத்துக்கும் ஆதாரம் அளிக்கின்றன. இது ஆசிரியர்களே அறிக்கை செய்த முன்பதிப்பு.
- [OmicsBench பொதுக் களஞ்சியம்](https://huggingface.co/datasets/gideonshaked/OmicsBench). ஆசிரியர்கள் இணைத்துள்ள வெளியீட்டில் இயக்கி நிரலும் மூன்று பொதுப் பணி கோப்புகளும் உள்ளன. கட்டுரையின் பிற்சேர்க்கை E ஒதுக்கிவைக்கப்பட்ட சோதனைத் தொகுப்பையும் உரிமங்களையும் விளக்குகிறது.

## Sources

- [Shaked மற்றும் Nagisetty: OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — ஆசிரியர்களே அறிக்கை செய்த முன்பதிப்பு. முறைகள், முடிவுகள், வரம்புகள், பிற்சேர்க்கை E ஆகியவை 97 பணிகள் கொண்ட அளவுகோலையும், அதிலுள்ள மூன்று பணிகளின் பொது வெளியீட்டையும் விவரிக்கின்றன; BIG CHANGE இதை இயக்கவில்லை.
- [OmicsBench பொதுக் களஞ்சியம்](https://huggingface.co/datasets/gideonshaked/OmicsBench) — ஆசிரியர்கள் இணைத்துள்ள இயக்கி நிரலும் மூன்று பொதுக் கேள்வி கோப்புகளும் நேரடிக் களஞ்சிய மரப் பட்டியல்களில் உறுதிசெய்யப்பட்டன. எஞ்சிய 94 பணிகள் தனிப்பட்டவையாகவே உள்ளன என்று கட்டுரை கூறுகிறது.