వరుసగా వచ్చే, పరస్పరం ఆధారపడే అభ్యర్థనల ద్వారా జీవసమాచారశాస్త్ర విశ్లేషణ కొనసాగించాలని OmicsBench ఒక AI ఏజెంట్‌ను కోరుతుంది. ఒక అక్టోబర్ 15 ప్రీప్రింట్‌లో, Gideon Shaked, Siddharth Nagisetty తాము మూల్యాంకనం చేసిన ఏజెంట్లలో సెషన్ ముందుకు సాగే కొద్దీ, అలాగే ఒక దశ గత సమాధానాలపై ఆధారపడినప్పుడు కచ్చితత్వం తగ్గిందని నివేదించారు. ఒక విడి పనిని ఏజెంట్ పరిష్కరించగలదా అన్నదానికంటే మరింత నిర్దిష్టమైన ప్రశ్నను ఇది కంప్యూటేషనల్ బయాలజిస్టుల ముందుంచుతుంది: అధ్యయనం మొత్తంలో విశ్లేషణను డేటా, సూచనలకు అనుగుణంగా ఉంచగలదా?
ముఖ్యమైన మార్పు
- ఏం మారింది: ఒకే నిరంతర ఏజెంట్ సెషన్‌లో పరస్పరం ఆధారపడే విశ్లేషణ దశల క్రమానికి OmicsBench స్కోరు ఇస్తుంది. ఒక్క తుది సమాధానం దాచిపెట్టగల తప్పులను ఇది బయటపెడుతుంది. అయితే ఇక్కడి ఆధారాలు బెంచ్‌మార్క్ రచయితల సొంత ప్రీప్రింట్ నుంచే వచ్చాయి.
- ఎందుకు ముఖ్యం: బహుళ దశల విశ్లేషణ కోసం ఏజెంట్‌ను అంచనా వేసే పరిశోధనా బృందం, సూచించిన ఎంపిక ప్రమాణాలను అనుసరిస్తుందా అన్నదానితో పాటు, ఫలితాలు ఎక్కడ దారి తప్పుతున్నాయో పరిశీలించవచ్చు. ఆధారపడే దశల్లో తక్కువ స్కోర్లు వచ్చాయని పత్రం చెబుతోంది. కాబట్టి ఒక ప్రాంప్ట్‌కు మంచి సమాధానం రావడం, మొత్తం పనిప్రవాహానికి బలహీనమైన ఆధారం మాత్రమే.
- గమనించాల్సినది: బహిరంగంగా అందుబాటులో ఉన్న రన్నర్, విడుదల చేసిన మూడు పనులు పద్ధతిని పరిశీలించడానికి పరిశోధకులకు వీలు కల్పిస్తాయి. మిగిలిన 94 పనులు ప్రైవేట్‌గా ఉన్నాయి. పరీక్ష కోసం పక్కన ఉంచిన పనులపై స్వతంత్ర మూల్యాంకనం, కేవలం సమాధానాల సరిపోలికకు మించి విశ్లేషణ నాణ్యతను తనిఖీ చేయడం, ఆచరణాత్మక వినియోగంపై బలమైన ఆధారాలను ఇస్తాయి.
ఒక అధ్యయనాన్ని బెంచ్‌మార్క్ ఎలా అనుసరిస్తుంది
ప్రచురిత జీవశాస్త్ర అధ్యయనాలు, వాటి డేటాసెట్‌ల ఆధారంగా రూపొందించిన 97 పనులు OmicsBenchలో ఉన్నాయి. వాటిని 662 ఉపపనులుగా విభజించారు. ప్రతి పని దశల గ్రాఫ్‌గా ఉంటుంది: ఒక అంచు అంటే తరువాతి సమాధానం అంతకుముందు సమాధానంపై ఆధారపడుతుందని అర్థం. ఒక పనిలో ఉపపనుల సంఖ్యకు మధ్యక విలువ ఏడు; అత్యంత పొడవైన ఆధార గొలుసు పొడవుకు మధ్యక విలువ మూడు దశలు. ప్రతి ఉపపని నిరంతర సెషన్‌లో వినియోగదారు ఇచ్చే ఒక టర్న్ అవుతుంది. ఏజెంట్ డేటాను, తాను ముందుగా సృష్టించిన ఫైళ్లను వాడవచ్చు. కానీ ప్రతి టర్న్‌కు నిర్దేశించిన సమాధాన ఫైల్‌ను రాయాలి. మానవ నిపుణులు అధ్యయనాలను ఎంపిక చేశారని, ఏజెంట్ పనుల ముసాయిదాలను రూపొందించిన తరువాత ఆ పనులను నిపుణులు సమీక్షించారని రచయితలు చెబుతున్నారు. పత్రంలోని పద్ధతుల విభాగం ఆ నిర్మాణాన్ని, మూల్యాంకన విధానాన్ని వివరిస్తుంది.
ప్రతి ప్రశ్న ఒక్క సమాధానంతో ముగిసే చిన్న మూల్యాంకనానికి ఈ రూపకల్పన భిన్నం. అధ్యయనం స్థాయి మొత్తం లక్ష్యాన్ని ఒకేసారి ఏజెంట్‌కు ఇచ్చి, తుది ఫలితానికే స్కోరు ఇచ్చే ప్రాంప్ట్‌కూ ఇది భిన్నం. ఇక్కడి క్రమం, ముందు వచ్చిన ఫలితాన్ని తరువాతి విశ్లేషణలోకి సరిగ్గా తీసుకెళ్తుందా అనేది గమనించే వీలు కల్పిస్తుంది. ఒక బహిరంగ ఉదాహరణ ఏజెంట్‌ను మూత్రపిండ కణ స్థితికి సంబంధించిన సిగ్నేచర్‌ను గుర్తించి, ఆ ఫలితాన్ని నియంత్రకాలు, జీవసంబంధ కార్యక్రమాల తదుపరి విశ్లేషణలో వాడమని కోరుతుంది. ఆ అనుసంధానాలు ఆధార సంబంధాలను స్పష్టంగా చూపుతాయి. అయితే పూర్తి పనిప్రవాహం బలమైన కొత్త శాస్త్రీయ నిర్ధారణను ఇస్తుందని నిరూపించవు.
స్కోరు ఒక సగటు. ఒకటి లేదా అంతకంటే ఎక్కువ డిటర్మినిస్టిక్ గ్రేడర్లు ప్రతి సమాధాన ఫైల్‌లోని ఫీల్డ్‌లను సమాధానాల కీతో పోలుస్తాయి. వాటి సగటు ఉపపని స్కోరు అవుతుంది; ఒక పని స్కోరు దాని ఉపపనుల సగటు. జన్యు సమితులు, ఎన్‌రిచ్‌మెంట్ ఫలితాలు, సంఖ్యా విలువలు వంటి అవుట్‌పుట్‌లకు రచయితలు 58 రకాల గ్రేడర్లను రూపొందించారు. కొన్ని రిఫరెన్స్ డేటాబేస్‌ల ద్వారా ప్రత్యామ్నాయ జీవసంబంధ గుర్తింపులను పరిష్కరిస్తాయి. అందువల్ల ఒక జన్యువుకు చెల్లుబాటయ్యే పర్యాయ నామం, అక్షరాలా స్ట్రింగ్ పోలికలో తప్పుగా గుర్తించబడాల్సిన అవసరం లేదు. అంటే స్కోరు బెంచ్‌మార్క్ నిర్దేశించిన సమాధానాలు, అనుమతించిన తేడాలతో సరిపోలికను కొలుస్తుంది; విశ్లేషణ లేదా దాని శాస్త్రీయ వ్యాఖ్యానంపై పూర్తి నిపుణ నిర్ణయం కాదు.
ఫలితాలు ఫీడ్‌బ్యాక్‌పై ఆధారపడతాయి
రచయితలు మూడు ఏజెంట్ అమలు ఫ్రేమ్‌వర్క్‌లలో 12 మోడళ్లను పరీక్షించారు. నెట్‌వర్క్ నుంచి వేరుచేసిన కంటైనర్‌లో ప్రతి మోడ్‌కు ప్రతి పనిని మూడు సార్లు అమలు చేశారు. నివేదించిన సగటు ముందుగా పని స్థాయిలో ఆ అమలుల సగటును తీసుకుంటుంది. ఒకే పాస్ మోడ్‌లో, తరువాతి ఉపపనికి ముందు ఏజెంట్‌కు సమాధానంపై ఫీడ్‌బ్యాక్ అందదు. మోడల్, ఫ్రేమ్‌వర్క్ కలయికలలో సగటు పని స్కోర్లు సున్నా నుంచి ఒకటి స్కేల్‌పై 0.43 నుంచి 0.57 వరకు ఉన్నాయి. పరిమితి ఆధారిత మోడ్‌లో, 0.7 కంటే తక్కువ స్కోరు వస్తే విఫలమైనట్లు నోటీసు ఇస్తారు; గరిష్ఠంగా మరో రెండు ప్రయత్నాలు చేయవచ్చు. సగటు స్కోర్లు 0.54 నుంచి 0.67 వరకు ఉన్నాయి. నివేదించిన ఉత్తమ కలయిక అయిన OpenCodeపై Opus 5, ఫీడ్‌బ్యాక్ లేకుండా 0.57, దానితో 0.67 సాధించింది. ఇవి రచయితలు నివేదించిన బెంచ్‌మార్క్ ఫలితాలు; BIG CHANGE చేసిన అమలు లేదా స్వతంత్ర పునరావృత పరీక్ష కాదు.
పునఃప్రయత్నాలతో మెరుగుదలను జాగ్రత్తగా అర్థం చేసుకోవాలి. కొన్ని పరిమిత ఎంపికల ఉపపనుల్లో ఏజెంట్లు ఎంపికలను ఊహిస్తూ ప్రయత్నించడాన్ని రచయితలు గమనించారు. అందువల్ల టర్న్, పునఃప్రయత్న విశ్లేషణల నుంచి అలాంటి 177 ఉపపనులను తొలగించారు. ఫీడ్‌బ్యాక్‌ను అనుకూలంగా మలచుకునే ఇతర మార్గాలూ సాధ్యమేనని, ఆ ప్రవర్తన వల్ల పరిమితి మోడ్ మెరుగుదలలో ఎంత వాటా వచ్చిందో కొలవలేదని వారు చెబుతున్నారు. ఆ స్కోర్లు ఈ నిర్దిష్ట సంకేతం, ప్రయత్నాల పరిమితి కింద పనితీరును వివరిస్తాయి. ఏజెంట్ అసలు విశ్లేషణను సరిచేసిందనే ఆధారంగా వాటిని చదవకూడదు.
పత్రంలోని ఒకే పాస్ విశ్లేషణలో, అన్ని కలయికల్లో రెండో టర్న్ ఉపపని స్కోర్లు మొదటి టర్న్ కంటే 0.06 నుంచి 0.12 తక్కువగా ఉన్నాయి. ముందు సమాధానాలపై ఆధారపడే ఉపపనులకు, స్వతంత్ర ఉపపనుల కంటే తక్కువ స్కోర్లు వచ్చాయి. పరిమితితో పునఃప్రయత్నాలు చేసినప్పుడు, ఆ పునఃప్రయత్న విశ్లేషణలో చేర్చిన ఉపపనుల్లో కేవలం 22% నుంచి 34% మాత్రమే మూడు ప్రయత్నాల్లో 0.7 స్థాయికి చేరాయి. తొలి ప్రయత్నంలో అది 15% నుంచి 24%గా ఉంది. మోడల్ ర్యాంకింగ్ కంటే ఈ నమూనాలు బెంచ్‌మార్క్ ప్రధాన ప్రశ్నను నేరుగా ప్రతిబింబిస్తాయి: ఈ పరీక్షల్లో పని గొలుసును చెదరకుండా కొనసాగించడం ఇంకా కష్టమే.
వైఫల్య విశ్లేషణ చూపేది
రచయితలు 150 ఉపపనుల నమూనాలో విఫలమైన తొలి ప్రయత్నాలను పరిశీలించారు. ఏజెంట్లు చాలా ఎక్కువ ఫలితాలను ఇవ్వడం, కోరిన ఎంపిక నియమాన్ని సొంత నియమంతో మార్చడం, వేరే పద్ధతిని వాడడం లేదా సిద్ధం చేసిన డేటా బదులు ముందస్తు జ్ఞానం ఆధారంగా సమాధానం ఇవ్వడం వంటి సందర్భాలను ఆటోమేటెడ్ విశ్లేషణ కనుగొంది. తప్పుడు గణాంక ఫిల్టర్‌తో ఎంపిక చేసినా, వచ్చిన జాబితా జీవశాస్త్రవేత్తకు నమ్మదగినదిగా కనిపించవచ్చు. ఒక్క సమగ్ర స్కోరు కంటే ఆ వైఫల్యాన్ని పరిశీలించడాన్ని పత్రంలోని ఉదాహరణలు మరింత ఉపయోగకరంగా చేస్తాయి.
ఆ వైఫల్య లేబుళ్లు అన్వేషణాత్మకమైనవి. ఒక భాషా మోడల్ న్యాయనిర్ణేత వివరణలు, వర్గాలను సృష్టించింది. పదేపదే చేసిన అనోటేషన్‌ల మధ్య ఏకీభావాన్ని రచయితలు తనిఖీ చేశారు. కానీ మానవ అనోటేటర్లతో పోల్చి లేబుళ్లను ధ్రువీకరించలేదు. వేర్వేరు ఫ్రేమ్‌వర్క్‌లలో పరిమితంగా చేసిన అమలులతో స్కోరు తేడాలో ఎంత భాగం మోడల్ నుంచి, ఎంత భాగం దాని చుట్టూ ఉన్న ఏజెంట్ సాఫ్ట్‌వేర్ నుంచి వచ్చిందో వేరు చేయలేరు. ఈ పనుల సేకరణ పలు జీవశాస్త్ర రంగాలను కవర్ చేస్తుంది. అయితే ప్రతి రంగంలో మోడళ్లను విశ్వసనీయంగా పోల్చడానికి పనుల సంఖ్య చాలా తక్కువగా ఉందని రచయితలు చెబుతున్నారు.
పరిశోధకులు రచయితలు లింక్ చేసిన రిపోజిటరీని పరిశీలించవచ్చు. అందులో రన్నర్, సమాధానాల కీతో కూడిన మూడు బహిరంగ పని ఫైళ్లు ఉన్నాయి. మిగిలిన 94 పనులను ప్రైవేట్ పరీక్షా సమితిగా ఉంచారని పత్రం చెబుతోంది. ఆ బహిరంగ ఉపసమితి OmicsBench నిర్మాణాన్ని పరిశీలించడానికి సహాయపడుతుంది. అయితే దానితో మాత్రమే పత్రంలోని మొత్తం 97 పనుల ర్యాంకింగ్‌ను పునరుత్పత్తి చేయలేరు. నిర్దేశించిన విశ్లేషణ సమాధానాలతో పోల్చి ప్రీప్రింట్ ఏజెంట్లను కొలుస్తుంది. అవి విశ్వసనీయ శాస్త్రీయ ఆవిష్కరణలు చేయగలవని, పరిశోధనా ప్రయోగశాలలో పర్యవేక్షణ లేకుండా పనిచేయగలవని లేదా కంప్యూటేషనల్ బయాలజిస్టులను భర్తీ చేయగలవని అది నిరూపించదు.
మూలాలు, తదుపరి పఠనం
- Shaked, Nagisetty, “OmicsBench”, arXiv v1, అక్టోబర్ 15, 2026. పద్ధతులు, ఫలితాలు, పరిమితులు, అనుబంధాలు ఇక్కడి సంఖ్యలకు, స్కోరింగ్ వివరణకు ఆధారం. ఇది రచయితలే నివేదించిన ప్రీప్రింట్.
- OmicsBench బహిరంగ రిపోజిటరీ. రచయితలు లింక్ చేసిన విడుదలలో రన్నర్, మూడు బహిరంగ పని ఫైళ్లు ఉన్నాయి. పత్రంలోని అనుబంధం E, పక్కన ఉంచిన పరీక్షా సమితిని, లైసెన్సులను వివరిస్తుంది.
