Hinihingi ng OmicsBench sa isang ahente ng AI na isagawa ang pagsusuring bioinformatics sa sunod-sunod na kahilingang umaasa sa naunang resulta. Sa isang preprint noong Oktubre 15, iniulat nina Gideon Shaked at Siddharth Nagisetty na nabawasan ang katumpakan ng mga ahenteng sinuri nila habang umuusad ang sesyon at kapag nakasalalay ang isang hakbang sa mga naunang sagot. Mas tiyak ang tanong nito para sa mga computational biologist kaysa kung kayang lutasin ng ahente ang isang hiwalay na gawain: mapapanatili ba nitong tapat sa datos at mga tagubilin ang pagsusuri sa kabuuan ng isang pag-aaral?

Ang malaking pagbabago

  • Ano ang nagbago: Binibigyan ng OmicsBench ng iskor ang sunod-sunod na magkakadependeng hakbang ng pagsusuri sa iisang tuloy-tuloy na sesyon ng ahente. Inilalantad nito ang mga pagkakamaling maaaring matakpan ng iisang panghuling sagot, bagaman ang ebidensiya rito ay mula sa sariling preprint ng mga may-akda ng benchmark.
  • Bakit mahalaga: Maaaring suriin ng pangkat na nagtatasa ng ahente para sa pagsusuring maraming hakbang kung saan lumilihis ang mga resulta, kabilang ang pagsunod sa itinakdang pamantayan ng pagpili. Mas mababa ang iskor sa mga hakbang na umaasa sa nauna ayon sa papel, kaya mahina ang ebidensiyang ibinibigay ng isang mahusay na sagot sa isang prompt tungkol sa buong daloy ng trabaho.
  • Ano ang dapat bantayan: Nagbibigay-daan ang pampublikong programang tagapagpatakbo at tatlong inilabas na gawain upang masuri ng mga mananaliksik ang paraan. Pribado ang natitirang 94 na gawain. Mas matibay na ebidensiya ng praktikal na gamit ang maibibigay ng independiyenteng pagsusuri sa mga gawaing inilaan para sa pagsubok, na tumitingin sa kalidad ng pagsusuri lampas sa pagtutugma ng mga sagot.

Paano sinusundan ng benchmark ang isang pag-aaral

May 97 na gawain ang OmicsBench na binuo mula sa nailathalang pag-aaral sa biyolohiya at mga dataset nito, at hinati sa 662 na subtask. Bawat gawain ay graph ng mga hakbang: ang isang edge ay nangangahulugang nakasalalay ang susunod na sagot sa naunang sagot. Pito ang median na bilang ng subtask sa bawat gawain, at tatlong hakbang ang median na haba ng pinakamahabang chain ng dependency. Ang isang subtask ay nagiging isang turn ng user sa tuloy-tuloy na sesyon. Maaaring gamitin ng ahente ang datos at mga dati nitong file, ngunit kailangan nitong isulat ang itinakdang file ng sagot sa bawat turn. Ayon sa mga may-akda, mga ekspertong tao ang pumili ng mga pag-aaral; pagkatapos gumawa ang ahente ng mga draft ng gawain, sinuri ng mga eksperto ang nabuong mga gawain. Ang seksiyon ng mga paraan sa papel ang naglalarawan sa pagbuo at proseso ng pagsusuri.

Naiiba ang disenyong ito sa maikling pagsusuring nagtatapos ang bawat tanong pagkatapos ng isang tugon. Naiiba rin ito sa prompt na para sa buong pag-aaral, na ibinibigay sa ahente ang buong layunin nang sabay-sabay at panghuling produkto lamang ang binibigyan ng iskor. Dito, nakikita sa pagkakasunod-sunod kung naipapasa nang tama ang naunang resulta sa kasunod na pagsusuri. Isang pampublikong halimbawa ang humihiling sa ahente na tukuyin ang signature ng estado ng mga selula ng bato at gamitin ang resultang iyon sa kasunod na pagsusuri ng mga regulator at biyolohikal na programa. Nililinaw ng mga ugnayang iyon ang mga dependency, ngunit hindi pinatutunayang nakalilikha ang buong daloy ng trabaho ng matibay na bagong siyentipikong tuklas.

Average ang iskor. Inihahambing ng isa o higit pang deterministikong tagapamarka ang mga field sa bawat file ng sagot sa isang answer key; ang kanilang mean ang iskor ng subtask, at ina-average naman ng iskor ng gawain ang mga subtask nito. Gumawa ang mga may-akda ng 58 uri ng tagapamarka para sa mga output gaya ng mga set ng gene, resulta ng enrichment analysis at numerikong halaga. Ang ilan ay gumagamit ng mga reference database upang itugma ang mga alternatibong biyolohikal na identifier, kaya hindi kailangang mabigo sa literal na paghahambing ng string ang isang wastong kasingkahulugang pangalan ng gene. Samakatuwid, sinusukat ng iskor ang pagkakatugma sa itinakdang sagot at mga tolerance ng benchmark, hindi ang buong hatol ng eksperto sa pagsusuri o sa siyentipikong interpretasyon nito.

Nakasalalay sa feedback ang mga resulta

Sinubok ng mga may-akda ang 12 modelo sa tatlong balangkas ng pagpapatakbo ng ahente. Tatlong beses pinatakbo ang bawat gawain sa bawat mode sa container na hiwalay sa network; ina-average muna ng iniulat na mean ang mga pagpapatakbong iyon sa antas ng gawain. Sa mode na iisang pagdaan, walang natatanggap na feedback tungkol sa sagot ang ahente bago ang susunod na subtask. Mula 0.43 hanggang 0.57 sa iskalang zero hanggang isa ang mean na iskor ng gawain sa iba't ibang kombinasyon ng modelo at balangkas. Sa mode na may threshold, ang iskor na mas mababa sa 0.7 ay nag-uudyok ng abiso ng pagkabigo at hanggang dalawang karagdagang pagtatangka. Mula 0.54 hanggang 0.67 ang mga mean na iskor. Ang pinakamagandang iniulat na kombinasyon, Opus 5 sa OpenCode, ay nakakuha ng 0.57 nang walang feedback at 0.67 kapag mayroon. Mga resulta ito ng benchmark na iniulat ng mga may-akda, hindi pagpapatakbo ng BIG CHANGE o independiyenteng replikasyon.

Kailangang maingat na ipakahulugan ang pagbuti dahil sa muling pagsubok. Nakita ng mga may-akda na nanghuhula ang mga ahente sa mga pagpipilian sa ilang subtask na sarado ang mga opsiyon, kaya inalis nila ang 177 na ganoong subtask sa pagsusuri ng mga turn at muling pagsubok. Ayon sa kanila, posible rin ang ibang paraan ng pagsasamantala sa feedback, at hindi pa nasusukat kung gaano kalaki sa pagbuti ng mode na may threshold ang dulot ng pag-uugaling ito. Inilalarawan ng mga iskor nito ang pagganap sa partikular na signal at limitasyon ng pagtatangka. Hindi ito dapat basahin bilang patunay na naitama ng ahente ang mismong pagsusuri.

Sa iba't ibang kombinasyon, mas mababa nang 0.06 hanggang 0.12 ang iskor ng subtask sa ikalawang turn kaysa sa una sa pagsusuri ng papel sa mode na iisang pagdaan. Mas mababa ang iskor ng mga subtask na umaasa sa naunang sagot kaysa sa mga independiyente. Sa muling pagsubok na may threshold, 22% hanggang 34% lamang ng mga subtask na kasama sa pagsusuring iyon ng muling pagsubok ang umabot sa threshold na 0.7 sa loob ng tatlong pagtatangka, kumpara sa 15% hanggang 24% sa unang pagtatangka. Mas tuwirang tinutugunan ng mga padron na ito ang pangunahing tanong ng benchmark kaysa sa ranggo ng mga modelo: mahirap pa ring panatilihing buo ang kadena ng trabaho sa mga pagsubok na ito.

Ang ipinakikita ng pagsusuri ng pagkabigo

Sinuri ng mga may-akda ang mga nabigong unang pagtatangka sa isang sample na 150 subtask. Natukoy ng kanilang awtomatikong pagsusuri ang mga kasong mas marami kaysa sa hinihingi ang ibinalik na resulta ng ahente, pinalitan nito ng sariling tuntunin ang hinihinging tuntunin sa pagpili, gumamit ng ibang proseso, o sumagot mula sa dating kaalaman sa halip na sa inihandang datos. Para sa biyologo, maaaring mukhang kapani-paniwala ang listahang ibinalik kahit maling estadistikal na filter ang ginamit sa pagpili. Mas kapaki-pakinabang suriin ang ganitong pagkabigo sa mga halimbawa sa papel kaysa sa iisang pinagsamang iskor.

Panukalang pag-uuri lamang ang mga label na iyon ng pagkabigo. Isang modelong pangwika bilang tagahatol ang gumawa ng mga paglalarawan at kategorya; sinuri ng mga may-akda ang pagkakatugma ng paulit-ulit na anotasyon ngunit hindi nila pinatunayan ang mga label laban sa mga anotasyon ng tao. Hindi rin naihihiwalay ng limitadong pagpapatakbo sa magkakaibang balangkas kung gaano kalaki sa kaibahan ng iskor ang mula sa modelo at gaano kalaki ang mula sa nakapaligid na software ng ahente. Saklaw ng koleksiyon ang ilang larangan ng biyolohiya, ngunit ayon sa mga may-akda, kulang ang gawain sa bawat larangan para sa maaasahang paghahambing ng mga modelo sa loob nito.

Maaaring suriin ng mga mananaliksik ang repositoryong iniugnay ng mga may-akda, na naglalaman ng programang tagapagpatakbo at tatlong pampublikong file ng gawain na may answer key. Ayon sa papel, itinatago ang iba pang 94 na gawain bilang pribadong test set. Nakakatulong ang pampublikong subset na iyon sa pagsuri kung paano binuo ang OmicsBench; hindi nito kayang ulitin nang mag-isa ang buong ranggo sa 97 gawain ng papel. Sinusukat ng preprint ang mga ahente laban sa itinakdang sagot ng pagsusuri. Hindi nito pinatutunayang kaya nilang gumawa ng maaasahang siyentipikong tuklas, tumakbo nang walang pangangasiwa sa isang laboratoryo ng pananaliksik, o pumalit sa mga computational biologist.

Mga sanggunian at karagdagang babasahin