OmicsBench traži od AI agenta da sprovede bioinformatičku analizu kroz uzastopne, međusobno zavisne zahteve. U preprintu od 15. oktobra, Gideon Shaked i Siddharth Nagisetty izveštavaju da su ocenjeni agenti gubili tačnost kako je sesija odmicala i kada je korak zavisio od ranijih odgovora. Taj rezultat pred računarske biologe postavlja konkretnije pitanje od toga može li agent da reši jedan izolovan zadatak: može li tokom čitave studije da održi analizu vernom podacima i uputstvima?

Velika promena

  • Šta se promenilo: OmicsBench ocenjuje niz zavisnih analitičkih koraka u jednoj neprekinutoj sesiji agenta. Otkriva greške koje jedan konačni odgovor može da sakrije, mada ovde dokazi potiču iz preprinta samih autora benchmarka.
  • Zašto je važno: Istraživački tim koji procenjuje agenta za analizu u više koraka može da ispita gde rezultati odstupaju, uključujući i to da li agent sledi zadate kriterijume izbora. Rad izveštava o nižim ocenama za zavisne korake, pa je dobar odgovor na jedan upit slab dokaz za celokupan tok rada.
  • Šta pratiti: Javno dostupan program za izvršavanje i tri objavljena zadatka omogućavaju istraživačima da ispitaju metod. Preostala 94 zadatka su privatna; nezavisne evaluacije na izdvojenim testnim zadacima, uz proveru kvaliteta analize koja prevazilazi podudaranje odgovora, pružile bi jače dokaze o praktičnoj upotrebi.

Kako benchmark prati jednu studiju

OmicsBench sadrži 97 zadataka napravljenih na osnovu objavljenih bioloških studija i njihovih skupova podataka, podeljenih na 662 podzadatka. Svaki zadatak je graf koraka: grana znači da kasniji odgovor zavisi od ranijeg. Medijana broja podzadataka po zadatku je sedam, a medijana dužine najdužeg lanca zavisnosti tri koraka. Podzadatak postaje jedan korisnički potez u neprekinutoj sesiji. Agent može da koristi podatke i svoje prethodne datoteke, ali za svaki potez mora da upiše odgovor u određenu datoteku. Prema autorima, studije su odabrali ljudski stručnjaci; nakon što je agent sastavio nacrte zadataka, stručnjaci su pregledali nastale zadatke. Metodološki deo rada opisuje tu izradu i postupak evaluacije.

Ovakav dizajn razlikuje se od kratke evaluacije u kojoj se svako pitanje završava posle jednog odgovora. Razlikuje se i od upita na nivou cele studije, koji agentu odjednom daje čitav cilj i ocenjuje samo konačni proizvod. Ovde niz koraka omogućava da se prati da li se raniji rezultat ispravno prenosi u kasniju analizu. Jedan javno dostupan primer traži od agenta da identifikuje potpis stanja ćelija bubrega, pa da taj rezultat upotrebi u naknadnoj analizi regulatora i bioloških programa. Te veze konkretizuju zavisnosti, ali ne dokazuju da celokupan tok rada proizvodi valjan novi naučni nalaz.

Ocena je prosek. Jedan ili više determinističkih ocenjivača porede polja u svakoj datoteci odgovora sa ključem odgovora; njihov prosek daje ocenu podzadatka, a ocena zadatka je prosek njegovih podzadataka. Autori su napravili 58 vrsta ocenjivača za izlaze kao što su skupovi gena, rezultati analize obogaćenosti i numeričke vrednosti. Neki razrešavaju alternativne biološke identifikatore preko referentnih baza podataka, pa važeći sinonim za gen ne mora da padne na doslovnom poređenju tekstualnih nizova. Ocena zato meri podudaranje sa odgovorima i tolerancijama koje benchmark definiše, a ne celovitu stručnu procenu analize ili njenog naučnog tumačenja.

Rezultati zavise od povratnih informacija

Autori su testirali 12 modela u tri okvira za izvršavanje agenata. Svaki zadatak je pokrenut tri puta po režimu u kontejneru izolovanom od mreže; prikazani prosek najpre prosečava ta izvršavanja na nivou zadatka. U režimu jednog prolaza agent ne dobija povratne informacije o odgovoru pre sledećeg podzadatka. Prosečne ocene zadataka za kombinacije modela i izvršnog okvira kretale su se od 0,43 do 0,57 na skali od nule do jedan. U režimu sa pragom ocena ispod 0,7 pokreće obaveštenje o neuspehu i do dva dodatna pokušaja. Proseci su se kretali od 0,54 do 0,67. Najbolja prijavljena kombinacija, Opus 5 na OpenCode, ostvarila je 0,57 bez povratnih informacija i 0,67 sa njima. To su rezultati benchmarka koje iznose njegovi autori, a ne test BIG CHANGE-a ili nezavisna replikacija.

Poboljšanje uz ponovne pokušaje zahteva pažljivo tumačenje. Autori su uočili da agenti nagađaju isprobavajući opcije u nekim podzadacima sa zatvorenim izborom, pa su 177 takvih podzadataka isključili iz analiza poteza i ponovnih pokušaja. Kažu da su mogući i drugi načini iskorišćavanja povratnih informacija i da nije kvantifikovano koliki deo poboljšanja u režimu sa pragom potiče od tog ponašanja. Ocene tog režima opisuju učinak uz baš taj signal i ograničenje broja pokušaja. Ne treba ih čitati kao dokaz da je agent ispravio samu analizu.

U svim kombinacijama, ocene podzadataka u drugom potezu bile su za 0,06 do 0,12 niže nego u prvom, prema analizi jednog prolaza iz rada. Podzadaci koji zavise od ranijih odgovora ocenjeni su slabije od nezavisnih. Uz ponovne pokušaje sa pragom, samo 22% do 34% podzadataka uključenih u tu analizu ponovnih pokušaja dostiglo je prag od 0,7 u najviše tri pokušaja, naspram 15% do 24% pri prvom pokušaju. Ti obrasci neposrednije odgovaraju na glavno pitanje benchmarka nego rang-lista modela: očuvanje čitavog lanca rada i dalje je teško u ovim testovima.

Šta pokazuje analiza neuspeha

Autori su ispitali neuspešne prve pokušaje na uzorku od 150 podzadataka. Njihova automatizovana analiza našla je slučajeve u kojima agenti vraćaju previše rezultata, zamenjuju traženo pravilo izbora sopstvenim, koriste drugi postupak ili odgovaraju iz prethodnog znanja umesto na osnovu pripremljenih podataka. Biologu dobijena lista može delovati uverljivo čak i kada je izabrana pogrešnim statističkim filterom. Primeri iz rada čine takve greške korisnijim za ispitivanje od jedne zbirne ocene.

Te oznake neuspeha su eksplorativne. Jezički model u ulozi sudije generisao je opise i kategorije; autori su proverili slaganje pri ponovljenom označavanju, ali oznake nisu validirali prema ljudskim anotatorima. Ograničena testiranja u različitim izvršnim okvirima ne mogu ni da razdvoje koliki deo razlike u oceni potiče od modela, a koliki od okolnog agentskog softvera. Zbirka zadataka obuhvata više bioloških oblasti, ali autori navode da u svakoj ima premalo zadataka za pouzdana poređenja modela unutar te oblasti.

Istraživači mogu da pregledaju repozitorijum koji su autori povezali, a koji sadrži program za izvršavanje i tri javne datoteke zadataka sa ključevima odgovora. Rad navodi da se ostala 94 zadatka čuvaju kao privatni testni skup. Taj javni podskup omogućava ispitivanje načina na koji je OmicsBench napravljen; sam po sebi ne može da reprodukuje rangiranje iz rada na svih 97 zadataka. Preprint meri agente prema zadatim odgovorima analize. Ne dokazuje da mogu da dolaze do pouzdanih naučnih otkrića, rade bez nadzora u istraživačkoj laboratoriji ili zamene računarske biologe.

Izvori i dodatna literatura