Markdown издање

AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench тестира AI агенте кроз зависне кораке биоинформатичке анализе

> Бенчмарк о којем извештавају сами аутори прати AI агенте кроз зависне биоинформатичке задатке. Оцене опадају у каснијим корацима, док повратне информације доносе побољшања уз ограничења.

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

OmicsBench тражи од AI агента да спроведе биоинформатичку анализу кроз узастопне, међусобно зависне захтеве. У [препринту од 15. октобра](https://arxiv.org/html/2610.21074v1), Gideon Shaked и Siddharth Nagisetty извештавају да су оцењени агенти губили тачност како је сесија одмицала и када је корак зависио од ранијих одговора. Тај резултат пред рачунарске биологе поставља конкретније питање од тога може ли агент да реши један изолован задатак: може ли током читаве студије да одржи анализу верном подацима и упутствима?

## Велика промена

- **Шта се променило:** OmicsBench оцењује низ зависних аналитичких корака у једној непрекинутој сесији агента. Открива грешке које један коначни одговор може да сакрије, мада овде докази потичу из препринта самих аутора бенчмарка.
- **Зашто је важно:** Истраживачки тим који процењује агента за анализу у више корака може да испита где резултати одступају, укључујући и то да ли агент следи задате критеријуме избора. Рад извештава о нижим оценама за зависне кораке, па је добар одговор на један упит слаб доказ за целокупан ток рада.
- **Шта пратити:** Јавно доступан програм за извршавање и три објављена задатка омогућавају истраживачима да испитају метод. Преостала 94 задатка су приватна; независне евалуације на издвојеним тестним задацима, уз проверу квалитета анализе која превазилази подударање одговора, пружиле би јаче доказе о практичној употреби.

## Како бенчмарк прати једну студију

OmicsBench садржи 97 задатака направљених на основу објављених биолошких студија и њихових скупова података, подељених на 662 подзадатка. Сваки задатак је граф корака: грана значи да каснији одговор зависи од ранијег. Медијана броја подзадатака по задатку је седам, а медијана дужине најдужег ланца зависности три корака. Подзадатак постаје један кориснички потез у непрекинутој сесији. Агент може да користи податке и своје претходне датотеке, али за сваки потез мора да упише одговор у одређену датотеку. Према ауторима, студије су одабрали људски стручњаци; након што је агент саставио нацрте задатака, стручњаци су прегледали настале задатке. [Методолошки део рада](https://arxiv.org/html/2610.21074v1) описује ту израду и поступак евалуације.

Овакав дизајн разликује се од кратке евалуације у којој се свако питање завршава после једног одговора. Разликује се и од упита на нивоу целе студије, који агенту одједном даје читав циљ и оцењује само коначни производ. Овде низ корака омогућава да се прати да ли се ранији резултат исправно преноси у каснију анализу. Један [јавно доступан пример](https://arxiv.org/html/2610.21074v1) тражи од агента да идентификује потпис стања ћелија бубрега, па да тај резултат употреби у накнадној анализи регулатора и биолошких програма. Те везе конкретизују зависности, али не доказују да целокупан ток рада производи ваљан нови научни налаз.

Оцена је просек. Један или више детерминистичких оцењивача пореде поља у свакој датотеци одговора са кључем одговора; њихов просек даје оцену подзадатка, а оцена задатка је просек његових подзадатака. Аутори су направили 58 врста оцењивача за излазе као што су скупови гена, резултати анализе обогаћености и нумеричке вредности. Неки разрешавају алтернативне биолошке идентификаторе преко референтних база података, па важећи синоним за ген не мора да падне на дословном поређењу текстуалних низова. Оцена зато мери подударање са одговорима и толеранцијама које бенчмарк дефинише, а не целовиту стручну процену анализе или њеног научног тумачења.

## Резултати зависе од повратних информација

Аутори су тестирали 12 модела у три оквира за извршавање агената. Сваки задатак је покренут три пута по режиму у контејнеру изолованом од мреже; приказани просек најпре просечава та извршавања на нивоу задатка. У режиму *једног пролаза* агент не добија повратне информације о одговору пре следећег подзадатка. Просечне оцене задатака за комбинације модела и извршног оквира кретале су се од 0,43 до 0,57 на скали од нуле до један. У режиму *са прагом* оцена испод 0,7 покреће обавештење о неуспеху и до два додатна покушаја. Просеци су се кретали од 0,54 до 0,67. Најбоља пријављена комбинација, Opus 5 на OpenCode, остварила је 0,57 без повратних информација и 0,67 са њима. То су резултати бенчмарка које износе његови аутори, а не тест BIG CHANGE-а или независна репликација.

Побољшање уз поновне покушаје захтева пажљиво тумачење. Аутори су уочили да агенти нагађају испробавајући опције у неким подзадацима са затвореним избором, па су 177 таквих подзадатака искључили из анализа потеза и поновних покушаја. Кажу да су могући и други начини искоришћавања повратних информација и да није квантификовано колики део побољшања у режиму са прагом потиче од тог понашања. Оцене тог режима описују учинак уз баш тај сигнал и ограничење броја покушаја. Не треба их читати као доказ да је агент исправио саму анализу.

У свим комбинацијама, оцене подзадатака у другом потезу биле су за 0,06 до 0,12 ниже него у првом, према анализи једног пролаза из рада. Подзадаци који зависе од ранијих одговора оцењени су слабије од независних. Уз поновне покушаје са прагом, само 22% до 34% подзадатака укључених у ту анализу поновних покушаја достигло је праг од 0,7 у највише три покушаја, наспрам 15% до 24% при првом покушају. Ти обрасци непосредније одговарају на главно питање бенчмарка него ранг-листа модела: очување читавог ланца рада и даље је тешко у овим тестовима.

## Шта показује анализа неуспеха

Аутори су испитали неуспешне прве покушаје на узорку од 150 подзадатака. Њихова аутоматизована анализа нашла је случајеве у којима агенти враћају превише резултата, замењују тражено правило избора сопственим, користе други поступак или одговарају из претходног знања уместо на основу припремљених података. Биологу добијена листа може деловати уверљиво чак и када је изабрана погрешним статистичким филтером. Примери из рада чине такве грешке кориснијим за испитивање од једне збирне оцене.

Те ознаке неуспеха су експлоративне. Језички модел у улози судије генерисао је описе и категорије; аутори су проверили слагање при поновљеном означавању, али ознаке нису валидирали према људским анотаторима. Ограничена тестирања у различитим извршним оквирима не могу ни да раздвоје колики део разлике у оцени потиче од модела, а колики од околног агентског софтвера. Збирка задатака обухвата више биолошких области, али аутори наводе да у свакој има премало задатака за поуздана поређења модела унутар те области.

Истраживачи могу да прегледају [репозиторијум који су аутори повезали](https://huggingface.co/datasets/gideonshaked/OmicsBench), а који садржи програм за извршавање и три јавне датотеке задатака са кључевима одговора. Рад наводи да се остала 94 задатка чувају као приватни тестни скуп. Тај јавни подскуп омогућава испитивање начина на који је OmicsBench направљен; сам по себи не може да репродукује рангирање из рада на свих 97 задатака. Препринт мери агенте према задатим одговорима анализе. Не доказује да могу да долазе до поузданих научних открића, раде без надзора у истраживачкој лабораторији или замене рачунарске биологе.

## Извори и додатна литература

- [Shaked и Nagisetty, „OmicsBench“, arXiv v1, 15. октобар 2026.](https://arxiv.org/html/2610.21074v1) Методи, резултати, ограничења и додаци поткрепљују овде наведене бројке и опис оцењивања. То је препринт са резултатима које износе сами аутори.
- [Јавни репозиторијум OmicsBench-а](https://huggingface.co/datasets/gideonshaked/OmicsBench). Издање које су аутори повезали садржи програм за извршавање и три јавне датотеке задатака. Додатак E рада објашњава издвојени тестни скуп и лиценце.

## Sources

- [Shaked и Nagisetty: OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — Препринт са резултатима које износе сами аутори. Методи, резултати, ограничења и Додатак E описују бенчмарк са 97 задатака и његово јавно издање са три задатка; BIG CHANGE га није покренуо.
- [Јавни репозиторијум OmicsBench-а](https://huggingface.co/datasets/gideonshaked/OmicsBench) — Програм за извршавање и три јавне датотеке питања које су повезали аутори потврђени су директним прегледом стабла репозиторијума. Рад наводи да остала 94 задатка остају приватна.