Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench проверяет ИИ-агентов на зависимых этапах биоинформатического анализа

> Бенчмарк, результаты которого сообщают сами авторы, отслеживает ИИ-агентов на зависимых биоинформатических задачах. На последующих этапах оценки снижаются, а обратная связь улучшает результаты с оговорками.

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

OmicsBench предлагает ИИ-агенту проводить биоинформатический анализ по последовательным запросам, зависящим от предыдущих результатов. В [препринте от 15 октября](https://arxiv.org/html/2610.21074v1) Gideon Shaked и Siddharth Nagisetty сообщают, что точность проверенных ими агентов снижалась по мере развития сессии и когда этап зависел от прежних ответов. Перед специалистами по вычислительной биологии встает более конкретный вопрос, чем способность агента решить отдельную задачу: сможет ли он сохранять соответствие анализа данным и инструкциям на протяжении всего исследования?

## Главное изменение

- **Что изменилось:** OmicsBench оценивает последовательность зависимых этапов анализа в одной непрерывной сессии агента. Это выявляет ошибки, которые может скрыть единственный итоговый ответ, хотя приведенные здесь свидетельства взяты из препринта самих авторов бенчмарка.
- **Почему это важно:** Исследовательская группа, оценивающая агента для многоэтапного анализа, может проверить, где его результаты отклоняются от требований, в том числе соблюдает ли он заданные критерии отбора. Статья сообщает о более низких оценках на зависимых этапах, поэтому хороший ответ на один запрос — слабое свидетельство качества всего процесса.
- **За чем следить:** Открытая программа запуска и три опубликованные задачи позволяют исследователям изучить метод. Остальные 94 задачи закрыты. Независимые оценки на отложенных тестовых задачах с проверкой качества анализа, выходящей за рамки совпадения ответов, дали бы более убедительные свидетельства практической полезности.

## Как бенчмарк отслеживает исследование

OmicsBench содержит 97 задач, созданных на основе опубликованных биологических исследований и их наборов данных и разделенных на 662 подзадачи. Каждая задача — граф этапов: ребро означает, что последующий ответ зависит от предыдущего. Медианное число подзадач в задаче равно семи, а медианная длина самой длинной цепочки зависимостей — трем этапам. Подзадача становится одним ходом пользователя в непрерывной сессии. Агент может использовать данные и свои прежние файлы, но на каждом ходе должен записать заданный файл ответа. По словам авторов, исследования отбирали специалисты-люди; после подготовки агентом черновиков задач специалисты проверяли полученные задачи. [Раздел методов статьи](https://arxiv.org/html/2610.21074v1) описывает эту конструкцию и процедуру оценки.

Такой подход отличается от короткой оценки, где каждый вопрос завершается после одного ответа. Он также отличается от запроса масштаба целого исследования, который сразу передает агенту всю цель и оценивает только конечный продукт. Здесь последовательность позволяет наблюдать, правильно ли предыдущий результат переносится в последующий анализ. Один [открытый пример](https://arxiv.org/html/2610.21074v1) предлагает агенту определить сигнатуру состояния клеток почки, а затем использовать результат в дальнейшем анализе регуляторов и биологических программ. Эти связи делают зависимости конкретными, но не доказывают, что весь процесс дает обоснованное новое научное открытие.

Оценка представляет собой среднее. Один или несколько детерминированных проверяющих модулей сравнивают поля каждого файла ответа с эталонными ответами; их среднее дает оценку подзадачи, а оценка задачи усредняет ее подзадачи. Авторы создали 58 типов проверяющих модулей для таких результатов, как наборы генов, результаты анализа обогащения и числовые значения. Некоторые сопоставляют альтернативные биологические идентификаторы через справочные базы данных, поэтому допустимый синоним гена не обязательно будет отвергнут при буквальном сравнении строк. Таким образом, оценка измеряет соответствие заданным в бенчмарке ответам и допускам, а не полное экспертное суждение об анализе или его научной интерпретации.

## Результаты зависят от обратной связи

Авторы проверили 12 моделей в трех средах выполнения агентов. Каждую задачу запускали трижды в каждом режиме в изолированном от сети контейнере; при расчете опубликованного среднего сначала усредняют эти запуски на уровне задачи. В *однопроходном* режиме агент не получает обратной связи об ответе до следующей подзадачи. Средние оценки задач для сочетаний моделей и сред выполнения составляли от 0,43 до 0,57 по шкале от нуля до единицы. В режиме *с порогом* оценка ниже 0,7 вызывает уведомление о неудаче и дает до двух дополнительных попыток. Средние оценки составляли от 0,54 до 0,67. Лучшее указанное сочетание, Opus 5 в OpenCode, получило 0,57 без обратной связи и 0,67 с ней. Это результаты бенчмарка, сообщенные авторами, а не запуск BIG CHANGE или независимое воспроизведение.

Улучшение при повторных попытках нужно трактовать осторожно. Авторы заметили, что в некоторых подзадачах с закрытым выбором агенты перебирали варианты наугад, поэтому исключили 177 таких подзадач из анализа ходов и повторных попыток. По их словам, возможны и другие способы использовать обратную связь в обход замысла оценки, а доля улучшения в пороговом режиме, обусловленная таким поведением, не измерена. Оценки этого режима характеризуют результат при конкретном сигнале и ограничении числа попыток. Их нельзя считать доказательством того, что агент исправил сам анализ.

По всем сочетаниям оценки подзадач второго хода были на 0,06–0,12 ниже, чем первого, в однопроходном анализе статьи. Подзадачи, зависевшие от прежних ответов, получали более низкие оценки, чем независимые. При повторных попытках с порогом лишь 22%–34% подзадач, включенных в этот анализ повторных попыток, достигали порога 0,7 за три попытки, против 15%–24% с первой попытки. Эти закономерности отвечают на главный вопрос бенчмарка непосредственнее, чем рейтинг моделей: в этих тестах по-прежнему трудно сохранить целостность цепочки работы.

## Что показывает анализ неудач

Авторы изучили неудачные первые попытки на выборке из 150 подзадач. Автоматический анализ выявил случаи, когда агенты возвращали слишком много результатов, подменяли запрошенное правило отбора собственным, использовали другую процедуру или отвечали на основе прежних знаний вместо подготовленных данных. Для биолога полученный список может выглядеть правдоподобно, даже если его отобрали неверным статистическим фильтром. Примеры в статье делают такие ошибки более полезным предметом изучения, чем единственная сводная оценка.

Эти метки неудач носят поисковый характер. Языковая модель в роли судьи создавала описания и категории; авторы проверили согласованность повторных аннотаций, но не сверяли метки с разметкой людей. Ограниченные запуски в разных средах также не позволяют отделить вклад модели в разницу оценок от вклада окружающего агентного программного обеспечения. Набор охватывает несколько биологических областей, однако авторы считают число задач в каждой слишком малым для надежного сравнения моделей внутри области.

Исследователи могут изучить [репозиторий, на который ссылаются авторы](https://huggingface.co/datasets/gideonshaked/OmicsBench), содержащий программу запуска и три открытых файла задач с эталонными ответами. В статье сказано, что остальные 94 задачи сохраняются как закрытый тестовый набор. Открытая часть позволяет изучить устройство OmicsBench, но сама по себе не дает воспроизвести рейтинг статьи по всем 97 задачам. Препринт сравнивает агентов с заданными ответами анализа. Он не доказывает их способность делать надежные научные открытия, работать без присмотра в исследовательской лаборатории или заменять специалистов по вычислительной биологии.

## Источники и дополнительное чтение

- [Shaked и Nagisetty, «OmicsBench», arXiv v1, 15 октября 2026 года](https://arxiv.org/html/2610.21074v1). Методы, результаты, ограничения и приложения подтверждают приведенные здесь числа и описание оценки. Это препринт с результатами, сообщенными самими авторами.
- [Открытый репозиторий OmicsBench](https://huggingface.co/datasets/gideonshaked/OmicsBench). Публикация, на которую ссылаются авторы, содержит программу запуска и три открытых файла задач. Приложение E статьи объясняет отложенный набор и лицензии.

## Sources

- [Shaked и Nagisetty: OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — Препринт с результатами самих авторов. Методы, результаты, ограничения и Приложение E описывают бенчмарк из 97 задач и открытый выпуск трех из них; BIG CHANGE его не запускал.
- [Открытый репозиторий OmicsBench](https://huggingface.co/datasets/gideonshaked/OmicsBench) — Программа запуска, на которую ссылаются авторы, и три открытых файла вопросов подтверждены прямым просмотром дерева репозитория. По данным статьи, остальные 94 задачи остаются закрытыми.