AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench testa agentes de IA em etapas dependentes de bioinformática

> Um benchmark relatado pelos autores acompanha agentes de IA em tarefas dependentes de bioinformática. As pontuações caem nas etapas posteriores, enquanto o feedback melhora os resultados sob certas limitações.

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

O OmicsBench pede que um agente de IA conduza uma análise de bioinformática ao longo de solicitações sucessivas e dependentes. Em um [preprint de 15 de outubro](https://arxiv.org/html/2610.21074v1), Gideon Shaked e Siddharth Nagisetty relatam que os agentes avaliados perderam precisão conforme a sessão avançava e quando uma etapa dependia de respostas anteriores. O resultado coloca aos biólogos computacionais uma pergunta mais específica do que saber se um agente resolve uma tarefa isolada: ele consegue manter a análise fiel aos dados e às instruções ao longo de um estudo?

## A grande mudança

- **O que mudou:** O OmicsBench avalia uma sequência de etapas de análise dependentes em uma única sessão contínua do agente. Ele expõe erros que uma única resposta final pode esconder, embora as evidências aqui venham do próprio preprint dos autores do benchmark.
- **Por que importa:** Uma equipe de pesquisa que avalia um agente para análises em várias etapas pode examinar onde os resultados se desviam, inclusive se ele segue os critérios de seleção especificados. O artigo relata pontuações menores nas etapas dependentes; portanto, uma boa resposta a um único prompt é uma evidência fraca sobre o fluxo de trabalho completo.
- **O que acompanhar:** O programa de execução público e as três tarefas disponibilizadas permitem que pesquisadores examinem o método. As outras 94 tarefas são privadas; avaliações independentes em trabalhos reservados para teste, com a qualidade da análise verificada para além da correspondência entre respostas, ofereceriam evidências mais fortes sobre o uso prático.

## Como o benchmark acompanha um estudo

O OmicsBench contém 97 tarefas construídas a partir de estudos biológicos publicados e seus conjuntos de dados, divididas em 662 subtarefas. Cada tarefa é um grafo de etapas: uma aresta significa que uma resposta posterior depende de uma anterior. A tarefa mediana tem sete subtarefas, e a mediana da cadeia de dependência mais longa é de três etapas. Uma subtarefa se torna um turno do usuário em uma sessão contínua. O agente pode usar os dados e seus arquivos anteriores, mas precisa escrever um arquivo de resposta especificado a cada turno. Os autores dizem que especialistas humanos selecionaram os estudos e revisaram as tarefas resultantes depois que um agente as redigiu. [A metodologia do artigo](https://arxiv.org/html/2610.21074v1) descreve essa construção e o procedimento de avaliação.

Esse desenho difere de uma avaliação curta em que cada pergunta termina após uma resposta. Também difere de um prompt na escala de um estudo, que apresenta todo o objetivo ao agente de uma só vez e avalia apenas seu produto final. Aqui, a sequência permite observar se um resultado anterior é levado corretamente para a análise posterior. Um [exemplo público](https://arxiv.org/html/2610.21074v1) pede ao agente que identifique uma assinatura de estado celular do rim e depois use esse resultado na análise subsequente de reguladores e programas biológicos. Essas ligações tornam as dependências concretas, sem demonstrar que o fluxo completo produz uma nova descoberta científica sólida.

A pontuação é uma média. Um ou mais avaliadores determinísticos comparam os campos de cada arquivo de resposta com um gabarito; sua média é a pontuação da subtarefa, e a pontuação da tarefa é a média de suas subtarefas. Os autores construíram 58 tipos de avaliadores para saídas como conjuntos de genes, resultados de enriquecimento e valores numéricos. Alguns resolvem identificadores biológicos alternativos por meio de bancos de referência, de modo que um sinônimo válido de um gene não precisa falhar em uma comparação literal de strings. A pontuação mede, portanto, a concordância com as respostas e tolerâncias definidas pelo benchmark, e não um julgamento especializado completo sobre a análise ou sua interpretação científica.

## Os resultados dependem do feedback

Os autores testaram 12 modelos em três ambientes de execução de agentes. Cada tarefa foi executada três vezes por modo em um contêiner isolado da rede; para obter a média relatada, primeiro se calcula a média dessas execuções no nível da tarefa. No modo de *passagem única*, o agente não recebe feedback sobre a resposta antes da próxima subtarefa. As pontuações médias das tarefas nas combinações de modelo e ambiente variaram de 0,43 a 0,57 em uma escala de zero a um. No modo *com limiar*, uma pontuação abaixo de 0,7 gera um aviso de falha e permite até duas tentativas adicionais. As médias variaram de 0,54 a 0,67. A melhor combinação relatada, Opus 5 no OpenCode, obteve 0,57 sem feedback e 0,67 com ele. Esses são resultados do benchmark relatados pelos autores, não uma execução do BIG CHANGE nem uma reprodução independente.

A melhora com novas tentativas exige uma interpretação cuidadosa. Os autores observaram agentes tentando adivinhar a resposta ao percorrer opções em algumas subtarefas de escolha fechada e, por isso, excluíram 177 dessas subtarefas das análises de turnos e novas tentativas. Eles dizem que outras formas de explorar o feedback são possíveis e que não foi quantificada a parcela da melhora do modo com limiar atribuível a esse comportamento. As pontuações desse modo descrevem o desempenho sob esse sinal específico e esse limite de tentativas. Não devem ser lidas como prova de que um agente corrigiu a análise subjacente.

Nas diferentes combinações, as pontuações das subtarefas do segundo turno ficaram de 0,06 a 0,12 abaixo das do primeiro turno na análise de passagem única do artigo. As subtarefas dependentes de respostas anteriores pontuaram abaixo das independentes. Com novas tentativas no modo com limiar, apenas 22% a 34% das subtarefas incluídas nessa análise de novas tentativas atingiram o limiar de 0,7 em até três tentativas, contra 15% a 24% na primeira tentativa. Esses padrões tratam da questão principal do benchmark mais diretamente do que um ranking de modelos: manter a cadeia de trabalho intacta continua difícil nesses testes.

## O que a análise de falhas mostra

Os autores examinaram primeiras tentativas malsucedidas em uma amostra de 150 subtarefas. A análise automatizada encontrou casos em que agentes retornaram resultados demais, substituíram a regra de seleção solicitada por uma própria, usaram outro procedimento ou responderam com conhecimento prévio em vez dos dados disponibilizados. Para um biólogo, uma lista retornada pode parecer plausível mesmo quando foi selecionada com o filtro estatístico errado. Os exemplos do artigo tornam essa falha mais útil de examinar do que uma única pontuação agregada.

Esses rótulos de falha são exploratórios. Um avaliador baseado em modelo de linguagem gerou descrições e categorias; os autores verificaram a concordância de anotações repetidas, mas não validaram os rótulos com anotadores humanos. As execuções limitadas entre diferentes ambientes também não permitem isolar quanto de uma diferença de pontuação vem do modelo e quanto vem do software do agente ao seu redor. A coleção abrange vários domínios biológicos, mas os autores dizem que cada domínio tem poucas tarefas para comparações confiáveis de modelos dentro dele.

Os pesquisadores podem consultar o [repositório indicado pelos autores](https://huggingface.co/datasets/gideonshaked/OmicsBench), que contém o programa de execução e três arquivos de tarefas públicos com gabaritos. O artigo diz que as outras 94 tarefas são mantidas como um conjunto de teste privado. Esse subconjunto público permite examinar como o OmicsBench foi construído; sozinho, não permite reproduzir o ranking completo do artigo com 97 tarefas. O preprint mede agentes em relação a respostas de análise especificadas. Não demonstra que eles possam fazer descobertas científicas confiáveis, operar sem supervisão em um laboratório de pesquisa ou substituir biólogos computacionais.

## Fontes e leituras adicionais

- [Shaked e Nagisetty, “OmicsBench”, arXiv v1, 15 de outubro de 2026](https://arxiv.org/html/2610.21074v1). A metodologia, os resultados, as limitações e os apêndices sustentam os números e a descrição da pontuação apresentados aqui. Trata-se de um preprint relatado pelos autores.
- [Repositório público do OmicsBench](https://huggingface.co/datasets/gideonshaked/OmicsBench). A versão indicada pelos autores contém o programa de execução e três arquivos de tarefas públicos. O Apêndice E do artigo explica o conjunto reservado para teste e as licenças.

## Sources

- [Shaked e Nagisetty: OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — Preprint relatado pelos autores. A metodologia, os resultados, as limitações e o Apêndice E descrevem o benchmark de 97 tarefas e sua versão pública de três tarefas; o BIG CHANGE não o executou.
- [Repositório público do OmicsBench](https://huggingface.co/datasets/gideonshaked/OmicsBench) — Programa de execução e três arquivos de perguntas públicos indicados pelos autores, confirmados por listagens diretas da árvore do repositório. O artigo diz que as outras 94 tarefas permanecem privadas.