Edição Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench testa agentes de IA em etapas dependentes de bioinformática

> Um benchmark relatado pelos próprios autores acompanha agentes de IA em tarefas dependentes de bioinformática. As pontuações caem nas etapas seguintes, enquanto o feedback melhora os resultados com limitações.

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

O OmicsBench pede a um agente de IA que conduza uma análise bioinformática através de pedidos sucessivos e dependentes. Num [preprint de 15 de outubro](https://arxiv.org/html/2610.21074v1), Gideon Shaked e Siddharth Nagisetty relatam que os agentes avaliados perderam precisão à medida que a sessão avançava e quando uma etapa dependia de respostas anteriores. O resultado coloca aos biólogos computacionais uma pergunta mais específica do que saber se um agente resolve uma tarefa isolada: consegue manter uma análise fiel aos dados e às instruções ao longo de um estudo?

## A grande mudança

- **O que mudou:** O OmicsBench pontua uma sequência de etapas de análise dependentes numa única sessão contínua do agente. Expõe erros que uma só resposta final pode esconder, embora as provas aqui apresentadas provenham do preprint dos próprios autores do benchmark.
- **Porque importa:** Uma equipa que avalie um agente para análise em várias etapas pode examinar onde os resultados se desviam, incluindo se segue os critérios de seleção especificados. O artigo relata pontuações inferiores nas etapas dependentes, pelo que uma boa resposta a um pedido constitui uma prova fraca sobre o fluxo de trabalho completo.
- **O que acompanhar:** O programa de execução público e três tarefas disponibilizadas permitem aos investigadores examinar o método. As restantes 94 tarefas são privadas. Avaliações independentes em trabalho reservado para testes, verificando a qualidade da análise para lá da correspondência das respostas, dariam provas mais fortes sobre a utilização prática.

## Como o benchmark acompanha um estudo

O OmicsBench contém 97 tarefas construídas a partir de estudos biológicos publicados e dos respetivos conjuntos de dados, divididas em 662 subtarefas. Cada tarefa é um grafo de etapas: uma aresta significa que uma resposta posterior depende de uma anterior. A mediana é de sete subtarefas por tarefa e a mediana da cadeia de dependências mais longa é de três etapas. Uma subtarefa torna-se um turno do utilizador numa sessão contínua. O agente pode usar os dados e os seus ficheiros anteriores, mas tem de escrever um ficheiro de respostas especificado para cada turno. Segundo os autores, peritos humanos selecionaram os estudos; depois de um agente redigir os rascunhos das tarefas, os peritos reviram as tarefas resultantes. [A secção de métodos do artigo](https://arxiv.org/html/2610.21074v1) descreve essa construção e o procedimento de avaliação.

Este desenho difere de uma avaliação curta em que cada pergunta termina após uma resposta. Difere também de um pedido à escala de um estudo que entrega ao agente o objetivo completo de uma vez e pontua apenas o produto final. Aqui, a sequência permite observar se um resultado anterior é corretamente transportado para a análise seguinte. Um [exemplo público](https://arxiv.org/html/2610.21074v1) pede ao agente que identifique uma assinatura de estado celular renal e use depois esse resultado na análise de reguladores e programas biológicos. Essas ligações tornam as dependências concretas, sem demonstrar que o fluxo completo produz uma nova descoberta científica sólida.

A pontuação é uma média. Um ou mais avaliadores determinísticos comparam campos de cada ficheiro de respostas com uma chave de respostas; a média é a pontuação da subtarefa e a pontuação da tarefa corresponde à média das suas subtarefas. Os autores criaram 58 tipos de avaliadores para saídas como conjuntos de genes, resultados de análises de enriquecimento e valores numéricos. Alguns resolvem identificadores biológicos alternativos através de bases de dados de referência, pelo que um sinónimo válido de um gene não tem de falhar uma comparação literal de cadeias de texto. A pontuação mede, assim, a concordância com as respostas e tolerâncias definidas pelo benchmark, não uma apreciação pericial completa da análise ou da sua interpretação científica.

## Os resultados dependem do feedback

Os autores testaram 12 modelos em três estruturas de execução de agentes. Cada tarefa foi executada três vezes por modo num contentor isolado da rede; a média relatada começa por calcular a média dessas execuções ao nível da tarefa. No modo de *passagem única*, o agente não recebe feedback sobre a resposta antes da subtarefa seguinte. As pontuações médias por tarefa das combinações de modelo e estrutura variaram entre 0,43 e 0,57 numa escala de zero a um. No modo com *limiar*, uma pontuação abaixo de 0,7 desencadeia um aviso de falha e até duas tentativas adicionais. As médias variaram entre 0,54 e 0,67. A melhor combinação relatada, Opus 5 no OpenCode, obteve 0,57 sem feedback e 0,67 com ele. São resultados do benchmark relatados pelos autores, não uma execução do BIG CHANGE nem uma replicação independente.

A melhoria com novas tentativas exige uma interpretação cuidadosa. Os autores observaram agentes a experimentar opções por adivinhação em algumas subtarefas de escolha fechada, pelo que excluíram 177 dessas subtarefas das análises de turnos e novas tentativas. Dizem ser possíveis outras formas de explorar o feedback e que não foi quantificada a parte da melhoria do modo com limiar atribuível a esse comportamento. As pontuações desse modo descrevem o desempenho com este sinal e este limite de tentativas específicos. Não devem ser interpretadas como prova de que um agente corrigiu a análise subjacente.

Nas várias combinações, as pontuações das subtarefas do segundo turno ficaram entre 0,06 e 0,12 abaixo das do primeiro na análise de passagem única do artigo. As subtarefas dependentes de respostas anteriores tiveram pontuações inferiores às independentes. Com novas tentativas sujeitas a limiar, apenas 22% a 34% das subtarefas incluídas nessa análise de novas tentativas atingiram o limiar de 0,7 em três tentativas, contra 15% a 24% na primeira. Estes padrões respondem à questão principal do benchmark mais diretamente do que uma classificação de modelos: manter intacta a cadeia de trabalho continua a ser difícil nestes testes.

## O que mostra a análise de falhas

Os autores examinaram primeiras tentativas falhadas numa amostra de 150 subtarefas. A análise automatizada encontrou casos em que os agentes devolviam resultados a mais, substituíam uma regra de seleção pedida por uma própria, usavam outro procedimento ou respondiam a partir de conhecimentos prévios em vez dos dados preparados. Para um biólogo, uma lista devolvida pode parecer plausível mesmo quando foi selecionada com o filtro estatístico errado. Os exemplos do artigo tornam essa falha mais útil de examinar do que uma única pontuação agregada.

Essas classificações de falhas são exploratórias. Um modelo de linguagem na função de juiz gerou descrições e categorias; os autores verificaram a concordância de anotações repetidas, mas não validaram as classificações face a anotadores humanos. As execuções limitadas entre diferentes estruturas também não permitem separar quanto de uma diferença de pontuação vem do modelo e quanto vem do software do agente que o rodeia. A coleção abrange vários domínios biológicos, mas os autores dizem que cada um tem poucas tarefas para permitir comparações fiáveis entre modelos dentro desse domínio.

Os investigadores podem examinar o [repositório indicado pelos autores](https://huggingface.co/datasets/gideonshaked/OmicsBench), que contém o programa de execução e três ficheiros públicos de tarefas com chaves de respostas. O artigo diz que as outras 94 tarefas são mantidas como conjunto de testes privado. Esse subconjunto público permite examinar a construção do OmicsBench, mas não reproduzir, por si só, a classificação completa das 97 tarefas do artigo. O preprint mede os agentes face a respostas de análise especificadas. Não demonstra que possam fazer descobertas científicas fiáveis, trabalhar sem supervisão num laboratório de investigação ou substituir os biólogos computacionais.

## Fontes e leituras adicionais

- [Shaked e Nagisetty, «OmicsBench», arXiv v1, 15 de outubro de 2026](https://arxiv.org/html/2610.21074v1). Os métodos, resultados, limitações e apêndices sustentam os números e a descrição da pontuação aqui apresentados. Trata-se de um preprint com resultados relatados pelos autores.
- [Repositório público do OmicsBench](https://huggingface.co/datasets/gideonshaked/OmicsBench). A versão indicada pelos autores contém o programa de execução e três ficheiros públicos de tarefas. O Apêndice E do artigo explica o conjunto reservado para testes e as licenças.

## Sources

- [Shaked e Nagisetty: OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — Preprint com resultados relatados pelos autores. Os métodos, resultados, limitações e o Apêndice E descrevem o benchmark de 97 tarefas e a disponibilização pública de três delas; o BIG CHANGE não o executou.
- [Repositório público do OmicsBench](https://huggingface.co/datasets/gideonshaked/OmicsBench) — Programa de execução indicado pelos autores e três ficheiros públicos de perguntas confirmados através de listagens diretas da árvore do repositório. Segundo o artigo, as outras 94 tarefas continuam privadas.