O OmicsBench pede a um agente de IA que conduza uma análise bioinformática através de pedidos sucessivos e dependentes. Num preprint de 15 de outubro, Gideon Shaked e Siddharth Nagisetty relatam que os agentes avaliados perderam precisão à medida que a sessão avançava e quando uma etapa dependia de respostas anteriores. O resultado coloca aos biólogos computacionais uma pergunta mais específica do que saber se um agente resolve uma tarefa isolada: consegue manter uma análise fiel aos dados e às instruções ao longo de um estudo?

A grande mudança

  • O que mudou: O OmicsBench pontua uma sequência de etapas de análise dependentes numa única sessão contínua do agente. Expõe erros que uma só resposta final pode esconder, embora as provas aqui apresentadas provenham do preprint dos próprios autores do benchmark.
  • Porque importa: Uma equipa que avalie um agente para análise em várias etapas pode examinar onde os resultados se desviam, incluindo se segue os critérios de seleção especificados. O artigo relata pontuações inferiores nas etapas dependentes, pelo que uma boa resposta a um pedido constitui uma prova fraca sobre o fluxo de trabalho completo.
  • O que acompanhar: O programa de execução público e três tarefas disponibilizadas permitem aos investigadores examinar o método. As restantes 94 tarefas são privadas. Avaliações independentes em trabalho reservado para testes, verificando a qualidade da análise para lá da correspondência das respostas, dariam provas mais fortes sobre a utilização prática.

Como o benchmark acompanha um estudo

O OmicsBench contém 97 tarefas construídas a partir de estudos biológicos publicados e dos respetivos conjuntos de dados, divididas em 662 subtarefas. Cada tarefa é um grafo de etapas: uma aresta significa que uma resposta posterior depende de uma anterior. A mediana é de sete subtarefas por tarefa e a mediana da cadeia de dependências mais longa é de três etapas. Uma subtarefa torna-se um turno do utilizador numa sessão contínua. O agente pode usar os dados e os seus ficheiros anteriores, mas tem de escrever um ficheiro de respostas especificado para cada turno. Segundo os autores, peritos humanos selecionaram os estudos; depois de um agente redigir os rascunhos das tarefas, os peritos reviram as tarefas resultantes. A secção de métodos do artigo descreve essa construção e o procedimento de avaliação.

Este desenho difere de uma avaliação curta em que cada pergunta termina após uma resposta. Difere também de um pedido à escala de um estudo que entrega ao agente o objetivo completo de uma vez e pontua apenas o produto final. Aqui, a sequência permite observar se um resultado anterior é corretamente transportado para a análise seguinte. Um exemplo público pede ao agente que identifique uma assinatura de estado celular renal e use depois esse resultado na análise de reguladores e programas biológicos. Essas ligações tornam as dependências concretas, sem demonstrar que o fluxo completo produz uma nova descoberta científica sólida.

A pontuação é uma média. Um ou mais avaliadores determinísticos comparam campos de cada ficheiro de respostas com uma chave de respostas; a média é a pontuação da subtarefa e a pontuação da tarefa corresponde à média das suas subtarefas. Os autores criaram 58 tipos de avaliadores para saídas como conjuntos de genes, resultados de análises de enriquecimento e valores numéricos. Alguns resolvem identificadores biológicos alternativos através de bases de dados de referência, pelo que um sinónimo válido de um gene não tem de falhar uma comparação literal de cadeias de texto. A pontuação mede, assim, a concordância com as respostas e tolerâncias definidas pelo benchmark, não uma apreciação pericial completa da análise ou da sua interpretação científica.

Os resultados dependem do feedback

Os autores testaram 12 modelos em três estruturas de execução de agentes. Cada tarefa foi executada três vezes por modo num contentor isolado da rede; a média relatada começa por calcular a média dessas execuções ao nível da tarefa. No modo de passagem única, o agente não recebe feedback sobre a resposta antes da subtarefa seguinte. As pontuações médias por tarefa das combinações de modelo e estrutura variaram entre 0,43 e 0,57 numa escala de zero a um. No modo com limiar, uma pontuação abaixo de 0,7 desencadeia um aviso de falha e até duas tentativas adicionais. As médias variaram entre 0,54 e 0,67. A melhor combinação relatada, Opus 5 no OpenCode, obteve 0,57 sem feedback e 0,67 com ele. São resultados do benchmark relatados pelos autores, não uma execução do BIG CHANGE nem uma replicação independente.

A melhoria com novas tentativas exige uma interpretação cuidadosa. Os autores observaram agentes a experimentar opções por adivinhação em algumas subtarefas de escolha fechada, pelo que excluíram 177 dessas subtarefas das análises de turnos e novas tentativas. Dizem ser possíveis outras formas de explorar o feedback e que não foi quantificada a parte da melhoria do modo com limiar atribuível a esse comportamento. As pontuações desse modo descrevem o desempenho com este sinal e este limite de tentativas específicos. Não devem ser interpretadas como prova de que um agente corrigiu a análise subjacente.

Nas várias combinações, as pontuações das subtarefas do segundo turno ficaram entre 0,06 e 0,12 abaixo das do primeiro na análise de passagem única do artigo. As subtarefas dependentes de respostas anteriores tiveram pontuações inferiores às independentes. Com novas tentativas sujeitas a limiar, apenas 22% a 34% das subtarefas incluídas nessa análise de novas tentativas atingiram o limiar de 0,7 em três tentativas, contra 15% a 24% na primeira. Estes padrões respondem à questão principal do benchmark mais diretamente do que uma classificação de modelos: manter intacta a cadeia de trabalho continua a ser difícil nestes testes.

O que mostra a análise de falhas

Os autores examinaram primeiras tentativas falhadas numa amostra de 150 subtarefas. A análise automatizada encontrou casos em que os agentes devolviam resultados a mais, substituíam uma regra de seleção pedida por uma própria, usavam outro procedimento ou respondiam a partir de conhecimentos prévios em vez dos dados preparados. Para um biólogo, uma lista devolvida pode parecer plausível mesmo quando foi selecionada com o filtro estatístico errado. Os exemplos do artigo tornam essa falha mais útil de examinar do que uma única pontuação agregada.

Essas classificações de falhas são exploratórias. Um modelo de linguagem na função de juiz gerou descrições e categorias; os autores verificaram a concordância de anotações repetidas, mas não validaram as classificações face a anotadores humanos. As execuções limitadas entre diferentes estruturas também não permitem separar quanto de uma diferença de pontuação vem do modelo e quanto vem do software do agente que o rodeia. A coleção abrange vários domínios biológicos, mas os autores dizem que cada um tem poucas tarefas para permitir comparações fiáveis entre modelos dentro desse domínio.

Os investigadores podem examinar o repositório indicado pelos autores, que contém o programa de execução e três ficheiros públicos de tarefas com chaves de respostas. O artigo diz que as outras 94 tarefas são mantidas como conjunto de testes privado. Esse subconjunto público permite examinar a construção do OmicsBench, mas não reproduzir, por si só, a classificação completa das 97 tarefas do artigo. O preprint mede os agentes face a respostas de análise especificadas. Não demonstra que possam fazer descobertas científicas fiáveis, trabalhar sem supervisão num laboratório de investigação ou substituir os biólogos computacionais.

Fontes e leituras adicionais