Edición en Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench evalúa agentes de IA en pasos bioinformáticos dependientes

> Un banco de pruebas descrito por sus autores sigue a agentes de IA en tareas bioinformáticas dependientes. Las puntuaciones bajan en pasos posteriores y la retroalimentación mejora los resultados con limitaciones.

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

OmicsBench pide a un agente de IA que desarrolle un análisis bioinformático a través de solicitudes sucesivas y dependientes. En una [prepublicación del 15 de octubre](https://arxiv.org/html/2610.21074v1), Gideon Shaked y Siddharth Nagisetty informan de que los agentes evaluados perdieron precisión al avanzar la sesión y cuando un paso dependía de respuestas anteriores. El resultado plantea a los biólogos computacionales una pregunta más concreta que si un agente puede resolver una tarea aislada: ¿puede mantener el análisis fiel a los datos y las instrucciones a lo largo de un estudio?

## El gran cambio

- **Qué cambió:** OmicsBench puntúa una secuencia de pasos de análisis dependientes dentro de una sesión continua del agente. Revela errores que una única respuesta final puede ocultar, aunque la evidencia procede de la propia prepublicación de los autores del banco de pruebas.
- **Por qué importa:** Un equipo que evalúe un agente para análisis de varios pasos puede examinar dónde se desvían sus resultados, incluido si sigue los criterios de selección indicados. El artículo informa de puntuaciones menores en pasos dependientes, por lo que una buena respuesta a una instrucción constituye una evidencia débil sobre el flujo completo.
- **Qué conviene observar:** El ejecutor público y tres tareas publicadas permiten examinar el método. Las otras 94 tareas son privadas; evaluaciones independientes sobre trabajo reservado para pruebas, con controles de calidad del análisis que vayan más allá de comparar respuestas, aportarían evidencia más sólida sobre su utilidad práctica.

## Cómo sigue el banco de pruebas un estudio

OmicsBench contiene 97 tareas creadas a partir de estudios biológicos publicados y sus conjuntos de datos, divididas en 662 subtareas. Cada tarea es un grafo de pasos: una arista indica que una respuesta posterior depende de otra anterior. La mediana es de siete subtareas por tarea, y la mediana de la cadena de dependencias más larga es de tres pasos. Una subtarea se convierte en un turno del usuario en una sesión continua. El agente puede usar los datos y sus archivos anteriores, pero debe escribir un archivo de respuestas específico en cada turno. Según los autores, expertos humanos seleccionaron los estudios; después de que un agente elaborara los borradores de las tareas, los expertos revisaron las tareas resultantes. [La metodología del artículo](https://arxiv.org/html/2610.21074v1) describe esa construcción y el procedimiento de evaluación.

Este diseño difiere de una evaluación breve en la que cada pregunta termina tras una respuesta. También difiere de una instrucción a escala de estudio que entrega al agente todo el objetivo de una vez y puntúa únicamente el producto final. Aquí, la secuencia permite observar si un resultado anterior se traslada correctamente al análisis posterior. Un [ejemplo público](https://arxiv.org/html/2610.21074v1) pide al agente identificar una firma de estado celular renal y usarla después para analizar reguladores y programas biológicos. Esos vínculos concretan las dependencias, sin demostrar que el flujo completo produzca un nuevo hallazgo científico sólido.

La puntuación es un promedio. Uno o más evaluadores deterministas comparan los campos de cada archivo de respuestas con una clave; su media es la puntuación de la subtarea, y la puntuación de la tarea promedia sus subtareas. Los autores crearon 58 tipos de evaluadores para resultados como conjuntos de genes, resultados de enriquecimiento y valores numéricos. Algunos resuelven identificadores biológicos alternativos mediante bases de datos de referencia, de modo que un sinónimo válido de un gen no tiene por qué fallar una comparación literal de cadenas. La puntuación mide, por tanto, la concordancia con las respuestas y tolerancias definidas por el banco de pruebas, no un juicio experto completo sobre el análisis o su interpretación científica.

## Los resultados dependen de la retroalimentación

Los autores probaron 12 modelos en tres entornos de ejecución de agentes. Cada tarea se ejecutó tres veces por modo en un contenedor aislado de la red; la media publicada promedia primero esas ejecuciones por tarea. En el modo *de una sola pasada*, el agente no recibe retroalimentación sobre sus respuestas antes de la siguiente subtarea. Las puntuaciones medias por tarea de las combinaciones de modelo y entorno oscilaron entre 0,43 y 0,57, en una escala de cero a uno. En el modo *con umbral*, una puntuación inferior a 0,7 activa un aviso de fallo y hasta dos intentos adicionales. Las medias oscilaron entre 0,54 y 0,67. La mejor combinación publicada, Opus 5 sobre OpenCode, obtuvo 0,57 sin retroalimentación y 0,67 con ella. Son resultados del banco de pruebas comunicados por sus autores, no una ejecución de BIG CHANGE ni una reproducción independiente.

La mejora con reintentos requiere una interpretación cuidadosa. Los autores observaron que los agentes probaban opciones por tanteo en algunas subtareas de respuesta cerrada, por lo que excluyeron 177 de esas subtareas de sus análisis de turnos y reintentos. Señalan que son posibles otras formas de aprovechar el sistema de retroalimentación y que no se ha cuantificado qué parte de la mejora del modo con umbral se debe a ese comportamiento. Sus puntuaciones describen el rendimiento con esa señal y ese límite de intentos concretos. No deben interpretarse como prueba de que un agente corrigió el análisis subyacente.

En las distintas combinaciones, las puntuaciones de las subtareas del segundo turno fueron entre 0,06 y 0,12 inferiores a las del primero en el análisis de una sola pasada del artículo. Las subtareas dependientes de respuestas previas puntuaron por debajo de las independientes. Con reintentos sujetos a umbral, solo entre el 22% y el 34% de las subtareas incluidas en ese análisis alcanzaron el umbral de 0,7 en tres intentos, frente a entre el 15% y el 24% en el primero. Estos patrones responden a la pregunta central del banco de pruebas más directamente que una clasificación de modelos: mantener intacta la cadena de trabajo sigue siendo difícil en estas pruebas.

## Qué muestra el análisis de fallos

Los autores examinaron primeros intentos fallidos en una muestra de 150 subtareas. Su análisis automatizado detectó casos en los que los agentes devolvían demasiados resultados, sustituían una regla de selección solicitada por otra propia, empleaban un procedimiento diferente o respondían con conocimientos previos en vez de utilizar los datos preparados. Para un biólogo, una lista puede parecer plausible aunque se haya seleccionado con el filtro estadístico equivocado. Los ejemplos del artículo hacen que ese fallo resulte más útil de examinar que una sola puntuación agregada.

Esas etiquetas de fallo son exploratorias. Un juez basado en un modelo de lenguaje generó las descripciones y categorías; los autores comprobaron la concordancia entre anotaciones repetidas, pero no validaron las etiquetas con anotadores humanos. Tampoco permiten las limitadas pruebas entre entornos aislar cuánto de una diferencia de puntuación procede del modelo y cuánto del software que lo rodea. La colección abarca varios ámbitos biológicos, pero los autores señalan que cada uno tiene muy pocas tareas para comparar modelos de forma fiable dentro del ámbito.

Los investigadores pueden examinar el [repositorio enlazado por los autores](https://huggingface.co/datasets/gideonshaked/OmicsBench), que contiene el ejecutor y tres archivos públicos de tareas con claves de respuestas. El artículo dice que las otras 94 tareas se mantienen como conjunto de pruebas privado. Ese subconjunto público permite examinar cómo se construye OmicsBench; no permite reproducir por sí solo la clasificación completa de 97 tareas del artículo. La prepublicación evalúa a los agentes frente a respuestas de análisis especificadas. No demuestra que puedan realizar descubrimientos científicos fiables, trabajar sin supervisión en un laboratorio de investigación ni sustituir a los biólogos computacionales.

## Fuentes y lecturas adicionales

- [Shaked y Nagisetty, «OmicsBench», arXiv v1, 15 de octubre de 2026](https://arxiv.org/html/2610.21074v1). La metodología, los resultados, las limitaciones y los apéndices respaldan las cifras y la descripción de la puntuación de este artículo. Es una prepublicación con resultados comunicados por sus autores.
- [Repositorio público de OmicsBench](https://huggingface.co/datasets/gideonshaked/OmicsBench). La publicación enlazada por los autores contiene el ejecutor y tres archivos públicos de tareas. El apéndice E del artículo explica el conjunto reservado para pruebas y las licencias.

## Sources

- [Shaked y Nagisetty: OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — Prepublicación con resultados comunicados por sus autores. La metodología, los resultados, las limitaciones y el apéndice E describen el banco de 97 tareas y sus tres tareas públicas; BIG CHANGE no lo ha ejecutado.
- [Repositorio público de OmicsBench](https://huggingface.co/datasets/gideonshaked/OmicsBench) — Ejecutor enlazado por los autores y tres archivos públicos de preguntas, confirmados mediante listados directos del árbol del repositorio. Según el artículo, las otras 94 tareas siguen siendo privadas.