Édition Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench teste les agents d’IA au fil d’étapes bioinformatiques interdépendantes

> Un benchmark présenté par ses auteurs suit des agents d’IA dans des tâches bioinformatiques interdépendantes. Les scores baissent aux étapes suivantes, tandis que le retour sur les réponses améliore les résultats dans des conditions limitées.

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

OmicsBench demande à un agent d’IA de mener une analyse bioinformatique au fil de demandes successives et interdépendantes. Dans une [prépublication du 15 octobre](https://arxiv.org/html/2610.21074v1), Gideon Shaked et Siddharth Nagisetty rapportent que les agents évalués perdaient en précision à mesure que la session avançait et lorsqu’une étape dépendait de réponses antérieures. Le résultat pose aux biologistes computationnels une question plus précise que la capacité d’un agent à résoudre une tâche isolée : peut-il maintenir une analyse fidèle aux données et aux consignes tout au long d’une étude ?

## Le grand changement

- **Ce qui a changé :** OmicsBench évalue une suite d’étapes d’analyse interdépendantes au sein d’une même session continue d’un agent. Il révèle des erreurs qu’une unique réponse finale peut masquer, même si les éléments présentés ici proviennent de la prépublication des auteurs du benchmark.
- **Pourquoi c’est important :** Une équipe de recherche qui évalue un agent pour une analyse en plusieurs étapes peut examiner où ses résultats dérivent, notamment s’il respecte les critères de sélection imposés. L’article rapporte des scores plus faibles pour les étapes dépendantes : une bonne réponse à une seule consigne constitue donc un indice peu probant pour l’ensemble du workflow.
- **Ce qu’il faut suivre :** Le programme d’exécution public et les trois tâches publiées permettent aux chercheurs d’examiner la méthode. Les 94 autres tâches sont privées ; des évaluations indépendantes sur des travaux tenus à l’écart, avec un contrôle de la qualité de l’analyse allant au-delà de la concordance des réponses, apporteraient des éléments plus solides sur l’utilisation pratique.

## Comment le benchmark suit une étude

OmicsBench comprend 97 tâches construites à partir d’études biologiques publiées et de leurs jeux de données, réparties en 662 sous-tâches. Chaque tâche est un graphe d’étapes : une arête signifie qu’une réponse ultérieure dépend d’une réponse précédente. La tâche médiane compte sept sous-tâches, et la médiane de la plus longue chaîne de dépendances est de trois étapes. Une sous-tâche devient un tour utilisateur dans une session continue. L’agent peut utiliser les données et ses fichiers précédents, mais doit écrire un fichier de réponse spécifié à chaque tour. Les auteurs indiquent que des experts humains ont sélectionné les études, puis examiné les tâches obtenues après leur rédaction initiale par un agent. [La méthodologie de l’article](https://arxiv.org/html/2610.21074v1) décrit cette construction et la procédure d’évaluation.

Cette conception diffère d’une évaluation courte où chaque question se termine après une réponse. Elle diffère aussi d’une consigne à l’échelle d’une étude qui donne d’emblée à l’agent l’objectif complet et n’évalue que son produit final. Ici, la séquence permet d’observer si un résultat antérieur est correctement repris dans l’analyse ultérieure. Un [exemple public](https://arxiv.org/html/2610.21074v1) demande à l’agent d’identifier une signature d’état cellulaire du rein, puis d’utiliser ce résultat pour analyser ensuite les régulateurs et les programmes biologiques. Ces liens rendent les dépendances concrètes sans établir que le workflow complet produit une nouvelle découverte scientifique solide.

Le score est une moyenne. Un ou plusieurs correcteurs déterministes comparent les champs de chaque fichier de réponse à un corrigé ; leur moyenne constitue le score de la sous-tâche, et le score de la tâche est la moyenne de ses sous-tâches. Les auteurs ont construit 58 types de correcteurs pour des sorties telles que des ensembles de gènes, des résultats d’enrichissement et des valeurs numériques. Certains résolvent les identifiants biologiques alternatifs à l’aide de bases de référence, de sorte qu’un synonyme de gène valide n’échoue pas nécessairement à une comparaison littérale de chaînes. Un score mesure donc la concordance avec les réponses et tolérances définies par le benchmark, et non un jugement expert complet sur l’analyse ou son interprétation scientifique.

## Les résultats dépendent du retour sur les réponses

Les auteurs ont testé 12 modèles avec trois environnements d’exécution d’agents. Chaque tâche a été exécutée trois fois par mode dans un conteneur isolé du réseau ; la moyenne rapportée commence par moyenner ces exécutions au niveau de la tâche. En mode *passage unique*, l’agent ne reçoit aucun retour sur sa réponse avant la sous-tâche suivante. Les scores moyens des tâches pour les différentes combinaisons de modèles et d’environnements allaient de 0,43 à 0,57 sur une échelle de zéro à un. En mode *à seuil*, un score inférieur à 0,7 déclenche un avis d’échec et autorise jusqu’à deux tentatives supplémentaires. Les scores moyens allaient de 0,54 à 0,67. La meilleure combinaison rapportée, Opus 5 sur OpenCode, obtenait 0,57 sans retour et 0,67 avec retour. Il s’agit de résultats du benchmark rapportés par ses auteurs, et non d’un test effectué par BIG CHANGE ou d’une réplication indépendante.

L’amélioration obtenue avec les nouvelles tentatives doit être interprétée avec prudence. Les auteurs ont observé des agents devinant en parcourant les options de certaines sous-tâches à choix fermés ; ils ont donc exclu 177 de ces sous-tâches de leurs analyses des tours et des nouvelles tentatives. Ils indiquent que d’autres façons d’exploiter le retour sont possibles et que la part du gain du mode à seuil attribuable à ce comportement n’est pas quantifiée. Les scores de ce mode décrivent les performances avec ce signal particulier et cette limite de tentatives. Ils ne doivent pas être interprétés comme la preuve qu’un agent a corrigé l’analyse sous-jacente.

Selon les combinaisons, les scores des sous-tâches du deuxième tour étaient inférieurs de 0,06 à 0,12 à ceux du premier tour dans l’analyse en passage unique de l’article. Les sous-tâches dépendant de réponses antérieures obtenaient des scores plus faibles que les sous-tâches indépendantes. Avec les nouvelles tentatives du mode à seuil, seules 22% à 34% des sous-tâches incluses dans cette analyse des nouvelles tentatives atteignaient le seuil de 0,7 en trois tentatives, contre 15% à 24% à la première tentative. Ces tendances répondent plus directement à la question centrale du benchmark qu’un classement de modèles : préserver la continuité de la chaîne de travail reste difficile dans ces tests.

## Ce que montre l’analyse des échecs

Les auteurs ont examiné les premières tentatives échouées sur un échantillon de 150 sous-tâches. Leur analyse automatisée a relevé des cas où les agents renvoyaient trop de résultats, remplaçaient une règle de sélection demandée par la leur, utilisaient une autre procédure ou répondaient à partir de connaissances antérieures plutôt que des données mises à disposition. Pour un biologiste, une liste renvoyée peut sembler plausible même si elle a été sélectionnée avec le mauvais filtre statistique. Les exemples de l’article rendent cet échec plus utile à examiner qu’un simple score global.

Ces étiquettes d’échec sont exploratoires. Un juge fondé sur un modèle de langage a généré les descriptions et les catégories ; les auteurs ont vérifié la concordance d’annotations répétées, mais n’ont pas validé les étiquettes auprès d’annotateurs humains. Les exécutions limitées dans différents environnements ne permettent pas non plus d’isoler la part des différences de score due au modèle de celle due au logiciel d’agent qui l’entoure. La collection de tâches couvre plusieurs domaines biologiques, mais les auteurs indiquent que chacun compte trop peu de tâches pour comparer fiablement les modèles au sein d’un même domaine.

Les chercheurs peuvent examiner le [dépôt indiqué par les auteurs](https://huggingface.co/datasets/gideonshaked/OmicsBench), qui contient le programme d’exécution et trois fichiers de tâches publics accompagnés de leurs corrigés. L’article indique que les 94 autres tâches sont conservées comme jeu de test privé. Ce sous-ensemble public permet d’examiner la construction d’OmicsBench ; il ne peut pas, à lui seul, reproduire le classement complet de l’article sur 97 tâches. La prépublication évalue les agents par rapport à des réponses d’analyse spécifiées. Elle n’établit pas qu’ils puissent faire des découvertes scientifiques fiables, fonctionner sans surveillance dans un laboratoire de recherche ou remplacer les biologistes computationnels.

## Sources et lectures complémentaires

- [Shaked et Nagisetty, « OmicsBench », arXiv v1, 15 octobre 2026](https://arxiv.org/html/2610.21074v1). La méthodologie, les résultats, les limites et les annexes étayent les chiffres et la description du système de notation présentés ici. Il s’agit d’une prépublication rapportée par ses auteurs.
- [Dépôt public d’OmicsBench](https://huggingface.co/datasets/gideonshaked/OmicsBench). La version indiquée par les auteurs contient le programme d’exécution et trois fichiers de tâches publics. L’annexe E de l’article explique le jeu tenu à l’écart et les licences.

## Sources

- [Shaked et Nagisetty : OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — Prépublication rapportée par ses auteurs. La méthodologie, les résultats, les limites et l’annexe E décrivent le benchmark de 97 tâches et sa version publique de trois tâches ; BIG CHANGE ne l’a pas exécuté.
- [Dépôt public d’OmicsBench](https://huggingface.co/datasets/gideonshaked/OmicsBench) — Programme d’exécution et trois fichiers de questions publics indiqués par les auteurs, confirmés à partir des listes directes de l’arborescence du dépôt. L’article indique que les 94 autres tâches restent privées.