AI-translated from English; not yet reviewed by a fluent editor. # OmicsBench testet KI-Agenten in voneinander abhängigen Bioinformatikschritten > Ein von den Autoren selbst berichteter Benchmark verfolgt KI-Agenten durch abhängige bioinformatische Aufgaben. Spätere Schritte erhalten niedrigere Werte, während Rückmeldungen die Ergebnisse unter Einschränkungen verbessern. By BIG CHANGE Editorial Published: 2026-10-17T16:20:34.838Z Updated: 2026-10-17T16:20:34.838Z Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows ![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png) AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance. OmicsBench verlangt von einem KI-Agenten, eine bioinformatische Analyse durch aufeinanderfolgende, voneinander abhängige Anfragen fortzuführen. In einem [Preprint vom 15. Oktober](https://arxiv.org/html/2610.21074v1) berichten Gideon Shaked und Siddharth Nagisetty, dass die Genauigkeit der untersuchten Agenten im Verlauf der Sitzung und bei Schritten sank, die auf früheren Antworten aufbauten. Das wirft für Computerbiologen eine konkretere Frage auf als die, ob ein Agent eine einzelne isolierte Aufgabe lösen kann: Bleibt seine Analyse während einer ganzen Studie den Daten und Anweisungen treu? ## Die große Veränderung - **Was sich verändert hat:** OmicsBench bewertet eine Folge abhängiger Analyseschritte in einer fortlaufenden Agentensitzung. Der Benchmark macht Fehler sichtbar, die eine einzige abschließende Antwort verbergen kann; die Belege stammen allerdings aus dem Preprint der Benchmark-Autoren selbst. - **Warum das wichtig ist:** Ein Forschungsteam, das einen Agenten für mehrstufige Analysen beurteilt, kann untersuchen, wo seine Ergebnisse abweichen, etwa ob er die vorgegebenen Auswahlkriterien einhält. Die Arbeit berichtet über niedrigere Werte bei abhängigen Schritten. Eine gute Antwort auf einen einzelnen Prompt ist deshalb nur ein schwacher Beleg für den gesamten Workflow. - **Worauf zu achten ist:** Das öffentliche Ausführungsprogramm und drei veröffentlichte Aufgaben erlauben Forschenden, die Methode zu prüfen. Die übrigen 94 Aufgaben sind nicht öffentlich. Unabhängige Auswertungen an zurückgehaltenen Testaufgaben, die die Analysequalität über den bloßen Antwortabgleich hinaus prüfen, würden stärkere Belege für den praktischen Nutzen liefern. ## Wie der Benchmark eine Studie begleitet OmicsBench umfasst 97 Aufgaben aus veröffentlichten biologischen Studien und ihren Datensätzen, aufgeteilt in 662 Teilaufgaben. Jede Aufgabe ist ein Graph aus Schritten: Eine Kante bedeutet, dass eine spätere Antwort von einer früheren abhängt. Der Median liegt bei sieben Teilaufgaben pro Aufgabe; der Median der längsten Abhängigkeitskette beträgt drei Schritte. Eine Teilaufgabe wird zu einem Nutzerzug in einer fortlaufenden Sitzung. Der Agent darf die Daten und seine zuvor erstellten Dateien nutzen, muss aber für jeden Zug eine festgelegte Antwortdatei schreiben. Den Autoren zufolge wählten menschliche Fachleute die Studien aus; nachdem ein Agent die Aufgaben entworfen hatte, prüften die Fachleute die entstandenen Aufgaben. [Der Methodenteil der Arbeit](https://arxiv.org/html/2610.21074v1) beschreibt diesen Aufbau und das Bewertungsverfahren. Dieser Ansatz unterscheidet sich von einer kurzen Bewertung, bei der jede Frage nach einer Antwort endet. Er unterscheidet sich auch von einem Prompt im Umfang einer Studie, der dem Agenten das gesamte Ziel auf einmal vorgibt und nur das Endprodukt bewertet. Die Abfolge lässt hier erkennen, ob ein früheres Ergebnis korrekt in die spätere Analyse eingeht. Ein [öffentliches Beispiel](https://arxiv.org/html/2610.21074v1) fordert den Agenten auf, eine Signatur eines Nierenzellzustands zu identifizieren und dieses Ergebnis anschließend für die Analyse von Regulatoren und biologischen Programmen zu verwenden. Diese Verbindungen machen die Abhängigkeiten konkret, ohne zu belegen, dass der gesamte Workflow eine belastbare neue wissenschaftliche Erkenntnis hervorbringt. Der Wert ist ein Durchschnitt. Ein oder mehrere deterministische Bewertungsprogramme vergleichen Felder in jeder Antwortdatei mit einem Lösungsschlüssel. Ihr Mittelwert ist der Wert der Teilaufgabe; der Aufgabenwert mittelt die Teilaufgaben. Die Autoren entwickelten 58 Typen von Bewertungsprogrammen für Ausgaben wie Genmengen, Ergebnisse von Anreicherungsanalysen und Zahlenwerte. Einige gleichen alternative biologische Kennungen über Referenzdatenbanken ab, sodass ein gültiges Gensynonym nicht an einem wörtlichen Zeichenkettenvergleich scheitern muss. Ein Wert misst daher die Übereinstimmung mit den vom Benchmark definierten Antworten und Toleranzen, nicht das umfassende fachliche Urteil über die Analyse oder ihre wissenschaftliche Interpretation. ## Die Ergebnisse hängen von Rückmeldungen ab Die Autoren testeten 12 Modelle in drei Ausführungsrahmen für Agenten. Jede Aufgabe wurde pro Modus dreimal in einem vom Netzwerk isolierten Container ausgeführt; für den berichteten Mittelwert werden diese Läufe zunächst je Aufgabe gemittelt. Im *Einzeldurchlauf* erhält der Agent vor der nächsten Teilaufgabe keine Rückmeldung zu seiner Antwort. Die mittleren Aufgabenwerte der Modell-Rahmen-Kombinationen lagen auf einer Skala von null bis eins zwischen 0,43 und 0,57. Im *Schwellenmodus* führt ein Wert unter 0,7 zu einer Meldung über den fehlgeschlagenen Versuch und bis zu zwei weiteren Versuchen. Die Mittelwerte lagen zwischen 0,54 und 0,67. Die beste berichtete Kombination, Opus 5 auf OpenCode, erreichte 0,57 ohne Rückmeldung und 0,67 mit Rückmeldung. Das sind Benchmark-Ergebnisse der Autoren, kein Testlauf von BIG CHANGE und keine unabhängige Replikation. Die Verbesserung durch erneute Versuche muss vorsichtig interpretiert werden. Die Autoren beobachteten, dass Agenten bei einigen Teilaufgaben mit geschlossenen Antwortoptionen die Möglichkeiten ratend ausprobierten. Deshalb schlossen sie 177 solcher Teilaufgaben aus ihren Analysen der Nutzerzüge und Wiederholungsversuche aus. Andere Formen, das Rückmeldesystem auszunutzen, seien möglich; welcher Anteil der Verbesserung im Schwellenmodus auf dieses Verhalten zurückgeht, ist nicht beziffert. Die Werte dieses Modus beschreiben die Leistung unter genau diesem Signal und dieser Versuchsgrenze. Sie dürfen nicht als Beleg dafür gelten, dass ein Agent die zugrunde liegende Analyse korrigiert hat. Über die Kombinationen hinweg lagen die Werte der Teilaufgaben im zweiten Nutzerzug in der Einzeldurchlaufanalyse der Arbeit um 0,06 bis 0,12 unter denen des ersten. Teilaufgaben, die von früheren Antworten abhingen, schnitten schlechter ab als unabhängige. Bei Wiederholungsversuchen im Schwellenmodus erreichten nur 22% bis 34% der in diese Wiederholungsanalyse einbezogenen Teilaufgaben innerhalb von drei Versuchen die Schwelle von 0,7, gegenüber 15% bis 24% beim ersten Versuch. Diese Muster beantworten die zentrale Frage des Benchmarks direkter als eine Modellrangliste: In diesen Tests bleibt es schwierig, die Arbeitskette intakt zu halten. ## Was die Fehleranalyse zeigt Die Autoren untersuchten fehlgeschlagene erste Versuche anhand einer Stichprobe von 150 Teilaufgaben. Ihre automatisierte Analyse fand Fälle, in denen Agenten zu viele Ergebnisse lieferten, eine verlangte Auswahlregel durch eine eigene ersetzten, ein anderes Verfahren nutzten oder aus Vorwissen statt anhand der bereitgestellten Daten antworteten. Für einen Biologen kann eine zurückgegebene Liste plausibel aussehen, obwohl sie mit dem falschen statistischen Filter ausgewählt wurde. Die Beispiele in der Arbeit machen solche Fehler aufschlussreicher untersuchbar als ein einzelner Gesamtwert. Diese Fehlerkennzeichnungen sind explorativ. Ein Sprachmodell als Beurteiler erzeugte Beschreibungen und Kategorien. Die Autoren prüften die Übereinstimmung wiederholter Annotationen, validierten die Kennzeichnungen aber nicht anhand menschlicher Annotatoren. Auch können die begrenzten Tests über verschiedene Ausführungsrahmen hinweg nicht trennen, wie viel eines Bewertungsunterschieds vom Modell und wie viel von der umgebenden Agentensoftware stammt. Die Aufgabensammlung umfasst mehrere biologische Bereiche, doch den Autoren zufolge enthält jeder zu wenige Aufgaben für zuverlässige Modellvergleiche innerhalb des jeweiligen Bereichs. Forschende können das [von den Autoren verlinkte Repository](https://huggingface.co/datasets/gideonshaked/OmicsBench) prüfen. Es enthält das Ausführungsprogramm und drei öffentliche Aufgabendateien mit Lösungsschlüsseln. Die übrigen 94 Aufgaben werden laut Arbeit als privater Testsatz zurückgehalten. Diese öffentliche Teilmenge erlaubt Einblicke in den Aufbau von OmicsBench; allein lässt sich damit nicht die Rangliste der Arbeit über alle 97 Aufgaben reproduzieren. Der Preprint misst Agenten anhand vorgegebener Analyseantworten. Er belegt nicht, dass sie zuverlässige wissenschaftliche Entdeckungen machen, ohne Aufsicht in einem Forschungslabor arbeiten oder Computerbiologen ersetzen können. ## Quellen und weiterführende Lektüre - [Shaked und Nagisetty, „OmicsBench“, arXiv v1, 15. Oktober 2026](https://arxiv.org/html/2610.21074v1). Methoden, Ergebnisse, Einschränkungen und Anhänge belegen die hier genannten Zahlen und die Beschreibung der Bewertung. Es handelt sich um einen Preprint mit von den Autoren berichteten Ergebnissen. - [Öffentliches OmicsBench-Repository](https://huggingface.co/datasets/gideonshaked/OmicsBench). Die von den Autoren verlinkte Veröffentlichung enthält das Ausführungsprogramm und drei öffentliche Aufgabendateien. Anhang E der Arbeit erläutert den zurückgehaltenen Testsatz und die Lizenzen. ## Sources - [Shaked und Nagisetty: OmicsBench, arXiv v1](https://arxiv.org/html/2610.21074v1) — Preprint mit von den Autoren berichteten Ergebnissen. Methoden, Ergebnisse, Einschränkungen und Anhang E beschreiben den Benchmark mit 97 Aufgaben und seine öffentliche Teilmenge von drei Aufgaben; BIG CHANGE hat ihn nicht ausgeführt. - [Öffentliches OmicsBench-Repository](https://huggingface.co/datasets/gideonshaked/OmicsBench) — Das von den Autoren verlinkte Ausführungsprogramm und drei öffentliche Fragendateien wurden anhand direkter Verzeichnisbaum-Auflistungen des Repositorys bestätigt. Laut Arbeit bleiben die übrigen 94 Aufgaben privat.