世界は立ち止まらない。RSS
BIG CHANGE.

Markdown版

AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench、相互に依存するバイオインフォマティクスの工程でAIエージェントを評価

> 著者報告のベンチマークが、相互に依存するバイオインフォマティクスのタスクでAIエージェントを追跡する。後の工程ほどスコアは下がり、フィードバックは一定の制約下で結果を改善した。

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

OmicsBenchは、連続する相互依存の要求に沿ってバイオインフォマティクス解析を進めるようAIエージェントに求める。[10月15日付のプレプリント](https://arxiv.org/html/2610.21074v1)で、Gideon ShakedとSiddharth Nagisettyは、評価したエージェントの精度がセッションの進行に伴って低下し、ある工程がそれ以前の回答に依存する場合にも低下したと報告している。この結果は計算生物学者に、単独のタスクを解けるかどうかより具体的な問いを投げかける。研究を通じて、データと指示に忠実な解析を維持できるのか。

## 大きな変化

- **何が変わったか：**OmicsBenchは、継続する一つのエージェントセッション内で、相互に依存する一連の解析工程を採点する。一つの最終回答では隠れてしまう誤りを明らかにするが、ここでの根拠はベンチマークの著者自身によるプレプリントに由来する。
- **なぜ重要か：**多段階解析へのエージェントの適性を判断する研究チームは、指定した選択基準に従っているかを含め、結果がどこでずれるかを調べられる。論文では依存関係のある工程のスコアが低いため、一つのプロンプトに対する良い回答は、ワークフロー全体の性能を示す根拠としては弱い。
- **今後の注目点：**公開の実行プログラムと公開済みの三つのタスクにより、研究者は手法を検討できる。残りの94タスクは非公開だ。取り置いた課題を使い、回答の一致にとどまらず解析の質も確認する独立評価があれば、実用性についてより強い根拠が得られる。

## 研究の流れを追うベンチマークの仕組み

OmicsBenchは、公開済みの生物学研究とそのデータセットから構築した97タスクを含み、662のサブタスクに分かれている。各タスクは工程のグラフであり、辺は後の回答が前の回答に依存することを表す。タスク当たりのサブタスク数の中央値は七つ、最長の依存連鎖の中央値は三工程だ。各サブタスクは継続セッション内のユーザーターンになる。エージェントはデータと以前の自分のファイルを利用できるが、各ターンで指定の回答ファイルを書き出す必要がある。著者によれば、人間の専門家が研究を選定し、エージェントがタスクの草案を作成した後に、それらのタスクを専門家が確認した。[論文の手法の節](https://arxiv.org/html/2610.21074v1)が、その構築方法と評価手順を説明している。

この設計は、各質問が一度の回答で終わる短い評価とは異なる。また、研究全体の目的を最初にまとめて与え、最終成果物だけを採点する研究規模のプロンプトとも異なる。ここでは工程を順番に進めることで、前の結果が後の解析に正しく引き継がれるかを観察できる。[公開されている一例](https://arxiv.org/html/2610.21074v1)では、腎臓の細胞状態のシグネチャーを特定し、その結果を使って調節因子や生物学的プログラムをさらに解析するよう求める。こうしたつながりによって依存関係は具体化されるが、ワークフロー全体が妥当な新しい科学的発見を生むと証明されるわけではない。

スコアは平均値である。一つ以上の決定論的な採点器が各回答ファイルのフィールドを正解表と比較し、その平均がサブタスクのスコアになる。タスクのスコアは各サブタスクの平均だ。著者らは、遺伝子集合、エンリッチメント解析の結果、数値などの出力に対応する58種類の採点器を構築した。一部は参照データベースを使って生物学的識別子の別表記を解決するため、有効な遺伝子の同義名が文字列の完全一致比較で必ず不正解になるわけではない。したがってスコアが測るのは、ベンチマークで定義した回答と許容範囲への一致であり、解析やその科学的解釈に対する専門家の総合的判断ではない。

## 結果はフィードバックに左右される

著者らは三つのエージェント実行基盤で12モデルをテストした。各タスクはネットワークから隔離したコンテナ内で、モードごとに三回実行された。報告される平均は、まずタスク単位でその三回を平均したものだ。*単一試行*モードでは、次のサブタスクに進む前に回答へのフィードバックは得られない。モデルと実行基盤の組み合わせ別の平均タスクスコアは、ゼロから一の尺度で0.43～0.57だった。*しきい値付き*モードでは、スコアが0.7未満だと失敗通知が出され、最大二回の追加試行が認められる。平均スコアは0.54～0.67だった。報告で最良だった組み合わせのOpenCode上のOpus 5は、フィードバックなしで0.57、ありで0.67を記録した。これらは著者が報告するベンチマーク結果であり、BIG CHANGEによる実行や独立した追試ではない。

再試行による改善は慎重に解釈する必要がある。著者らは、選択肢が限定された一部のサブタスクでエージェントが選択肢を順に推測していたと観察し、そのような177サブタスクをターンと再試行の分析から除外した。フィードバックを攻略する別の行動もあり得るとし、しきい値付きモードの改善のうち、その行動が占める割合は定量化されていないという。このモードのスコアは、その特定の信号と試行回数制限の下での性能を表す。エージェントが根本の解析を修正した証拠と読むべきではない。

論文の単一試行の分析では、組み合わせ全体で、二番目のユーザーターンのサブタスクスコアは最初のターンより0.06～0.12低かった。前の回答に依存するサブタスクは、独立したものよりスコアが低かった。しきい値付きモードの再試行では、その再試行分析に含まれるサブタスクのうち、三回以内に0.7のしきい値に達した割合は22%～34%にとどまった。初回の試行では15%～24%だった。こうした傾向はモデルの順位表より直接的に、ベンチマークの中心的な問いに答えている。これらのテストでは、一連の作業を崩さずにつなぐことは依然として難しい。

## 失敗分析が示すこと

著者らは150サブタスクの標本を取り、失敗した初回試行を調べた。自動分析では、結果を多く返しすぎる、求められた選択ルールを独自のものに置き換える、別の手順を使う、用意されたデータではなく事前知識から答える、といった例が見つかった。生物学者から見ると、誤った統計フィルターで選んだリストでも、もっともらしく見える場合がある。論文の例は、単一の総合スコアよりも、こうした失敗を具体的に調べる手がかりになる。

これらの失敗ラベルは探索的なものだ。言語モデルの判定器が説明と分類を生成した。著者らは反復アノテーションの一致を確認したが、人間のアノテーターを使ってラベルを検証してはいない。また、実行基盤をまたぐ試行は限られており、スコア差のうちモデルと周辺のエージェントソフトウェアがそれぞれどの程度寄与するかを切り分けられない。タスク群は複数の生物学分野にまたがるが、各分野のタスク数は、その分野内でモデルを信頼できる形で比較するには少なすぎると著者らは述べている。

研究者は[著者がリンクを示すリポジトリ](https://huggingface.co/datasets/gideonshaked/OmicsBench)を確認できる。実行プログラムと、正解表を含む三つの公開タスクファイルが収められている。論文によれば、残りの94タスクは非公開のテストセットとして保持されている。この公開部分でOmicsBenchの構築方法は検討できるが、それだけでは論文の97タスク全体のランキングを再現できない。プレプリントは、指定された解析の回答を基準にエージェントを測っている。信頼できる科学的発見ができること、研究室で無人運転できること、計算生物学者を代替できることを実証するものではない。

## 出典と参考資料

- [ShakedとNagisetty「OmicsBench」、arXiv v1、2026年10月15日](https://arxiv.org/html/2610.21074v1)。ここでの数値と採点方法の説明は、手法、結果、限界、付録に基づく。著者報告のプレプリントである。
- [OmicsBenchの公開リポジトリ](https://huggingface.co/datasets/gideonshaked/OmicsBench)。著者がリンクを示す公開版には、実行プログラムと三つの公開タスクファイルが含まれる。論文の付録Eは、取り置いたテストセットとライセンスについて説明している。

## Sources

- [ShakedとNagisetty：OmicsBench、arXiv v1](https://arxiv.org/html/2610.21074v1) — 著者報告のプレプリント。手法、結果、限界、付録Eで、97タスクのベンチマークと三タスクの公開版を説明する。BIG CHANGEは実行していない。
- [OmicsBenchの公開リポジトリ](https://huggingface.co/datasets/gideonshaked/OmicsBench) — 著者がリンクを示す実行プログラムと三つの公開質問ファイルを、リポジトリのディレクトリ一覧の直接確認で確かめた。論文は、残りの94タスクは非公開だと述べている。