AI-translated from English; not yet reviewed by a fluent editor.

# OmicsBench測試AI代理完成具相依性的生物資訊分析步驟

> 一項由作者自行報告的基準測試，追蹤AI代理完成相互依賴的生物資訊任務。後續步驟的分數下降，回饋則在一定限制下改善結果。

By BIG CHANGE Editorial

Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows

![Conceptual charcoal illustration of an unbranded workstation with abstract dots on its monitor and an external drive beside it.](https://bigchange.ai/api/media/file/omicsbench-bioinformatics-workstation-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.

OmicsBench要求AI代理依照連續且相互依賴的請求，完成一項生物資訊分析。在一篇[10月15日的預印本](https://arxiv.org/html/2610.21074v1)中，Gideon Shaked與Siddharth Nagisetty報告，他們評估的代理隨著對話進行，以及某個步驟依賴先前答案時，準確度都會下降。這讓計算生物學家面對一個比代理能否解決單一獨立任務更具體的問題：在整項研究過程中，它能否讓分析持續忠於資料與指示？

## 關鍵變化

- **有何改變：**OmicsBench在同一場持續進行的代理對話中，為一連串相互依賴的分析步驟評分。它能揭露單一最終答案可能掩蓋的錯誤，不過這裡的證據來自基準測試作者自己的預印本。
- **為何重要：**研究團隊在評估代理能否完成多步驟分析時，可以檢視結果在哪裡偏離要求，包括是否遵循指定的篩選標準。論文報告相依步驟的分數較低，因此對單一提示給出好答案，並不足以有力證明整套工作流程可靠。
- **接下來看什麼：**公開的執行程式與已釋出的三項任務，讓研究人員能檢視方法。其餘94項任務仍不公開；若能對保留測試資料進行獨立評估，並在答案比對之外檢查分析品質，將能提供更有力的實用性證據。

## 基準測試如何追蹤一項研究

OmicsBench包含97項任務，取材自已發表的生物學研究及其資料集，並細分為662項子任務。每項任務都是由步驟構成的圖：一條邊代表後續答案依賴先前答案。每項任務的子任務數中位數為七，最長相依鏈長度的中位數為三個步驟。一項子任務對應持續對話中的一輪使用者請求。代理可以使用資料及自己先前產生的檔案，但每一輪都必須寫入指定的答案檔。作者表示，研究由人類專家挑選；代理擬定任務草稿後，再由專家審查形成的任務。[論文的方法章節](https://arxiv.org/html/2610.21074v1)說明了這套建置與評估程序。

這種設計有別於每個問題只回答一次就結束的短式評估，也不同於一次交給代理整項研究目標、僅評分最終成果的研究規模提示。在這裡，步驟序列讓研究人員能觀察先前結果是否正確帶入後續分析。其中一個[公開範例](https://arxiv.org/html/2610.21074v1)要求代理辨識腎臟細胞狀態特徵，再將結果用於後續對調控因子與生物學程序的分析。這些連結讓相依關係變得具體，卻不能證明完整工作流程會產生可靠的新科學發現。

分數是一個平均值。一個或多個確定性評分器將每份答案檔中的欄位與標準答案比對；其平均值就是子任務分數，任務分數則取各子任務的平均值。作者針對基因集合、富集分析結果及數值等輸出，建立了58種評分器。有些會透過參考資料庫解析不同的生物學識別碼，因此有效的基因同義名稱不一定會因字串不完全相同而被判錯。所以，分數衡量的是結果與基準測試所定義答案及容許誤差的一致程度，並非專家對分析或其科學解釋的完整判斷。

## 結果取決於回饋

作者在三種代理執行框架上測試了12個模型。每項任務在每種模式下，都於隔離網路的容器中執行三次；報告的平均值會先在任務層級平均這些執行結果。在*單次執行*模式中，代理在進入下一項子任務前，不會收到答案回饋。各模型與執行框架組合的任務平均分數，在零到一的量尺上介於0.43至0.57。在*設門檻*模式中，分數低於0.7就會觸發失敗通知，並允許最多再嘗試兩次。平均分數介於0.54至0.67。報告中表現最好的組合是OpenCode上的Opus 5，沒有回饋時得分0.57，有回饋時為0.67。這些是作者自行報告的基準測試結果，並非BIG CHANGE執行的測試或獨立重現。

重試帶來的改善需要謹慎解讀。作者觀察到，代理會在某些封閉選項子任務中逐一猜測選項，因此在對話輪次與重試分析中排除了177項此類子任務。他們表示，還可能存在其他利用回饋機制取巧的方式，而設門檻模式的改善有多少可歸因於這種行為，仍未量化。設門檻模式的分數，描述的是在這種特定訊號與嘗試次數限制下的表現，不應被視為代理已修正底層分析的證據。

在各種組合中，論文的單次執行分析顯示，第二輪子任務的分數比第一輪低0.06至0.12。依賴先前答案的子任務，得分低於獨立子任務。採用設門檻重試時，納入該重試分析的子任務中，只有22%至34%能在三次嘗試內達到0.7門檻，相較之下，第一次嘗試達標的比例為15%至24%。比起模型排行榜，這些模式更直接回應了基準測試的核心問題：在這些測試中，維持整條工作鏈的完整性仍然困難。

## 失敗分析顯示什麼

作者抽樣檢視150項子任務中失敗的首次嘗試。他們的自動化分析發現，代理有時傳回過多結果、用自己的規則取代指定的篩選規則、採用不同程序，或依靠既有知識作答，而非使用預先準備的資料。對生物學家而言，即使清單是用錯誤的統計篩選條件選出，內容也可能看似合理。論文中的例子讓這類失敗比單一彙總分數更值得檢視。

這些失敗標籤屬於探索性結果。語言模型評判器產生了描述與分類；作者檢查重複標註的一致性，卻未以人類標註者驗證這些標籤。有限的跨執行框架測試，也無法分辨分數差異有多少來自模型、有多少來自周邊的代理軟體。任務集合涵蓋多個生物學領域，但作者表示，每個領域的任務都太少，不足以可靠比較模型在該領域的表現。

研究人員可以檢視[作者提供連結的程式庫](https://huggingface.co/datasets/gideonshaked/OmicsBench)，其中包含執行程式，以及三份附有標準答案的公開任務檔。論文表示，其餘94項任務保留為不公開的測試集。這個公開子集有助於檢視OmicsBench的建置方式，卻無法單獨重現論文完整的97項任務排名。預印本衡量的是代理與指定分析答案的符合程度，並未證明它們能做出可靠的科學發現、在研究實驗室中無人監督地運作，或取代計算生物學家。

## 資料來源與延伸閱讀

- [Shaked與Nagisetty，〈OmicsBench〉，arXiv v1，2026年10月15日](https://arxiv.org/html/2610.21074v1)。方法、結果、限制與附錄支持本文的數字及評分方式說明。這是作者自行報告的預印本。
- [OmicsBench公開程式庫](https://huggingface.co/datasets/gideonshaked/OmicsBench)。作者提供連結的釋出內容，包含執行程式與三份公開任務檔。論文附錄E說明了保留測試集與授權。

## Sources

- [Shaked與Nagisetty：OmicsBench，arXiv v1](https://arxiv.org/html/2610.21074v1) — 作者自行報告的預印本。方法、結果、限制與附錄E描述了97項任務的基準測試，以及其中三項任務的公開釋出；BIG CHANGE並未執行這項測試。
- [OmicsBench公開程式庫](https://huggingface.co/datasets/gideonshaked/OmicsBench) — 作者提供連結的執行程式與三份公開題目檔，已透過直接檢視程式庫檔案樹清單確認。論文表示，其餘94項任務仍不公開。