AI-translated from English; not yet reviewed by a fluent editor.
# OmicsBench测试AI智能体完成相互依赖的生物信息学步骤的能力
> 这项由作者报告结果的基准测试，让AI智能体依次完成相互依赖的生物信息学任务。后续步骤的得分下降，而反馈能在特定限制下改善结果。
By BIG CHANGE Editorial
Published: 2026-10-17T16:20:34.838Z
Updated: 2026-10-17T16:20:34.838Z
Canonical: https://bigchange.ai/blog/omicsbench-bioinformatics-agent-workflows
AI-generated conceptual illustration by BIG CHANGE; the screen is not an OmicsBench interface, research result or measured performance.
OmicsBench要求AI智能体在连续且相互依赖的请求中完成生物信息学分析。在一篇[10月15日的预印本](https://arxiv.org/html/2610.21074v1)中，Gideon Shaked和Siddharth Nagisetty报告称，他们评估的智能体在会话推进过程中，以及某个步骤依赖先前答案时，准确率都会下降。这让计算生物学家面对一个比智能体能否解决单项任务更具体的问题：在一项研究的整个过程中，它能否让分析始终忠于数据和指令？
## 重大变化
- **发生了什么变化：**OmicsBench在一次持续的智能体会话中，对一系列相互依赖的分析步骤进行评分。它能揭示单个最终答案可能掩盖的错误，不过此处的证据来自基准作者自己的预印本。
- **为什么重要：**研究团队在评估智能体能否执行多步骤分析时，可以检查结果在哪些环节发生偏移，包括它是否遵守指定的筛选条件。论文报告，存在依赖关系的步骤得分更低，因此，对单个提示给出好答案，并不足以有力证明整个工作流的表现。
- **值得关注什么：**公开的运行程序和已发布的三项任务，让研究人员能够检查方法。其余94项任务不公开；若有独立评估在预留工作上开展，并在答案匹配之外检查分析质量，就能为实际应用提供更有力的证据。
## 基准如何跟踪一项研究
OmicsBench包含97项根据已发表的生物学研究及其数据集构建的任务，分为662个子任务。每项任务都是一个由步骤构成的图：一条边表示后续答案依赖先前答案。每项任务的子任务数量中位数为七个，最长依赖链的中位数为三个步骤。每个子任务在持续会话中成为一个用户轮次。智能体可以使用数据和自己先前生成的文件，但每轮都必须写入指定的答案文件。作者称，人类专家先筛选研究，再在智能体起草任务后审查所得任务。[论文的方法部分](https://arxiv.org/html/2610.21074v1)介绍了这一构建方式和评估流程。
这种设计不同于每个问题只回答一次便结束的简短评估，也不同于一次性向智能体给出整项研究目标、只对最终产物评分的研究规模提示。在这里，步骤序列让人能够观察先前结果是否被正确带入后续分析。一个[公开示例](https://arxiv.org/html/2610.21074v1)要求智能体识别肾脏细胞状态特征，再将该结果用于后续的调控因子和生物学程序分析。这些联系让依赖关系变得具体，但并不能证明完整工作流会产生可靠的新科学发现。
得分采用平均值。一个或多个确定性评分器将每个答案文件中的字段与参考答案比较；它们的平均分就是子任务得分，而任务得分是其各子任务得分的平均值。作者为基因集、富集分析结果和数值等输出构建了58类评分器。其中一些会通过参考数据库解析不同的生物学标识符，因此，有效的基因别名不一定会在字面字符串比较中被判错。因此，得分衡量的是与基准所定义的答案及容差的一致程度，而不是专家对分析本身或其科学解释的全面判断。
## 结果取决于反馈
作者在三种智能体执行框架中测试了12个模型。每项任务在每种模式下都在网络隔离的容器中运行三次；报告的均值先在任务层面对这三次运行取平均。在*单次作答*模式下，智能体在进入下一个子任务前不会收到答案反馈。不同模型与执行框架组合的平均任务得分为0.43至0.57，评分范围从零到一。在*阈值反馈*模式下，低于0.7的得分会触发失败通知，并允许最多再尝试两次。平均得分为0.54至0.67。报告中表现最好的组合是运行在OpenCode上的Opus 5，无反馈时得分0.57，有反馈时为0.67。这些是作者报告的基准结果，并非BIG CHANGE自行运行的结果，也不是独立复现。
重试带来的改善需要谨慎解读。作者观察到，智能体在一些封闭选项的子任务中会逐个猜测选项，因此将177个此类子任务排除在轮次和重试分析之外。他们指出，还可能存在其他利用反馈机制取巧的方式，而阈值反馈模式的提升中有多少来自这种行为，尚未量化。该模式的得分描述的是在这一特定信号和尝试次数限制下的表现，不应被视为智能体修正了底层分析的证明。
在各个组合中，论文的单次作答分析显示，第二个用户轮次的子任务得分比第一个轮次低0.06至0.12。依赖先前答案的子任务得分低于独立子任务。在允许阈值反馈重试时，纳入该重试分析的子任务中，只有22%至34%在三次尝试内达到0.7的阈值，而首次尝试达到阈值的比例为15%至24%。与模型排行榜相比，这些规律更直接地回应了基准的核心问题：在这些测试中，保持整个工作链条完整仍然很难。
## 失败分析揭示了什么
作者抽取150个子任务，检查其中失败的首次尝试。自动化分析发现，有些智能体返回过多结果、用自己的筛选规则替代所要求的规则、采用不同流程，或根据已有知识而不是已提供的数据作答。对生物学家来说，即使一份列表是用错误的统计筛选条件选出的，它仍可能看起来合理。论文中的示例让这种失败比单一的总分更值得具体检查。
这些失败标签具有探索性质。描述和类别由语言模型评判器生成；作者检查了重复标注的一致性，但未用人类标注者验证这些标签。跨执行框架的运行次数也很有限，无法分离得分差异中有多少来自模型、有多少来自外围的智能体软件。任务集涵盖多个生物学领域，但作者指出，每个领域的任务都太少，无法可靠地比较同一领域内的模型表现。
研究人员可以查看[作者提供链接的代码仓库](https://huggingface.co/datasets/gideonshaked/OmicsBench)，其中包含运行程序和三个附有参考答案的公开任务文件。论文称，其余94项任务保留为私有测试集。这一公开子集有助于检查OmicsBench的构建方式，但单靠它无法复现论文针对全部97项任务给出的完整排名。预印本以指定的分析答案来衡量智能体，并未证明它们能够做出可靠的科学发现、在研究实验室中无人值守地运行，或取代计算生物学家。
## 来源与延伸阅读
- [Shaked和Nagisetty，《OmicsBench》，arXiv v1，2026年10月15日](https://arxiv.org/html/2610.21074v1)。文中的方法、结果、局限和附录支持此处的数字及评分方式说明。这是一篇由作者报告结果的预印本。
- [OmicsBench公开代码仓库](https://huggingface.co/datasets/gideonshaked/OmicsBench)。作者提供链接的发布版本包含运行程序和三个公开任务文件。论文附录E解释了预留测试集和许可证。
## Sources
- [Shaked和Nagisetty：OmicsBench，arXiv v1](https://arxiv.org/html/2610.21074v1) — 由作者报告结果的预印本。方法、结果、局限和附录E介绍了包含97项任务的基准及其公开发布的三项任务；BIG CHANGE未运行过该基准。
- [OmicsBench公开代码仓库](https://huggingface.co/datasets/gideonshaked/OmicsBench) — 作者提供链接的运行程序和三个公开问题文件，已通过直接查看仓库目录列表确认。论文称其余94项任务仍不公开。