Sakana AI 研究人员测试了一套先阅读科学论文、再撰写评审的系统。在一份 10 月 8 日预印本中，四份生成的评审合并后，其 Multi-Layered Review 系统找出 73.43% 人为植入论文主要论点的矛盾。该数字对应合成基准中最核心的一类。在另一组存在真实报告问题的撤稿论文中，严格标准下，评审与撤稿评论精确匹配的比例为 16.11%；较宽标准下，提出类似疑虑的比例为 26.07%。

重大变化

  • 改变了什么： Sakana 团队用可识别、刻意植入的错误测试 AI 评审，而不只看生成评审与人工评审有多相似。突出的 73.43% 结果仅涵盖最核心的植入矛盾，且每篇论文尝试四次。
  • 为何重要： 评审者和编辑需要能指出实质错误的工具，而不仅是写出看似可信的文字。撤稿论文上的匹配率低得多，说明表现取决于错误类型和检测方式。
  • 接下来关注： 有价值的后续测试应考察系统能否在不同学科和较长论文中发现自然发生的问题，并提供评审者可核查的证据。预印本还发现，投稿文本中的隐藏指令可能影响评审分数。

矛盾测试如何进行

研究人员选取 ACL、AISTATS、CVPR、ICML 2025 以及 NeurIPS 2024 的 257 篇 AI 会议论文。Gemini 2.5 Pro 用于梳理论文论点及其支持细节；随后 GPT-4.1 按照与主要论点的距离生成矛盾段落。替换原段并重新编译后，得到 1,164 个修改版本，每篇植入一处矛盾。论文设计中，距离为零表示主要论点中的矛盾；距离越大，涉及细节越外围。

Sakana 的评审系统以 Claude Sonnet 4 为核心，先概述论文，再仔细检查证据、假设和弱点，最后撰写评审。完整框架还可加入附录摘要和文献检索。此矛盾测试只使用了 Review Agent，没有启用这两个可选组件。研究人员用 o3 模型比较评审与原文、修改段落，判断是否发现目标矛盾；该判断步骤重复十次并报告平均值。

73.43% 来自预印本 表 14：只要 四份生成评审中任意一份 指出距离为零的矛盾，就算检测到。基准为 257 篇原始论文各制作一个距离为零的修改版本。单份 MLR 评审在该类别得分为 60.79%。对全部 1,164 处植入矛盾，四份评审得分为 40.95%，一份为 28.32%。错误离主要论点越远，检出率越低；最外围类别的样本也较少。

比较结果必须结合测试设定。对距离为零的错误，采用 GPT-4.1 的 LLM-Review 得分为 14.56%；换成 Claude Sonnet 4 并取消文本截断后升至 35.40%。单份 MLR 得分为 60.79%。这说明模型选择和评审流程都有影响；四份评审的 73.43% 还得益于多次发现错误的机会。基线采用了不同模型和格式，因此标题数字不能单独衡量三阶段流程。

真实论文测试更难

作者还评估了 WithdrarXiv-Check，这是将撤回的 arXiv 论文与撤稿评论配对的数据集。他们从原始 245 篇测试集选取 211 篇不超过 30 页的论文。o3 评判者检查生成评审是否提出与撤稿评论相符的疑虑。按“精确”匹配标准，MLR 得分为 16.11%；允许类似疑虑时为 26.07%。后一设置下次高的基线 AgentReview 为 18.48%。这些是与已记录撤稿原因相符的比例，并非对每篇论文所有潜在缺陷的测量。

两个数据集的比较有局限。作者称，许多撤稿论文属于数学和物理，而这些系统主要面向 AI 会议投稿。附录报告，页数增加时检出率下降。合成基准也有其优势：人工审查 50 处植入矛盾时，评审者认为 34% 会打断周围文字的自然流畅度。因此，有些人为修改可能比研究或写作过程中自然产生的错误更容易识别。

预印本还测试了蓄意操纵。研究人员在 50 篇被拒论文的结论后用极小白字隐藏指令。论文称，所有受测评审系统都受到影响；MLR 在八例中明确注意到了这些指令。其自身评审分数的平均变化不大，但个别变化差异很大。这另行提醒人们，不应把投稿稿件中的文字当作可信指令。

这项工作提供了一种更具体的方式来检验 AI 评审者是否能发现已知错误，但并未证明自动同行评审可靠。结果由系统开发者在预印本中报告；BIG CHANGE 未运行代码，也未独立复现评估。

来源与延伸阅读