Sakana AI 研究人員測試一套在撰寫審查前先閱讀科學論文的系統。在一份 10 月 8 日的預印本中，若綜合考慮四份生成式審查，Multi-Layered Review 系統找出論文主要主張中刻意植入矛盾的比率為 73.43%。這個數字描述合成基準測試中最核心的一類。在另一組曾撤稿且有真實問題紀錄的論文中，嚴格測試下審查與撤稿說明精確吻合的比率為 16.11%；較寬鬆測試下提出類似疑慮的比率為 26.07%。

重大變化

  • 改變之處： Sakana 團隊讓 AI 審查對照可辨識、刻意植入的錯誤，而不只看生成審查與人類審查有多相似。突出的 73.43% 結果只涵蓋最核心的植入矛盾，而且每篇論文嘗試四次。
  • 為何重要： 審查者和編輯需要能指出實質錯誤的工具，而不只是寫出看似合理的文字。撤稿論文上的吻合率低得多，顯示表現很大程度取決於錯誤類型及偵測方式。
  • 接下來觀察： 有用的下一步測試是看系統能否在不同領域和較長論文中找出自然發生的問題，再提供審查者可核對的證據。這份預印本也發現，投稿文字中的隱藏指令可能影響審查分數。

矛盾測試如何進行

研究人員先取用 ACL、AISTATS、CVPR、ICML 2025，以及 NeurIPS 2024 的 257 篇 AI 會議論文。他們用 Gemini 2.5 Pro 對照各篇論文的主張與支持細節，再由 GPT-4.1 依照細節距離主要主張的遠近產生矛盾段落。替換原文段落並重新編譯後，共得到 1,164 個修改版本，每篇都植入一個矛盾。依照論文設計，距離為零代表主要主張中的矛盾；距離越大，涉及的細節越周邊。

Sakana 的審查器以 Claude Sonnet 4 為核心，先列出論文大綱，再仔細閱讀證據、假設與弱點，最後撰寫審查。完整框架可加入附錄摘要和文獻搜尋。矛盾測試中，研究人員 只使用 Review Agent，沒有使用這兩個選用元件。o3 模型將每份審查與原始、修改後段落比較，判斷是否找到指定矛盾。研究人員重複判斷十次並報告平均值。

73.43% 來自 預印本表 14：若 四份生成式審查中的任一份 找出距離為零的矛盾，就算偵測成功。基準測試為 257 篇原始論文各製作一個距離零的修改版本。單份 MLR 審查在該類別的分數為 60.79%。對全部 1,164 個植入矛盾，四份審查合計為 40.95%，單份為 28.32%。錯誤越遠離主要主張，偵測率越低，但最遠的幾組樣本不多。

比較數字必須連同設定一起看。在距離零錯誤中，使用 GPT-4.1 的 LLM-Review 得分為 14.56%；改用 Claude Sonnet 4 並取消文字截斷後升至 35.40%。單份 MLR 審查的 60.79% 又更高。這個順序顯示模型選擇和審查流程都很重要；四份審查的 73.43% 也受益於多次找出錯誤的機會。基準使用不同模型和審查格式，因此標題數字不是三階段流程的單獨測量。

真實論文測試更難

作者也評估 WithdrarXiv-Check資料集，其中將撤回的 arXiv 論文與撤稿說明配對。他們從原本 245 篇的測試集取出 211 篇、頁數不超過 30 頁的論文。o3 評審器檢查生成審查中的疑慮是否與撤稿說明吻合。「精確」吻合得到 MLR 的 16.11%；允許類似疑慮時為 26.07%。類似設定下，次佳基準 AgentReview 為 18.48%。這些數字衡量的是與已記錄撤稿原因的吻合，不是論文所有可能缺陷。

兩組資料集的比較有限制。作者指出，許多撤稿論文屬於數學和物理，而系統主要為 AI 會議投稿設計。附錄顯示，頁數增加時偵測率下降。合成基準也有自身優勢：人工檢查 50 個植入矛盾時，人類評分者認為 34% 會打斷周圍文字的自然流暢度。這可能讓一些人工修改比研究或寫作過程自然產生的錯誤更容易被發現。

預印本也測試刻意操弄。研究人員在 50 篇遭拒論文的結論後方，以極小白字隱藏文字。論文稱所有受測審查系統都受到插入指令影響；MLR 在八個案例中明確注意到指令。它對自身審查分數的平均改變很小，但個別變化差異很大。這另提醒人們，不應將投稿稿件中的文字視為可信指令。

這項研究提供更具體的方法，檢驗 AI 審查器是否抓到已知錯誤，但沒有證明自動化同儕審查可靠。結果由系統開發者在預印本中報告；BIG CHANGE 未執行程式碼，也未獨立重現評估。

來源與延伸閱讀