Sakana AIの研究者は、査読を書く前に科学論文を読むシステムをテストした。 10月8日のプレプリントによると、4件の生成レビューを合わせたMulti-Layered Reviewは、論文の主要な主張に意図的に挿入された矛盾の73.43%を特定した。この数字は合成ベンチマークで最も中心的な分類を表す。実際に報告された問題がある別の撤回論文群では、厳しい基準で撤回コメントと完全一致した割合が16.11%、緩い基準で類似の懸念を示した割合が26.07%だった。

大きな変化

  • 何が変わったか： Sakanaのチームは、生成レビューが人間のレビューに似ているかだけでなく、識別可能な人工の誤りを見つけるかを試した。注目の73.43%は、論文ごとに4回試した最も中心的な矛盾に限られる。
  • なぜ重要か： 査読者と編集者に必要なのは、もっともらしい文章だけでなく実質的な誤りを指摘する道具だ。撤回論文で一致率が大幅に低いことは、性能が誤りの種類と測定法に左右されることを示す。
  • 今後の注目点： 次の有用な検証は、複数分野や長い論文で自然に生じた問題を見つけ、査読者が確認できる根拠を示せるかだ。このプレプリントは、投稿文に隠された指示が評価スコアに影響し得ることも報告した。

矛盾テストの方法

研究者はACL、AISTATS、CVPR、ICML 2025とNeurIPS 2024のAI会議論文257本を用意した。Gemini 2.5 Proで主張と裏付けの詳細を対応づけ、GPT-4.1で主張から異なる距離にある矛盾文を作成した。元の文章を置き換えて再コンパイルし、各論文に1つの矛盾を仕込んだ1,164版を作った。論文の設計では距離0が主要な主張の矛盾で、距離が大きいほど周辺的な詳細を指す。

Claude Sonnet 4を中心に構築したSakanaの査読者は、まず論文を概説し、証拠・前提・弱点を詳しく確認してからレビューを書く。完全な枠組みには付録の要約や文献検索も追加できる。この矛盾テストでは任意の2要素を含めず、 Review Agentのみを使った。o3モデルが各レビューと元・改変箇所を比較し、狙った矛盾を見つけたか判定した。この判定を10回繰り返し、平均を報告した。

73.43%はプレプリントの 表14に由来する。距離0の矛盾は、 4件の生成レビューのうち1件でも 特定すれば検出と数えた。ベンチマークには元論文257本それぞれについて距離0の改変版が1つある。この分類でMLRの単一レビューは60.79%だった。仕込まれた全1,164矛盾では4件のレビューが40.95%、1件では28.32%。主要な主張から離れるほど率は下がったが、最も遠い分類は例が少ない。

比較には各条件を付けて読む必要がある。距離0の誤りでGPT-4.1を使うLLM-Reviewは14.56%。Claude Sonnet 4に替え、テキスト切り詰めをなくすと35.40%になった。単一レビューのMLRは60.79%。モデル選択と手順の両方が重要だったことを示す一方、4レビューの73.43%には誤りを拾う機会が複数ある利点も含まれる。基準モデルはモデルや形式が異なるため、見出しの数値だけでは3段階手順を単独評価できない。

実論文での検証はさらに難しかった

著者は撤回されたarXiv論文と撤回コメントのデータセット WithdrarXiv-Checkも評価した。元の245本の試験集合から30ページ以下の211本を使用。o3判定者は、生成レビューに撤回コメントと一致する懸念があるかを探した。「完全」一致はMLRで16.11%、類似の懸念も認めると26.07%。同じ緩い条件で次点のAgentReviewは18.48%だった。これは文書化された撤回理由との一致であり、各論文のあらゆる欠陥を測るものではない。

2つのデータセットの比較には限界がある。著者によれば、撤回論文の多くは数学・物理分野だが、システムは主にAI会議投稿を想定する。付録ではページ数が増えると検出が低下した。合成ベンチマークにも利点がある。仕込んだ矛盾50件の手作業監査では、人間の評価者は34%が周囲の文章の自然な流れを乱すと判断した。人工の編集は、研究や執筆中に自然に生じた誤りより見つけやすい場合がある。

プレプリントは意図的な操作も試した。研究者は不採択論文50本の結論後に、極小の白文字で指示を隠した。論文によれば、試験した全システムが影響を受け、MLRは8件で指示に明示的に気づいた。自身のレビュー点の平均変化は小さいが、個別の変化は大きくばらついた。投稿原稿の文章を信頼できる指示として扱うべきではないという別の警告だ。

この研究は、AI査読者が既知の誤りを見つけるかをより具体的に問う方法を示すが、自動査読の信頼性を確立してはいない。結果はシステム開発者がプレプリントで報告したもので、BIG CHANGEはコードを実行せず、評価を独立再現していない。

出典と参考資料