Исследователи Sakana AI проверили систему, которая читает научные статьи перед подготовкой рецензии. В препринте от 8 октябрясистема Multi-Layered Review обнаружила 73,43% намеренно внесённых противоречий в основных утверждениях, если объединить четыре сгенерированные рецензии. Показатель относится к наиболее центральной категории синтетического теста. В отдельном наборе отозванных статей с реально зафиксированными проблемами рецензии точно совпали с комментариями об отзыве в 16,11% случаев при строгом критерии или указали на похожую проблему в 26,07% при более мягком.

Главное изменение

  • Что изменилось: Команда Sakana проверила ИИ-рецензии на распознаваемых намеренно внесённых ошибках, а не только на сходстве с человеческими рецензиями. Заметные 73,43% охватывают самые центральные внедрённые противоречия и четыре попытки на статью.
  • Почему это важно: Рецензентам и редакторам нужны инструменты, указывающие на существенные ошибки, а не просто создающие правдоподобный текст. Гораздо более низкое совпадение с отозванными работами показывает, насколько результат зависит от типа ошибки и метода измерения.
  • Что отслеживать: Следующий полезный тест проверил бы, находят ли системы естественно возникшие проблемы в разных областях и более длинных статьях и дают ли проверяемые доказательства. Препринт также показал, что скрытые инструкции в поданном тексте могли влиять на оценки рецензий.

Как проводился тест противоречий

Исследователи взяли 257 статей с конференций по ИИ ACL, AISTATS, CVPR и ICML 2025 годов, а также NeurIPS 2024 года. Gemini 2.5 Pro сопоставил утверждения и подтверждающие детали. Затем GPT-4.1 создал противоречащие фрагменты на разном расстоянии от основного утверждения. После замены исходных фрагментов и повторной компиляции получили 1 164 изменённые версии, каждая с одним внедрённым противоречием. По дизайну статьи нулевое расстояние означает противоречие в основном утверждении; большие значения относятся к более периферийным деталям.

Рецензент Sakana, построенный на Claude Sonnet 4, сначала составляет обзор статьи, затем изучает доказательства, предположения и слабые места и пишет рецензию. Полная система может добавить краткое изложение в приложении и поиск литературы. Для теста противоречий исследователи использовали только Review Agent, без этих необязательных компонентов. Модель o3 сравнивала каждую рецензию с исходными и изменёнными фрагментами и оценивала, обнаружено ли нужное противоречие. Этот шаг повторили десять раз и сообщили среднее.

Показатель 73,43% взят из таблицы 14 препринта: противоречие на нулевом расстоянии считалось обнаруженным, если его выявила любая из четырёх сгенерированных рецензий . Для каждой из 257 исходных статей в тесте была одна изменённая версия с нулевым расстоянием. Одна рецензия MLR набрала в этой категории 60,79%. Для всех 1 164 внедрённых противоречий четыре рецензии набрали 40,95%, одна — 28,32%. По мере удаления ошибок от основных утверждений доля снижалась, хотя в наиболее удалённых группах было мало примеров.

Сравнение нужно рассматривать с учётом настроек. Для ошибок на нулевом расстоянии LLM-Review с GPT-4.1 набрал 14,56%; замена модели на Claude Sonnet 4 и снятие ограничения длины текста повысили результат до 35,40%. Одна рецензия MLR набрала 60,79%. Это указывает на значение и выбора модели, и процедуры; результат 73,43% для четырёх рецензий также выигрывает от нескольких попыток заметить ошибку. Базовые системы использовали разные модели и форматы, поэтому заглавный показатель не является отдельной оценкой трёхэтапной процедуры.

Проверка реальных статей оказалась сложнее

Авторы также оценили WithdrarXiv-Check, набор отозванных статей arXiv, сопоставленных с комментариями об отзыве. Из исходного тестового набора в 245 статей они взяли 211 длиной не более 30 страниц. Судья o3 искал в сгенерированной рецензии проблему, совпадающую с причиной отзыва. При «точном» совпадении MLR получил 16,11%; при допуске похожей проблемы — 26,07%. Следующая базовая система в мягком режиме, AgentReview, получила 18,48%. Это совпадения с документированными причинами отзыва, а не измерение всех возможных дефектов каждой статьи.

У сравнения двух наборов есть ограничения. Авторы отмечают, что многие отозванные статьи относятся к математике и физике, тогда как системы в основном рассчитаны на заявки на конференции по ИИ. В приложении указано, что выявление снижалось с ростом числа страниц. У синтетического теста есть своё преимущество: при ручной проверке 50 внедрённых противоречий люди сочли, что 34% нарушали естественное течение окружающего текста. Поэтому некоторые искусственные правки могли быть заметнее ошибок, возникших в ходе исследования или написания.

Препринт также проверяет намеренную манипуляцию. Исследователи спрятали крошечные белые инструкции после заключения в 50 отклонённых статьях. По данным работы, инструкции повлияли на все проверенные системы рецензирования; MLR явно заметил их в восьми случаях. Среднее изменение собственной оценки рецензии было небольшим, но отдельные изменения сильно различались. Это отдельное предупреждение: текст поданной рукописи не следует считать надёжной инструкцией.

Работа предлагает более конкретный способ выяснить, находит ли ИИ-рецензент известную ошибку. Она не доказывает надёжность автоматизированного рецензирования. Результаты в препринте сообщили создатели системы; BIG CHANGE не запускала код и независимо не воспроизводила оценку.

Источники и дополнительная литература