Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Система рецензирования Sakana AI нашла 73% внедрённых основных противоречий, но гораздо меньше реальных ошибок

> Препринт Sakana AI сообщает о выявлении 73,43% внедрённых противоречий в основных утверждениях при объединении четырёх рецензий, но лишь о 16,11% точных совпадений с ошибками отозванных работ. Это более узкая задача, чем надёжное рецензирование.

By BIG CHANGE Editorial

Published: 2026-10-12T23:08:18.599Z
Updated: 2026-10-12T23:08:18.599Z
Canonical: https://bigchange.ai/blog/sakana-ai-peer-review-planted-contradictions

![Conceptual charcoal illustration of a printed scientific manuscript with one orange replacement passage inserted into the page.](https://bigchange.ai/api/media/file/sakana-planted-passage-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. The page is not a paper used in the study and the image does not show an AI detecting an error.

Исследователи Sakana AI проверили систему, которая читает научные статьи перед подготовкой рецензии. В[ препринте от 8 октября](https://arxiv.org/html/2610.11087)система Multi-Layered Review обнаружила 73,43% намеренно внесённых противоречий в основных утверждениях, если объединить четыре сгенерированные рецензии. Показатель относится к наиболее центральной категории синтетического теста. В отдельном наборе отозванных статей с реально зафиксированными проблемами рецензии точно совпали с комментариями об отзыве в 16,11% случаев при строгом критерии или указали на похожую проблему в 26,07% при более мягком.

## Главное изменение

- **Что изменилось:** Команда Sakana проверила ИИ-рецензии на распознаваемых намеренно внесённых ошибках, а не только на сходстве с человеческими рецензиями. Заметные 73,43% охватывают самые центральные внедрённые противоречия и четыре попытки на статью.
- **Почему это важно:** Рецензентам и редакторам нужны инструменты, указывающие на существенные ошибки, а не просто создающие правдоподобный текст. Гораздо более низкое совпадение с отозванными работами показывает, насколько результат зависит от типа ошибки и метода измерения.
- **Что отслеживать:** Следующий полезный тест проверил бы, находят ли системы естественно возникшие проблемы в разных областях и более длинных статьях и дают ли проверяемые доказательства. Препринт также показал, что скрытые инструкции в поданном тексте могли влиять на оценки рецензий.

## Как проводился тест противоречий

Исследователи взяли 257 статей с конференций по ИИ ACL, AISTATS, CVPR и ICML 2025 годов, а также NeurIPS 2024 года. Gemini 2.5 Pro сопоставил утверждения и подтверждающие детали. Затем GPT-4.1 создал противоречащие фрагменты на разном расстоянии от основного утверждения. После замены исходных фрагментов и повторной компиляции получили 1 164 изменённые версии, каждая с одним внедрённым противоречием. По дизайну статьи нулевое расстояние означает противоречие в основном утверждении; большие значения относятся к более периферийным деталям.

Рецензент Sakana, построенный на Claude Sonnet 4, сначала составляет обзор статьи, затем изучает доказательства, предположения и слабые места и пишет рецензию. Полная система может добавить краткое изложение в приложении и поиск литературы. Для теста противоречий исследователи использовали **только Review Agent**, без этих необязательных компонентов. Модель o3 сравнивала каждую рецензию с исходными и изменёнными фрагментами и оценивала, обнаружено ли нужное противоречие. Этот шаг повторили десять раз и сообщили среднее.

Показатель 73,43% взят из[ таблицы 14 препринта](https://arxiv.org/html/2610.11087): противоречие на нулевом расстоянии считалось обнаруженным, если его выявила **любая из четырёх сгенерированных рецензий** . Для каждой из 257 исходных статей в тесте была одна изменённая версия с нулевым расстоянием. Одна рецензия MLR набрала в этой категории 60,79%. Для всех 1 164 внедрённых противоречий четыре рецензии набрали 40,95%, одна — 28,32%. По мере удаления ошибок от основных утверждений доля снижалась, хотя в наиболее удалённых группах было мало примеров.

Сравнение нужно рассматривать с учётом настроек. Для ошибок на нулевом расстоянии LLM-Review с GPT-4.1 набрал 14,56%; замена модели на Claude Sonnet 4 и снятие ограничения длины текста повысили результат до 35,40%. Одна рецензия MLR набрала 60,79%. Это указывает на значение и выбора модели, и процедуры; результат 73,43% для четырёх рецензий также выигрывает от нескольких попыток заметить ошибку. Базовые системы использовали разные модели и форматы, поэтому заглавный показатель не является отдельной оценкой трёхэтапной процедуры.

## Проверка реальных статей оказалась сложнее

Авторы также оценили[ WithdrarXiv-Check](https://arxiv.org/html/2610.11087), набор отозванных статей arXiv, сопоставленных с комментариями об отзыве. Из исходного тестового набора в 245 статей они взяли 211 длиной не более 30 страниц. Судья o3 искал в сгенерированной рецензии проблему, совпадающую с причиной отзыва. При «точном» совпадении MLR получил 16,11%; при допуске похожей проблемы — 26,07%. Следующая базовая система в мягком режиме, AgentReview, получила 18,48%. Это совпадения с документированными причинами отзыва, а не измерение всех возможных дефектов каждой статьи.

У сравнения двух наборов есть ограничения. Авторы отмечают, что многие отозванные статьи относятся к математике и физике, тогда как системы в основном рассчитаны на заявки на конференции по ИИ. В приложении указано, что выявление снижалось с ростом числа страниц. У синтетического теста есть своё преимущество: при ручной проверке 50 внедрённых противоречий люди сочли, что 34% нарушали естественное течение окружающего текста. Поэтому некоторые искусственные правки могли быть заметнее ошибок, возникших в ходе исследования или написания.

Препринт также проверяет намеренную манипуляцию. Исследователи спрятали крошечные белые инструкции после заключения в 50 отклонённых статьях. По данным работы, инструкции повлияли на все проверенные системы рецензирования; MLR явно заметил их в восьми случаях. Среднее изменение собственной оценки рецензии было небольшим, но отдельные изменения сильно различались. Это отдельное предупреждение: текст поданной рукописи не следует считать надёжной инструкцией.

Работа предлагает более конкретный способ выяснить, находит ли ИИ-рецензент известную ошибку. Она не доказывает надёжность автоматизированного рецензирования. Результаты в препринте сообщили создатели системы; BIG CHANGE не запускала код и независимо не воспроизводила оценку.

## Источники и дополнительная литература

- [Teo и коллеги, *Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review* (препринт arXiv, 8 октября 2026 года)](https://arxiv.org/html/2610.11087). Основной источник о создании теста, настройках моделей, синтетических результатах таблицы 14, результатах по отозванным статьям таблицы 3 и эксперименте с манипуляцией. Автоматические судьи и синтетические фрагменты ограничивают смысл измеренных долей.
- [Запись статьи в arXiv](https://arxiv.org/abs/2610.11087). Подтверждает дату подачи, авторов и статус препринта. Размещение на arXiv само по себе не означает принятия журналом или конференцией.

## Sources

- [Teo и др., Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review](https://arxiv.org/html/2610.11087) — Основной препринт о методах, синтетическом тесте таблицы 14, проверке отозванных статей из таблицы 3 и тесте состязательной манипуляции. Результаты авторов здесь независимо не воспроизводились.
- [Аннотация arXiv и история подачи 2610.11087](https://arxiv.org/abs/2610.11087) — Подтверждает название, авторов, дату подачи версии v1 и статус препринта; не устанавливает прохождение рецензирования или принятие.