Edición en Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# El sistema de revisión por pares de Sakana AI detectó el 73 % de las contradicciones importantes insertadas, pero muchos menos errores de artículos reales

> Un preprint de Sakana AI informa de una detección del 73,43 % de contradicciones insertadas en la afirmación principal con cuatro revisiones, pero solo un 16,11 % de coincidencias exactas con errores en artículos retirados. Los resultados evalúan una tarea más limitada que una revisión por pares fiable.

By BIG CHANGE Editorial

Published: 2026-10-12T23:08:18.599Z
Updated: 2026-10-12T23:08:18.599Z
Canonical: https://bigchange.ai/blog/sakana-ai-peer-review-planted-contradictions

![Conceptual charcoal illustration of a printed scientific manuscript with one orange replacement passage inserted into the page.](https://bigchange.ai/api/media/file/sakana-planted-passage-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. The page is not a paper used in the study and the image does not show an AI detecting an error.

Investigadores de Sakana AI probaron un sistema que lee artículos científicos antes de redactar una revisión. En un [preprint del 8 de octubre](https://arxiv.org/html/2610.11087), su sistema Multi-Layered Review identificó el 73,43 % de las contradicciones introducidas deliberadamente en las afirmaciones principales al considerar juntas cuatro revisiones generadas. La cifra describe la categoría más central de un banco de pruebas sintético. En otro conjunto de artículos retirados con problemas reales documentados, las revisiones coincidieron exactamente con los comentarios de retractación en el 16,11 % de los casos con una prueba estricta, o plantearon una preocupación similar en el 26,07 % con una más flexible.

## El gran cambio

- **Qué cambió:** El equipo de Sakana comparó las revisiones de IA con errores identificables e insertados a propósito, en vez de basarse solo en cuánto se parece una revisión generada a una humana. El destacado 73,43 % cubre las contradicciones insertadas más centrales y cuatro intentos por artículo.
- **Por qué importa:** Revisores y editores necesitan herramientas que señalen errores sustantivos, no solo prosa verosímil. Las tasas mucho menores en artículos retirados muestran cuánto depende el rendimiento del tipo de error y de cómo se mida la detección.
- **Qué observar:** Una prueba útil siguiente sería comprobar si los sistemas encuentran problemas naturales en distintas disciplinas y artículos más largos, y ofrecen pruebas que los revisores puedan verificar. El preprint también observó que instrucciones ocultas en el texto enviado podían influir en las puntuaciones de revisión.

## Cómo funcionó la prueba de contradicciones

Los investigadores partieron de 257 artículos de conferencias de IA de ACL, AISTATS, CVPR e ICML 2025, además de NeurIPS 2024. Usaron Gemini 2.5 Pro para relacionar afirmaciones y detalles de apoyo en cada artículo. GPT-4.1 generó pasajes contradictorios a distintas distancias de una afirmación principal de ese mapa. Al sustituir los pasajes originales y recompilar los artículos obtuvieron 1.164 versiones alteradas, cada una con una contradicción insertada. Según el diseño del estudio, distancia cero significa una contradicción en una afirmación principal; las distancias mayores alcanzan detalles más periféricos.

El revisor de Sakana, construido en torno a Claude Sonnet 4, primero esquematiza un artículo, luego busca con más detalle pruebas, supuestos y debilidades, y finalmente redacta una revisión. El marco completo puede añadir un resumen del apéndice y una búsqueda bibliográfica. Para la prueba de contradicciones, los investigadores usaron **solo Review Agent**, sin ninguno de esos componentes opcionales. Un modelo o3 comparó cada revisión con los pasajes originales y alterados para decidir si había detectado la contradicción prevista. Repitieron ese juicio diez veces e informaron del promedio.

La cifra del 73,43 % procede de la[ tabla 14 del preprint](https://arxiv.org/html/2610.11087): una contradicción a distancia cero contaba como detectada si la identificaba **cualquiera de cuatro revisiones generadas** . La construcción del banco creó una versión alterada de distancia cero para cada uno de los 257 artículos originales. Una sola revisión de MLR obtuvo un 60,79 % en esa categoría. Para las 1.164 contradicciones insertadas, cuatro revisiones alcanzaron un 40,95 % y una un 28,32 %. La tasa cayó al alejarse los errores de las afirmaciones principales, aunque los grupos más distantes tenían pocos ejemplos.

La comparación requiere tener en cuenta la configuración. En errores de distancia cero, LLM-Review con GPT-4.1 obtuvo un 14,56 %; al cambiar a Claude Sonnet 4 y retirar el truncamiento de texto, subió al 35,40 %. El 60,79 % de una sola revisión MLR fue mayor. La secuencia sugiere que influyeron tanto el modelo como el procedimiento, mientras que el 73,43 % de cuatro revisiones también se beneficia de varias oportunidades para señalar un error. Los valores de referencia usaron modelos y formatos distintos; por ello, la cifra del titular no mide aisladamente el procedimiento de tres pasadas.

## La prueba con artículos reales fue más difícil

Los autores también evaluaron[ WithdrarXiv-Check](https://arxiv.org/html/2610.11087), un conjunto de datos de artículos de arXiv retirados junto con sus comentarios de retractación. Usaron 211 artículos de hasta 30 páginas de un conjunto de prueba original de 245. Su evaluador o3 buscó en la revisión generada una preocupación que coincidiera con un comentario de retractación. Una coincidencia «exacta» produjo el 16,11 % de MLR; permitir una preocupación similar dio el 26,07 %. La siguiente referencia en el escenario flexible, AgentReview, obtuvo el 18,48 %. Son coincidencias con los motivos de retractación documentados, no una medida de todos los defectos posibles de cada artículo.

La comparación entre los dos conjuntos tiene límites. Los autores señalan que muchos artículos retirados son de matemáticas y física, mientras que los sistemas se diseñaron principalmente para envíos a conferencias de IA. El apéndice informa de que la detección disminuyó al aumentar la extensión. El banco sintético también tiene una ventaja propia: en una revisión manual de 50 contradicciones insertadas, los evaluadores humanos juzgaron que el 34 % interrumpía el flujo natural del texto circundante. Eso podría hacer algunas ediciones artificiales más fáciles de detectar que errores surgidos durante la investigación o la redacción.

El preprint también prueba la manipulación deliberada. Los investigadores ocultaron texto en letra blanca diminuta después de la conclusión de 50 artículos rechazados. El estudio informa de que las instrucciones insertadas influyeron en todos los sistemas de revisión probados; MLR las detectó explícitamente en ocho casos. El cambio medio en su propia puntuación de revisión fue pequeño, pero los cambios individuales variaron mucho. Es una advertencia aparte sobre tratar el texto enviado como instrucciones fiables.

El trabajo ofrece una forma más concreta de preguntar si un revisor de IA detecta un error conocido. No demuestra que la revisión por pares automatizada sea fiable. Los resultados los comunican los creadores del sistema en un preprint; BIG CHANGE no ejecutó el código ni reprodujo las evaluaciones de forma independiente.

## Fuentes y lecturas adicionales

- [Teo y colegas, *Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review* (preprint de arXiv, 8 de octubre de 2026)](https://arxiv.org/html/2610.11087). Fuente principal para la construcción del banco, la configuración de modelos, los resultados sintéticos de la tabla 14, los resultados de artículos retirados de la tabla 3 y el experimento de manipulación. Sus evaluadores automatizados y pasajes sintéticos limitan lo que significan las tasas medidas.
- [Registro del artículo en arXiv](https://arxiv.org/abs/2610.11087). Confirma la fecha de envío, los autores y el estado de preprint. La publicación en arXiv por sí sola no acredita aceptación en una revista o conferencia.

## Sources

- [Teo et al., Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review](https://arxiv.org/html/2610.11087) — Preprint primario sobre métodos, banco sintético de la tabla 14, evaluación de artículos retirados de la tabla 3 y prueba de manipulación adversaria. Informado por los autores y no reproducido aquí de forma independiente.
- [Resumen e historial de envío de arXiv para 2610.11087](https://arxiv.org/abs/2610.11087) — Confirma el título, los autores, la fecha de envío de v1 y el estado de preprint; no acredita aceptación tras revisión por pares.