AI-translated from English; not yet reviewed by a fluent editor. # Sistema de revisão por pares da Sakana AI encontrou 73% das principais contradições plantadas, mas muito menos erros reais > Um preprint da Sakana AI relata detecção de 73,43% de contradições plantadas nas alegações principais com quatro revisões, mas apenas 16,11% de correspondências exatas com erros em artigos retratados. A tarefa é mais restrita que uma revisão por pares confiável. By BIG CHANGE Editorial Published: 2026-10-12T23:08:18.599Z Updated: 2026-10-12T23:08:18.599Z Canonical: https://bigchange.ai/blog/sakana-ai-peer-review-planted-contradictions ![Conceptual charcoal illustration of a printed scientific manuscript with one orange replacement passage inserted into the page.](https://bigchange.ai/api/media/file/sakana-planted-passage-hero-v1.png) AI-generated conceptual illustration by BIG CHANGE. The page is not a paper used in the study and the image does not show an AI detecting an error. Pesquisadores da Sakana AI testaram um sistema que lê artigos científicos antes de redigir uma revisão. Em um[ preprint de 8 de outubro](https://arxiv.org/html/2610.11087), o sistema Multi-Layered Review identificou 73,43% das contradições inseridas deliberadamente nas alegações principais quando quatro revisões geradas foram consideradas em conjunto. Esse número descreve a categoria mais central de um benchmark sintético. Em outro conjunto de artigos retratados com problemas reais relatados, as revisões coincidiram exatamente com os comentários de retratação em 16,11% dos casos sob um critério estrito, ou apontaram preocupação semelhante em 26,07% sob um critério mais flexível. ## A grande mudança - **O que mudou:** A equipe da Sakana testou revisões de IA contra erros identificáveis inseridos de propósito, em vez de medir apenas a semelhança entre uma revisão gerada e uma humana. Os 73,43% em destaque abrangem as contradições plantadas mais centrais e quatro tentativas por artigo. - **Por que importa:** Revisores e editores precisam de ferramentas que apontem erros substanciais, não apenas texto plausível. As taxas bem menores em artigos retratados mostram quanto o desempenho depende do tipo de erro e da forma de medir a detecção. - **O que observar:** Um próximo teste útil verificaria se os sistemas encontram problemas naturais em diferentes áreas e artigos mais longos, oferecendo evidências que revisores possam conferir. O preprint também constatou que instruções ocultas no texto submetido podiam influenciar as notas de revisão. ## Como funcionou o teste de contradição Os pesquisadores começaram com 257 artigos de conferências de IA de ACL, AISTATS, CVPR e ICML 2025, além de NeurIPS 2024. Usaram Gemini 2.5 Pro para mapear alegações e detalhes de apoio. Depois, GPT-4.1 produziu trechos contraditórios a diferentes distâncias de uma alegação principal nesse mapa. A substituição dos trechos originais e a recompilação geraram 1.164 versões alteradas, cada uma com uma contradição plantada. Pelo desenho do estudo, distância zero indica contradição na alegação principal; distâncias maiores alcançam detalhes mais periféricos. O revisor da Sakana, baseado em Claude Sonnet 4, primeiro resume o artigo, depois examina evidências, pressupostos e pontos fracos e, por fim, redige uma revisão. O framework completo pode acrescentar resumo em apêndice e busca bibliográfica. Para o teste, os pesquisadores usaram **somente o Review Agent**, sem esses componentes opcionais. Um modelo o3 comparou cada revisão aos trechos originais e alterados para julgar se a contradição pretendida havia sido detectada. Essa etapa foi repetida dez vezes e a média foi reportada. Os 73,43% vêm da[ Tabela 14 do preprint](https://arxiv.org/html/2610.11087): uma contradição de distância zero foi considerada detectada se **qualquer uma das quatro revisões geradas** a identificasse. O benchmark oferece uma versão alterada de distância zero para cada um dos 257 artigos-fonte. Uma revisão MLR obteve 60,79% nessa categoria. Para as 1.164 contradições plantadas, quatro revisões marcaram 40,95% e uma marcou 28,32%. A taxa caiu conforme os erros se afastaram das alegações principais, embora os grupos mais distantes tivessem poucos exemplos. A comparação precisa considerar as configurações. Para erros de distância zero, LLM-Review com GPT-4.1 marcou 14,56%; trocar para Claude Sonnet 4 e remover o truncamento do texto elevou o resultado a 35,40%. Uma revisão MLR marcou 60,79%. Isso sugere que tanto o modelo quanto o procedimento importaram; os 73,43% de quatro revisões também se beneficiam de várias oportunidades para sinalizar um erro. As referências usaram modelos e formatos diferentes, então o número de destaque não mede isoladamente o procedimento de três etapas. ## O teste com artigos reais foi mais difícil Os autores também avaliaram[ WithdrarXiv-Check](https://arxiv.org/html/2610.11087), um conjunto de artigos arXiv retratados pareados com comentários de retratação. Usaram 211 artigos de até 30 páginas de um conjunto original de 245. O avaliador o3 buscou na revisão gerada uma preocupação que correspondesse a um motivo de retratação. Uma correspondência “exata” deu ao MLR 16,11%; aceitar preocupação semelhante resultou em 26,07%. A próxima referência nessa configuração, AgentReview, marcou 18,48%. São correspondências com motivos de retratação documentados, não uma medição de todos os possíveis problemas de cada artigo. A comparação entre os dois conjuntos tem limites. Os autores dizem que muitos artigos retratados são de matemática e física, enquanto os sistemas foram projetados sobretudo para submissões a conferências de IA. O apêndice relata queda de detecção conforme aumenta o número de páginas. O benchmark sintético também tem uma vantagem: numa auditoria manual de 50 contradições plantadas, avaliadores humanos julgaram que 34% interrompiam o fluxo natural do texto ao redor. Algumas edições artificiais podem ser mais fáceis de perceber que erros surgidos durante a pesquisa ou redação. O preprint também testa manipulação deliberada. Pesquisadores esconderam instruções em letras brancas minúsculas após a conclusão de 50 artigos rejeitados. O estudo relata que todos os sistemas de revisão testados foram influenciados; o MLR percebeu explicitamente as instruções em oito casos. A mudança média na própria nota de revisão foi pequena, mas as mudanças individuais variaram muito. É um alerta separado contra tratar o texto submetido como instrução confiável. O trabalho oferece uma forma mais concreta de perguntar se um revisor de IA detecta um erro conhecido. Não estabelece uma revisão por pares automatizada confiável. Os resultados são relatados pelos criadores do sistema em um preprint, e a BIG CHANGE não executou o código nem reproduziu as avaliações de forma independente. ## Fontes e leitura complementar - [Teo e colegas, *Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review* (preprint arXiv, 8 de outubro de 2026)](https://arxiv.org/html/2610.11087). Fonte principal sobre construção do benchmark, configurações dos modelos, resultados sintéticos da Tabela 14, resultados em artigos retratados da Tabela 3 e experimento de manipulação. Avaliadores automatizados e trechos sintéticos limitam a interpretação das taxas medidas. - [Registro arXiv do artigo](https://arxiv.org/abs/2610.11087). Confirma data de submissão, autores e status de preprint. A publicação no arXiv não comprova aceitação por periódico ou conferência. ## Sources - [Teo et al., Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review](https://arxiv.org/html/2610.11087) — Preprint principal sobre métodos, benchmark sintético da Tabela 14, avaliação de artigos retratados da Tabela 3 e teste de manipulação adversarial. Resultados relatados pelos autores, não reproduzidos independentemente aqui. - [Resumo do arXiv e histórico de submissão de 2610.11087](https://arxiv.org/abs/2610.11087) — Confirma título, autores, data da submissão v1 e status de preprint; não comprova avaliação por pares ou aceitação.