Edição Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Sistema de revisão por pares da Sakana AI detetou 73% das principais contradições plantadas, mas muito menos erros reais

> Um preprint da Sakana AI relata 73,43% de deteção de contradições plantadas nas alegações principais com quatro revisões, mas apenas 16,11% de correspondências exatas com erros em artigos retirados. A tarefa é mais restrita do que uma revisão por pares fiável.

By BIG CHANGE Editorial

Published: 2026-10-12T23:08:18.599Z
Updated: 2026-10-12T23:08:18.599Z
Canonical: https://bigchange.ai/blog/sakana-ai-peer-review-planted-contradictions

![Conceptual charcoal illustration of a printed scientific manuscript with one orange replacement passage inserted into the page.](https://bigchange.ai/api/media/file/sakana-planted-passage-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. The page is not a paper used in the study and the image does not show an AI detecting an error.

Investigadores da Sakana AI testaram um sistema que lê artigos científicos antes de redigir uma revisão. Num[ preprint de 8 de outubro](https://arxiv.org/html/2610.11087), o sistema Multi-Layered Review identificou 73,43% das contradições inseridas deliberadamente nas alegações principais quando se consideraram em conjunto quatro revisões geradas. Esse valor descreve a categoria mais central de um teste sintético. Num conjunto separado de artigos retirados com problemas reais relatados, as revisões coincidiram exatamente com os comentários de retratação em 16,11% dos casos segundo um critério rigoroso, ou levantaram uma preocupação semelhante em 26,07% segundo um critério mais flexível.

## A grande mudança

- **O que mudou:** A equipa da Sakana testou revisões de IA contra erros identificáveis e inseridos de propósito, em vez de avaliar apenas a semelhança entre uma revisão gerada e uma humana. Os 73,43% em destaque abrangem as contradições plantadas mais centrais e quatro tentativas por artigo.
- **Porque é importante:** Revisores e editores precisam de ferramentas que apontem erros substanciais, não apenas texto plausível. As taxas muito inferiores nos artigos retirados mostram que o desempenho depende do tipo de erro e da forma como a deteção é medida.
- **O que acompanhar:** Um próximo teste útil verificaria se os sistemas encontram problemas naturais em diferentes áreas e artigos mais longos, fornecendo evidências que os revisores possam confirmar. O preprint também concluiu que instruções ocultas no texto submetido podiam influenciar as pontuações das revisões.

## Como funcionou o teste de contradição

Os investigadores começaram com 257 artigos de conferências de IA da ACL, AISTATS, CVPR e ICML 2025, além da NeurIPS 2024. Usaram o Gemini 2.5 Pro para mapear alegações e detalhes de suporte. Depois, o GPT-4.1 produziu passagens contraditórias a diferentes distâncias de uma alegação principal nesse mapa. A substituição das passagens originais e a recompilação geraram 1.164 versões alteradas, cada uma com uma contradição plantada. Segundo o desenho do estudo, distância zero significa contradição numa alegação principal; distâncias maiores abrangem detalhes mais periféricos.

O revisor da Sakana, construído em torno do Claude Sonnet 4, começa por resumir um artigo, analisa depois provas, pressupostos e fragilidades e, por fim, redige uma revisão. O quadro completo pode acrescentar um resumo em apêndice e uma pesquisa bibliográfica. Para este teste, os investigadores usaram **apenas o Review Agent**, sem esses componentes opcionais. Um modelo o3 comparou cada revisão com as passagens originais e alteradas para avaliar se detetara a contradição pretendida. O passo foi repetido dez vezes e foi reportada a média.

Os 73,43% vêm da[ Tabela 14 do preprint](https://arxiv.org/html/2610.11087): uma contradição de distância zero era considerada detetada se **qualquer uma das quatro revisões geradas** a identificasse. O teste inclui uma versão alterada de distância zero para cada um dos 257 artigos originais. Uma revisão MLR obteve 60,79% nessa categoria. Para as 1.164 contradições plantadas, quatro revisões obtiveram 40,95% e uma obteve 28,32%. A taxa diminuiu à medida que os erros se afastavam das alegações principais, embora os grupos mais distantes tivessem poucos exemplos.

A comparação tem de ser lida com as respetivas configurações. Para erros de distância zero, o LLM-Review com GPT-4.1 obteve 14,56%; a substituição por Claude Sonnet 4 e a remoção do truncamento de texto elevaram o resultado para 35,40%. Uma revisão MLR obteve 60,79%. Isso sugere que tanto o modelo como o procedimento foram relevantes; os 73,43% com quatro revisões também beneficiam de várias oportunidades para assinalar um erro. As referências usaram modelos e formatos diferentes, pelo que o número em destaque não mede isoladamente o processo de três etapas.

## O teste com artigos reais foi mais difícil

Os autores também avaliaram o[ WithdrarXiv-Check](https://arxiv.org/html/2610.11087), um conjunto de artigos arXiv retirados emparelhados com comentários de retratação. Usaram 211 artigos com até 30 páginas de um conjunto de teste original de 245. O avaliador o3 procurou na revisão gerada uma preocupação que coincidisse com um motivo de retratação. Uma correspondência «exata» deu ao MLR 16,11%; aceitar uma preocupação semelhante resultou em 26,07%. A referência seguinte nessa configuração, AgentReview, obteve 18,48%. São correspondências com motivos de retratação documentados, não uma medição de todas as falhas possíveis em cada artigo.

A comparação entre os conjuntos tem limites. Os autores dizem que muitos artigos retirados são de matemática e física, enquanto os sistemas foram concebidos sobretudo para submissões a conferências de IA. O apêndice relata uma descida da deteção à medida que aumentava o número de páginas. O teste sintético também tem uma vantagem: numa auditoria manual de 50 contradições plantadas, avaliadores humanos consideraram que 34% quebravam o fluxo natural do texto envolvente. Algumas alterações artificiais podem, assim, ser mais fáceis de detetar do que erros surgidos durante a investigação ou a escrita.

O preprint também testa manipulação deliberada. Os investigadores esconderam instruções em letras brancas minúsculas após a conclusão de 50 artigos rejeitados. O artigo relata que todos os sistemas de revisão testados foram influenciados; o MLR reparou explicitamente nelas em oito casos. A alteração média na sua própria pontuação foi pequena, mas as alterações individuais variaram bastante. É um alerta separado contra tratar o texto de um manuscrito submetido como instruções fiáveis.

O trabalho oferece uma forma mais concreta de perguntar se um revisor de IA deteta um erro conhecido. Não demonstra uma revisão por pares automatizada fiável. Os resultados são relatados pelos criadores do sistema num preprint; a BIG CHANGE não executou o código nem reproduziu as avaliações de forma independente.

## Fontes e leitura adicional

- [Teo e colegas, *Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review* (preprint arXiv, 8 de outubro de 2026)](https://arxiv.org/html/2610.11087). Fonte principal para a construção do teste, configurações dos modelos, resultados sintéticos da Tabela 14, resultados de artigos retirados da Tabela 3 e experiência de manipulação. Avaliadores automatizados e passagens sintéticas limitam o significado das taxas medidas.
- [Registo arXiv do artigo](https://arxiv.org/abs/2610.11087). Confirma a data de submissão, os autores e o estado de preprint. A publicação no arXiv não demonstra aceitação por revista ou conferência.

## Sources

- [Teo et al., Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review](https://arxiv.org/html/2610.11087) — Preprint principal sobre métodos, teste sintético da Tabela 14, avaliação de artigos retirados da Tabela 3 e teste de manipulação adversarial. Resultados relatados pelos autores e não reproduzidos de forma independente aqui.
- [Resumo arXiv e histórico de submissão de 2610.11087](https://arxiv.org/abs/2610.11087) — Confirma o título, os autores, a data da submissão v1 e o estado de preprint; não demonstra revisão por pares nem aceitação.