Édition Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Le système d’évaluation par les pairs de Sakana AI a détecté 73 % des principales contradictions insérées, mais bien moins d’erreurs réelles

> Un prépublication de Sakana AI rapporte 73,43 % de détection des contradictions insérées dans les affirmations centrales avec quatre évaluations, mais 16,11 % de correspondances exactes avec les erreurs de travaux retirés. Le test est plus étroit qu’une évaluation fiable par les pairs.

By BIG CHANGE Editorial

Published: 2026-10-12T23:08:18.599Z
Updated: 2026-10-12T23:08:18.599Z
Canonical: https://bigchange.ai/blog/sakana-ai-peer-review-planted-contradictions

![Conceptual charcoal illustration of a printed scientific manuscript with one orange replacement passage inserted into the page.](https://bigchange.ai/api/media/file/sakana-planted-passage-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. The page is not a paper used in the study and the image does not show an AI detecting an error.

Les chercheurs de Sakana AI ont testé un système qui lit les articles scientifiques avant de rédiger une évaluation. Dans une [prépublication du 8 octobre](https://arxiv.org/html/2610.11087), leur système Multi-Layered Review a détecté 73,43 % des contradictions volontairement insérées dans les affirmations centrales lorsque quatre évaluations générées étaient prises ensemble. Ce chiffre concerne la catégorie la plus centrale d’un test synthétique. Dans un autre ensemble d’articles retirés présentant des problèmes réels signalés, les évaluations correspondaient aux commentaires de rétractation dans 16,11 % des cas selon un critère strict, ou soulevaient une préoccupation similaire dans 26,07 % selon un critère plus large.

## Le grand changement

- **Ce qui change :** L’équipe de Sakana a évalué les analyses d’IA face à des erreurs identifiables insérées, plutôt qu’en mesurant seulement leur ressemblance avec des évaluations humaines. Le résultat marquant de 73,43 % concerne les contradictions insérées les plus centrales et quatre tentatives par article.
- **Pourquoi c’est important :** Les évaluateurs et les éditeurs ont besoin d’outils qui signalent des erreurs substantielles, pas seulement de textes plausibles. Les taux beaucoup plus faibles sur les articles retirés montrent que les performances dépendent du type d’erreur et de la méthode de détection.
- **À suivre :** Un prochain test utile vérifierait si les systèmes trouvent des problèmes apparus naturellement dans divers domaines et des articles plus longs, puis fournissent des éléments que les évaluateurs peuvent contrôler. Cette prépublication a aussi constaté que des instructions cachées dans le texte soumis pouvaient influencer les scores.

## Comment le test de contradiction a été mené

Les chercheurs sont partis de 257 articles de conférences d’IA d’ACL, AISTATS, CVPR et ICML 2025, ainsi que de NeurIPS 2024. Gemini 2.5 Pro a cartographié les affirmations et les éléments qui les étayent. GPT-4.1 a ensuite produit des passages contradictoires à différentes distances d’une affirmation centrale dans cette carte. Le remplacement des passages et la recompilation ont donné 1 164 versions modifiées, chacune contenant une contradiction insérée. Selon le protocole de l’article, une distance nulle signifie une contradiction dans l’affirmation centrale; les distances supérieures touchent des détails plus périphériques.

L’évaluateur de Sakana, conçu autour de Claude Sonnet 4, résume d’abord un article, examine ensuite les preuves, hypothèses et faiblesses, puis rédige une évaluation. Le cadre complet peut ajouter un résumé en annexe et une recherche documentaire. Pour ce test, les chercheurs ont utilisé **uniquement l’agent d’évaluation**, sans ces deux composants facultatifs. Un modèle o3 a comparé chaque évaluation aux passages originaux et modifiés pour juger si la contradiction visée avait été détectée. Cette étape a été répétée dix fois et la moyenne publiée.

Le taux de 73,43 % vient du [tableau 14 de la prépublication](https://arxiv.org/html/2610.11087) : une contradiction à distance nulle était considérée détectée si **l’une des quatre évaluations générées** la repérait. Le jeu de données comprend une version modifiée à distance nulle pour chacun des 257 articles. Une seule évaluation MLR a obtenu 60,79 % dans cette catégorie. Pour les 1 164 contradictions insérées, quatre évaluations ont obtenu 40,95 % et une seule 28,32 %. Le taux baissait lorsque les erreurs s’éloignaient des affirmations centrales, même si les groupes les plus éloignés comptaient peu d’exemples.

La comparaison doit être lue avec ses paramètres. Pour les erreurs à distance nulle, LLM-Review avec GPT-4.1 a obtenu 14,56 %; le remplacement par Claude Sonnet 4 et la suppression de la troncature du texte ont porté le résultat à 35,40 %. Le MLR à une seule évaluation a atteint 60,79 %. Cette progression suggère que le modèle et la procédure comptaient; les 73,43 % obtenus avec quatre évaluations bénéficient aussi de plusieurs occasions de signaler une erreur. Les références utilisaient des modèles et formats différents : le chiffre principal ne mesure donc pas isolément la procédure en trois étapes.

## Le test sur des articles réels était plus difficile

Les auteurs ont aussi évalué [WithdrarXiv-Check](https://arxiv.org/html/2610.11087), un jeu de données d’articles arXiv retirés associés à des commentaires de rétractation. Ils ont utilisé 211 articles de 30 pages maximum parmi un ensemble initial de 245. Le juge o3 cherchait dans l’évaluation générée une préoccupation correspondant à un motif de rétractation. Avec une correspondance « exacte », le MLR a obtenu 16,11 %; en acceptant une préoccupation similaire, 26,07 %. Le meilleur référentiel suivant dans cette dernière configuration, AgentReview, a obtenu 18,48 %. Il s’agit de correspondances avec des motifs de rétractation documentés, pas d’une mesure de tous les défauts possibles de chaque article.

La comparaison entre les deux jeux de données a des limites. Les auteurs indiquent que beaucoup d’articles retirés portent sur les mathématiques et la physique, alors que les systèmes visent surtout les soumissions aux conférences d’IA. Leur annexe constate une baisse de détection à mesure que la longueur augmente. Le test synthétique a aussi un avantage : dans un audit manuel de 50 contradictions insérées, des évaluateurs humains ont jugé que 34 % rompaient le naturel du texte environnant. Certaines modifications artificielles pouvaient donc être plus faciles à repérer que des erreurs survenues pendant la recherche ou la rédaction.

La prépublication teste aussi la manipulation délibérée. Les chercheurs ont caché de minuscules instructions blanches après la conclusion de 50 articles rejetés. Selon l’article, tous les systèmes testés ont été influencés; le MLR les a explicitement remarquées dans huit cas. La variation moyenne de son propre score était faible, mais les variations individuelles étaient très différentes. Cela rappelle séparément qu’il ne faut pas traiter le texte soumis comme des instructions fiables.

Ce travail propose une façon plus concrète de demander si un évaluateur d’IA détecte une erreur connue. Il ne démontre pas une évaluation par les pairs automatisée fiable. Les résultats sont rapportés par les créateurs du système dans une prépublication; BIG CHANGE n’a ni exécuté le code ni reproduit les évaluations de manière indépendante.

## Sources et lectures complémentaires

- [Teo et collègues, *Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review* (prépublication arXiv, 8 octobre 2026)](https://arxiv.org/html/2610.11087). Source principale pour la construction du test, les paramètres des modèles, les résultats synthétiques du tableau 14, ceux du tableau 3 sur les articles retirés et l’expérience de manipulation. Les juges automatisés et passages synthétiques limitent la portée des taux mesurés.
- [Notice arXiv de l’article](https://arxiv.org/abs/2610.11087). Confirme la date de soumission, les auteurs et le statut de prépublication. Une publication sur arXiv ne prouve pas une acceptation en revue ou conférence.

## Sources

- [Teo et al., Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review](https://arxiv.org/html/2610.11087) — Prépublication principale pour les méthodes, le test synthétique du tableau 14, l’évaluation des articles retirés du tableau 3 et le test de manipulation. Résultats déclarés par les auteurs et non reproduits indépendamment ici.
- [Résumé arXiv et historique de soumission de 2610.11087](https://arxiv.org/abs/2610.11087) — Confirme le titre, les auteurs, la date de soumission v1 et le statut de prépublication; ne prouve pas une évaluation par les pairs ni une acceptation.