AI-translated from English; not yet reviewed by a fluent editor. # Sakana-AI-Peer-Review-System fand 73 % der eingebauten Hauptwidersprüche, aber deutlich weniger reale Fehler > Ein Sakana-AI-Preprint meldet 73,43 % Erkennung eingebauter Widersprüche in Hauptaussagen mit vier Reviews, aber nur 16,11 % exakte Treffer bei Fehlern zurückgezogener Arbeiten. Das ist eine engere Aufgabe als verlässliches Peer Review. By BIG CHANGE Editorial Published: 2026-10-12T23:08:18.599Z Updated: 2026-10-12T23:08:18.599Z Canonical: https://bigchange.ai/blog/sakana-ai-peer-review-planted-contradictions ![Conceptual charcoal illustration of a printed scientific manuscript with one orange replacement passage inserted into the page.](https://bigchange.ai/api/media/file/sakana-planted-passage-hero-v1.png) AI-generated conceptual illustration by BIG CHANGE. The page is not a paper used in the study and the image does not show an AI detecting an error. Sakana-AI-Forschende testeten ein System, das wissenschaftliche Arbeiten liest, bevor es ein Review entwirft. In einem[ Preprint vom 8. Oktober](https://arxiv.org/html/2610.11087)erkannte das Multi-Layered-Review-System 73,43 % der absichtlich in Hauptaussagen eingebauten Widersprüche, wenn vier erzeugte Reviews zusammen betrachtet wurden. Der Wert betrifft die zentralste Kategorie eines synthetischen Benchmarks. Bei einer separaten Gruppe zurückgezogener Arbeiten mit real gemeldeten Problemen stimmten die Reviews nach einem strengen Maßstab in 16,11 % exakt mit den Rücknahmebegründungen überein; nach einem lockereren Maßstab äußerten sie in 26,07 % ähnliche Bedenken. ## Die große Veränderung - **Was sich geändert hat:** Sakanas Team prüfte KI-Reviews an erkennbaren, gezielt eingebauten Fehlern statt nur an ihrer Ähnlichkeit zu menschlichen Reviews. Der auffällige Wert von 73,43 % umfasst die zentralsten eingebauten Widersprüche und vier Versuche je Arbeit. - **Warum das wichtig ist:** Gutachtende und Redaktionen brauchen Werkzeuge, die substanzielle Fehler benennen, nicht nur plausible Prosa. Die viel niedrigeren Trefferquoten bei zurückgezogenen Arbeiten zeigen, wie stark die Leistung von Fehlertyp und Messmethode abhängt. - **Worauf zu achten ist:** Ein sinnvoller nächster Test wäre, ob Systeme natürlich entstandene Probleme über Fachgebiete und längere Arbeiten hinweg finden und prüfbare Belege liefern. Der Preprint fand außerdem, dass versteckte Anweisungen im eingereichten Text Bewertungsergebnisse beeinflussen konnten. ## So funktionierte der Widerspruchstest Die Forschenden begannen mit 257 KI-Konferenzbeiträgen von ACL, AISTATS, CVPR und ICML 2025 sowie NeurIPS 2024. Gemini 2.5 Pro ordnete Behauptungen und stützende Details zu. GPT-4.1 erzeugte anschließend widersprüchliche Passagen in unterschiedlicher Entfernung zu einer Hauptbehauptung. Nach Austausch der Originalpassagen und erneutem Kompilieren entstanden 1.164 veränderte Fassungen mit je einem eingebauten Widerspruch. Laut Studiendesign bedeutet Abstand null einen Widerspruch in einer Hauptbehauptung; größere Abstände betreffen nebensächlichere Details. Sakanas auf Claude Sonnet 4 aufbauender Reviewer skizziert zunächst eine Arbeit, prüft dann Belege, Annahmen und Schwächen genauer und verfasst schließlich ein Review. Das vollständige Framework kann eine Zusammenfassung im Anhang und Literatursuche ergänzen. Für den Widerspruchstest nutzten die Forschenden **nur den Review Agent**ohne diese optionalen Komponenten. Ein o3-Modell verglich jedes Review mit den ursprünglichen und veränderten Passagen, um zu beurteilen, ob es den vorgesehenen Widerspruch erkannt hatte. Dieser Prüfschritt wurde zehnmal wiederholt; berichtet wurde der Mittelwert. Der Wert von 73,43 % stammt aus[ Tabelle 14 des Preprints](https://arxiv.org/html/2610.11087): Ein Widerspruch bei Abstand null galt als erkannt, wenn ihn **irgendeines der vier erzeugten Reviews** fand. Der Benchmark enthält für jede der 257 Ausgangsarbeiten eine veränderte Fassung mit Abstand null. Ein einzelnes MLR-Review erreichte in dieser Kategorie 60,79 %. Für alle 1.164 eingebauten Widersprüche zusammen erzielten vier Reviews 40,95 %, eines 28,32 %. Mit größerem Abstand zu Hauptaussagen sank die Quote, wobei die äußersten Gruppen nur wenige Beispiele enthielten. Der Vergleich muss mit den jeweiligen Einstellungen gelesen werden. Bei Fehlern mit Abstand null erreichte LLM-Review mit GPT-4.1 14,56 %; mit Claude Sonnet 4 und ohne Textkürzung stieg der Wert auf 35,40 %. Ein einzelnes MLR-Review kam auf 60,79 %. Das deutet auf Einflüsse von Modellwahl und Review-Verfahren hin; die 73,43 % mit vier Reviews profitieren zudem von mehreren Chancen, einen Fehler zu melden. Die Baselines nutzten andere Modelle und Formate, daher misst die Schlagzeilenzahl nicht isoliert den dreistufigen Ablauf. ## Der Test mit realen Arbeiten war schwieriger Die Autoren prüften auch[ WithdrarXiv-Check](https://arxiv.org/html/2610.11087), einen Datensatz zurückgezogener arXiv-Arbeiten mit zugehörigen Rücknahmebegründungen. Sie nutzten 211 Arbeiten mit höchstens 30 Seiten aus einem ursprünglichen Testsatz mit 245 Arbeiten. Das o3-Urteilsmodell suchte im erzeugten Review nach einem Bedenken, das zu einer Rücknahmebegründung passte. Bei „exakter“ Übereinstimmung erzielte MLR 16,11 %; bei ähnlichen Bedenken 26,07 %. Die nächstbeste Baseline in der ähnlichen Einstellung, AgentReview, erreichte 18,48 %. Das sind Treffer zu dokumentierten Rücknahmegründen, keine Messung aller möglichen Mängel einer Arbeit. Der Vergleich der Datensätze hat Grenzen. Die Autoren sagen, viele zurückgezogene Arbeiten stammten aus Mathematik und Physik, während die Systeme vor allem für KI-Konferenzeinreichungen entworfen wurden. Der Anhang berichtet sinkende Erkennung bei steigender Seitenzahl. Der synthetische Benchmark hat seinerseits einen Vorteil: Bei einer manuellen Prüfung von 50 eingebauten Widersprüchen fanden menschliche Bewertende, dass 34 % den natürlichen Lesefluss störten. Manche künstlichen Änderungen könnten dadurch leichter zu erkennen sein als Fehler, die während Forschung oder Schreiben entstanden. Der Preprint testet auch gezielte Manipulation. Forschende versteckten winzige weiße Anweisungen nach dem Fazit in 50 abgelehnten Arbeiten. Laut Arbeit wurden alle getesteten Reviewsysteme beeinflusst; MLR bemerkte die Hinweise in acht Fällen ausdrücklich. Die mittlere Änderung des eigenen Review-Scores war klein, einzelne Änderungen variierten jedoch stark. Das ist eine separate Warnung davor, Text in eingereichten Manuskripten als vertrauenswürdige Anweisung zu behandeln. Die Arbeit bietet eine konkretere Frage dazu, ob ein KI-Reviewer einen bekannten Fehler erkennt. Sie belegt kein verlässliches automatisiertes Peer Review. Die Ergebnisse stammen von den Systementwicklern und wurden in einem Preprint berichtet; BIG CHANGE hat den Code nicht ausgeführt und die Auswertungen nicht unabhängig reproduziert. ## Quellen und weiterführende Lektüre - [Teo und Kollegen, *Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review* (arXiv-Preprint, 8. Oktober 2026)](https://arxiv.org/html/2610.11087). Hauptquelle zu Benchmark-Aufbau, Modelleinstellungen, synthetischen Ergebnissen in Tabelle 14, Ergebnissen zu zurückgezogenen Arbeiten in Tabelle 3 und Manipulationsexperiment. Automatische Urteile und synthetische Passagen begrenzen die Bedeutung der Messwerte. - [Der arXiv-Eintrag der Arbeit](https://arxiv.org/abs/2610.11087). Bestätigt Einreichungsdatum, Autoren und Preprint-Status. Ein arXiv-Eintrag belegt keine Annahme durch Zeitschrift oder Konferenz. ## Sources - [Teo et al., Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review](https://arxiv.org/html/2610.11087) — Zentrales Preprint zu Methoden, synthetischem Benchmark in Tabelle 14, Bewertung zurückgezogener Arbeiten in Tabelle 3 und adversarialem Manipulationstest. Von den Autoren berichtet und hier nicht unabhängig reproduziert. - [arXiv-Abstract und Einreichungsverlauf zu 2610.11087](https://arxiv.org/abs/2610.11087) — Bestätigt Titel, Autoren, Datum der v1-Einreichung und Preprint-Status; belegt keine Begutachtung oder Annahme.