AI-translated from English; not yet reviewed by a fluent editor.

# Sistem tinjauan sejawat Sakana AI menemukan 73% kontradiksi besar yang disisipkan, tetapi jauh lebih sedikit kesalahan pada makalah nyata

> Pracetak Sakana AI melaporkan deteksi 73,43% kontradiksi yang disisipkan pada klaim utama dengan empat ulasan, tetapi hanya 16,11% kecocokan tepat dengan kesalahan dalam makalah yang ditarik. Hasil ini menguji tugas yang lebih sempit daripada tinjauan sejawat yang andal.

By BIG CHANGE Editorial

Published: 2026-10-12T23:08:18.599Z
Updated: 2026-10-12T23:08:18.599Z
Canonical: https://bigchange.ai/blog/sakana-ai-peer-review-planted-contradictions

![Conceptual charcoal illustration of a printed scientific manuscript with one orange replacement passage inserted into the page.](https://bigchange.ai/api/media/file/sakana-planted-passage-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. The page is not a paper used in the study and the image does not show an AI detecting an error.

Peneliti Sakana AI menguji sistem yang membaca makalah ilmiah sebelum menyusun ulasan. Dalam [pracetak 8 Oktober](https://arxiv.org/html/2610.11087), sistem Multi-Layered Review mereka mengidentifikasi 73,43% kontradiksi yang sengaja disisipkan ke dalam klaim utama makalah ketika empat ulasan yang dihasilkan dipertimbangkan bersama. Angka itu menggambarkan kategori paling sentral dalam tolok ukur sintetis. Pada kumpulan terpisah makalah yang ditarik karena masalah nyata yang dilaporkan, ulasannya cocok persis dengan komentar pencabutan dalam 16,11% kasus menurut uji ketat, atau mengangkat kekhawatiran serupa dalam 26,07% menurut uji lebih longgar.

## Perubahan besar

- **Apa yang berubah:** Tim Sakana menguji ulasan AI terhadap kesalahan yang dapat dikenali dan sengaja disisipkan, bukan hanya menilai kemiripan ulasan yang dihasilkan dengan ulasan manusia. Hasil 73,43% yang menonjol mencakup kontradiksi sisipan paling sentral dan empat percobaan per makalah.
- **Mengapa penting:** Peninjau dan editor membutuhkan alat yang menunjuk kesalahan substantif, bukan sekadar prosa yang meyakinkan. Tingkat kecocokan yang jauh lebih rendah pada makalah yang ditarik menunjukkan bahwa kinerja bergantung pada jenis kesalahan dan cara deteksi diukur.
- **Yang perlu diperhatikan:** Uji berikutnya yang berguna adalah apakah sistem dapat menemukan masalah yang muncul secara alami di berbagai bidang dan makalah yang lebih panjang, lalu memberi peninjau bukti yang dapat diperiksa. Pracetak ini juga menemukan bahwa instruksi tersembunyi dalam teks kiriman dapat memengaruhi skor ulasan.

## Cara kerja uji kontradiksi

Peneliti memulai dengan 257 makalah konferensi AI dari ACL, AISTATS, CVPR, dan ICML 2025, serta NeurIPS 2024. Mereka menggunakan Gemini 2.5 Pro untuk memetakan klaim dan detail pendukung pada setiap makalah. GPT-4.1 lalu menghasilkan bagian yang bertentangan pada jarak berbeda dari klaim utama dalam peta itu. Mengganti bagian asli dan menyusun ulang makalah menghasilkan 1.164 versi yang diubah, masing-masing dengan satu kontradiksi sisipan. Menurut rancangan makalah, jarak nol berarti kontradiksi pada klaim utama; jarak lebih besar mencapai detail yang lebih pinggiran.

Peninjau Sakana, yang dibangun dengan Claude Sonnet 4, mula-mula membuat kerangka makalah, lalu membaca lebih dekat untuk mencari bukti, asumsi, dan kelemahan, kemudian menyusun ulasan. Kerangka lengkap dapat menambahkan ringkasan lampiran dan pencarian literatur. Untuk uji kontradiksi, peneliti menggunakan **hanya Review Agent**, tanpa kedua komponen opsional itu. Model o3 membandingkan setiap ulasan dengan bagian asli dan yang diubah untuk menilai apakah kontradiksi yang dimaksud tertangkap. Mereka mengulang penilaian itu sepuluh kali dan melaporkan rata-ratanya.

Angka 73,43% berasal dari[ Tabel 14 pracetak](https://arxiv.org/html/2610.11087): kontradiksi jarak nol dihitung tertangkap bila **salah satu dari empat ulasan yang dihasilkan** mengidentifikasinya. Konstruksi tolok ukur membuat satu versi jarak nol yang diubah untuk tiap 257 makalah sumber. Satu ulasan MLR mendapat 60,79% pada kategori itu. Untuk seluruh 1.164 kontradiksi sisipan, empat ulasan mendapat 40,95% dan satu mendapat 28,32%. Tingkatnya turun saat kesalahan menjauh dari klaim utama, meski kelompok terjauh hanya memiliki sedikit contoh.

Perbandingan ini perlu dilihat bersama pengaturannya. Untuk kesalahan jarak nol, LLM-Review dengan GPT-4.1 mendapat 14,56%; mengganti dasar itu ke Claude Sonnet 4 dan menghapus pemotongan teks menaikkannya menjadi 35,40%. Hasil satu ulasan MLR sebesar 60,79% lebih tinggi lagi. Urutan itu menunjukkan bahwa pilihan model dan prosedur ulasan sama-sama berpengaruh, sedangkan hasil 73,43% dari empat ulasan juga mendapat manfaat dari beberapa kesempatan untuk menandai kesalahan. Tolok ukur menggunakan model dan format ulasan berbeda, sehingga angka utama bukan pengukuran tersendiri atas prosedur tiga tahap.

## Uji pada makalah nyata lebih sulit

Penulis juga mengevaluasi[ WithdrarXiv-Check](https://arxiv.org/html/2610.11087), kumpulan data makalah arXiv yang ditarik dan dipasangkan dengan komentar pencabutan. Mereka menggunakan 211 makalah sepanjang paling banyak 30 halaman dari set uji awal 245 makalah. Penilai o3 mencari kekhawatiran dalam ulasan yang dihasilkan yang cocok dengan komentar pencabutan. Kecocokan “tepat” menghasilkan 16,11% untuk MLR; mengizinkan kekhawatiran serupa menghasilkan 26,07%. Tolok ukur terbaik berikutnya dalam kondisi serupa, AgentReview, mendapat 18,48%. Angka ini adalah kecocokan dengan alasan pencabutan yang terdokumentasi, bukan ukuran semua kemungkinan kekurangan dalam tiap makalah.

Perbandingan kedua kumpulan data memiliki batas. Penulis mengatakan banyak makalah yang ditarik berasal dari matematika dan fisika, sementara sistem terutama dirancang untuk kiriman konferensi AI. Lampirannya melaporkan deteksi yang menurun saat jumlah halaman bertambah. Tolok ukur sintetis juga punya keunggulan sendiri: dalam audit manual atas 50 kontradiksi sisipan, penilai manusia menganggap 34% mengganggu alur alami prosa di sekitarnya. Karena itu, beberapa edit buatan mungkin lebih mudah terlihat daripada kesalahan yang timbul selama penelitian atau penulisan.

Pracetak ini juga menguji manipulasi sengaja. Peneliti menyembunyikan teks dengan huruf putih sangat kecil setelah kesimpulan di 50 makalah yang ditolak. Makalah itu melaporkan bahwa instruksi sisipan memengaruhi semua sistem ulasan yang diuji; MLR secara eksplisit menyadarinya dalam delapan kasus. Rata-rata perubahan pada skor ulasannya sendiri kecil, tetapi perubahan tiap kasus sangat beragam. Ini peringatan terpisah agar teks manuskrip yang dikirim tidak diperlakukan sebagai instruksi tepercaya.

Karya ini memberi cara yang lebih konkret untuk bertanya apakah peninjau AI menangkap kesalahan yang sudah diketahui. Karya ini tidak membuktikan bahwa tinjauan sejawat otomatis dapat diandalkan. Hasil dilaporkan oleh pembuat sistem dalam pracetak, dan BIG CHANGE tidak menjalankan kode atau mereproduksi evaluasinya secara independen.

## Sumber dan bacaan lanjutan

- [Teo dan kolega, *Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review* (pracetak arXiv, 8 Oktober 2026)](https://arxiv.org/html/2610.11087). Sumber utama untuk konstruksi tolok ukur, pengaturan model, hasil sintetis Tabel 14, hasil makalah yang ditarik pada Tabel 3, dan eksperimen manipulasi. Penilai otomatis dan bagian sintetis membatasi makna tingkat yang diukur.
- [Catatan arXiv makalah](https://arxiv.org/abs/2610.11087). Mengonfirmasi tanggal pengajuan, penulis, dan status pracetak. Unggahan arXiv saja tidak membuktikan penerimaan jurnal atau konferensi.

## Sources

- [Teo dkk., Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review](https://arxiv.org/html/2610.11087) — Pracetak utama tentang metode, tolok ukur sintetis Tabel 14, evaluasi makalah yang ditarik Tabel 3, dan uji manipulasi adversarial. Dilaporkan penulis dan tidak direproduksi secara independen di sini.
- [Abstrak dan riwayat pengajuan arXiv untuk 2610.11087](https://arxiv.org/abs/2610.11087) — Mengonfirmasi judul makalah, penulis, tanggal pengajuan v1, dan status pracetak; tidak membuktikan penerimaan tinjauan sejawat.