Peneliti Sakana AI menguji sistem yang membaca makalah ilmiah sebelum menyusun ulasan. Dalam pracetak 8 Oktober, sistem Multi-Layered Review mereka mengidentifikasi 73,43% kontradiksi yang sengaja disisipkan ke dalam klaim utama makalah ketika empat ulasan yang dihasilkan dipertimbangkan bersama. Angka itu menggambarkan kategori paling sentral dalam tolok ukur sintetis. Pada kumpulan terpisah makalah yang ditarik karena masalah nyata yang dilaporkan, ulasannya cocok persis dengan komentar pencabutan dalam 16,11% kasus menurut uji ketat, atau mengangkat kekhawatiran serupa dalam 26,07% menurut uji lebih longgar.

Perubahan besar

  • Apa yang berubah: Tim Sakana menguji ulasan AI terhadap kesalahan yang dapat dikenali dan sengaja disisipkan, bukan hanya menilai kemiripan ulasan yang dihasilkan dengan ulasan manusia. Hasil 73,43% yang menonjol mencakup kontradiksi sisipan paling sentral dan empat percobaan per makalah.
  • Mengapa penting: Peninjau dan editor membutuhkan alat yang menunjuk kesalahan substantif, bukan sekadar prosa yang meyakinkan. Tingkat kecocokan yang jauh lebih rendah pada makalah yang ditarik menunjukkan bahwa kinerja bergantung pada jenis kesalahan dan cara deteksi diukur.
  • Yang perlu diperhatikan: Uji berikutnya yang berguna adalah apakah sistem dapat menemukan masalah yang muncul secara alami di berbagai bidang dan makalah yang lebih panjang, lalu memberi peninjau bukti yang dapat diperiksa. Pracetak ini juga menemukan bahwa instruksi tersembunyi dalam teks kiriman dapat memengaruhi skor ulasan.

Cara kerja uji kontradiksi

Peneliti memulai dengan 257 makalah konferensi AI dari ACL, AISTATS, CVPR, dan ICML 2025, serta NeurIPS 2024. Mereka menggunakan Gemini 2.5 Pro untuk memetakan klaim dan detail pendukung pada setiap makalah. GPT-4.1 lalu menghasilkan bagian yang bertentangan pada jarak berbeda dari klaim utama dalam peta itu. Mengganti bagian asli dan menyusun ulang makalah menghasilkan 1.164 versi yang diubah, masing-masing dengan satu kontradiksi sisipan. Menurut rancangan makalah, jarak nol berarti kontradiksi pada klaim utama; jarak lebih besar mencapai detail yang lebih pinggiran.

Peninjau Sakana, yang dibangun dengan Claude Sonnet 4, mula-mula membuat kerangka makalah, lalu membaca lebih dekat untuk mencari bukti, asumsi, dan kelemahan, kemudian menyusun ulasan. Kerangka lengkap dapat menambahkan ringkasan lampiran dan pencarian literatur. Untuk uji kontradiksi, peneliti menggunakan hanya Review Agent, tanpa kedua komponen opsional itu. Model o3 membandingkan setiap ulasan dengan bagian asli dan yang diubah untuk menilai apakah kontradiksi yang dimaksud tertangkap. Mereka mengulang penilaian itu sepuluh kali dan melaporkan rata-ratanya.

Angka 73,43% berasal dari Tabel 14 pracetak: kontradiksi jarak nol dihitung tertangkap bila salah satu dari empat ulasan yang dihasilkan mengidentifikasinya. Konstruksi tolok ukur membuat satu versi jarak nol yang diubah untuk tiap 257 makalah sumber. Satu ulasan MLR mendapat 60,79% pada kategori itu. Untuk seluruh 1.164 kontradiksi sisipan, empat ulasan mendapat 40,95% dan satu mendapat 28,32%. Tingkatnya turun saat kesalahan menjauh dari klaim utama, meski kelompok terjauh hanya memiliki sedikit contoh.

Perbandingan ini perlu dilihat bersama pengaturannya. Untuk kesalahan jarak nol, LLM-Review dengan GPT-4.1 mendapat 14,56%; mengganti dasar itu ke Claude Sonnet 4 dan menghapus pemotongan teks menaikkannya menjadi 35,40%. Hasil satu ulasan MLR sebesar 60,79% lebih tinggi lagi. Urutan itu menunjukkan bahwa pilihan model dan prosedur ulasan sama-sama berpengaruh, sedangkan hasil 73,43% dari empat ulasan juga mendapat manfaat dari beberapa kesempatan untuk menandai kesalahan. Tolok ukur menggunakan model dan format ulasan berbeda, sehingga angka utama bukan pengukuran tersendiri atas prosedur tiga tahap.

Uji pada makalah nyata lebih sulit

Penulis juga mengevaluasi WithdrarXiv-Check, kumpulan data makalah arXiv yang ditarik dan dipasangkan dengan komentar pencabutan. Mereka menggunakan 211 makalah sepanjang paling banyak 30 halaman dari set uji awal 245 makalah. Penilai o3 mencari kekhawatiran dalam ulasan yang dihasilkan yang cocok dengan komentar pencabutan. Kecocokan “tepat” menghasilkan 16,11% untuk MLR; mengizinkan kekhawatiran serupa menghasilkan 26,07%. Tolok ukur terbaik berikutnya dalam kondisi serupa, AgentReview, mendapat 18,48%. Angka ini adalah kecocokan dengan alasan pencabutan yang terdokumentasi, bukan ukuran semua kemungkinan kekurangan dalam tiap makalah.

Perbandingan kedua kumpulan data memiliki batas. Penulis mengatakan banyak makalah yang ditarik berasal dari matematika dan fisika, sementara sistem terutama dirancang untuk kiriman konferensi AI. Lampirannya melaporkan deteksi yang menurun saat jumlah halaman bertambah. Tolok ukur sintetis juga punya keunggulan sendiri: dalam audit manual atas 50 kontradiksi sisipan, penilai manusia menganggap 34% mengganggu alur alami prosa di sekitarnya. Karena itu, beberapa edit buatan mungkin lebih mudah terlihat daripada kesalahan yang timbul selama penelitian atau penulisan.

Pracetak ini juga menguji manipulasi sengaja. Peneliti menyembunyikan teks dengan huruf putih sangat kecil setelah kesimpulan di 50 makalah yang ditolak. Makalah itu melaporkan bahwa instruksi sisipan memengaruhi semua sistem ulasan yang diuji; MLR secara eksplisit menyadarinya dalam delapan kasus. Rata-rata perubahan pada skor ulasannya sendiri kecil, tetapi perubahan tiap kasus sangat beragam. Ini peringatan terpisah agar teks manuskrip yang dikirim tidak diperlakukan sebagai instruksi tepercaya.

Karya ini memberi cara yang lebih konkret untuk bertanya apakah peninjau AI menangkap kesalahan yang sudah diketahui. Karya ini tidak membuktikan bahwa tinjauan sejawat otomatis dapat diandalkan. Hasil dilaporkan oleh pembuat sistem dalam pracetak, dan BIG CHANGE tidak menjalankan kode atau mereproduksi evaluasinya secara independen.

Sumber dan bacaan lanjutan