Markdown edition

AI-translated from English; not yet reviewed by a fluent editor.

# Natukoy ng peer-review system ng Sakana AI ang 73% ng itinanim na pangunahing kontradiksiyon, ngunit mas kaunti ang tunay na pagkakamali

> Iniulat ng preprint ng Sakana AI ang 73.43% pagtukoy sa itinanim na kontradiksiyon sa pangunahing pahayag gamit ang apat na review, ngunit 16.11% lamang ang eksaktong tugma sa mga pagkakamali sa binawing papel. Mas makitid itong gawain kaysa maaasahang peer review.

By BIG CHANGE Editorial

Published: 2026-10-12T23:08:18.599Z
Updated: 2026-10-12T23:08:18.599Z
Canonical: https://bigchange.ai/blog/sakana-ai-peer-review-planted-contradictions

![Conceptual charcoal illustration of a printed scientific manuscript with one orange replacement passage inserted into the page.](https://bigchange.ai/api/media/file/sakana-planted-passage-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. The page is not a paper used in the study and the image does not show an AI detecting an error.

Sinubukan ng mga mananaliksik ng Sakana AI ang sistemang nagbabasa muna ng siyentipikong papel bago gumawa ng review. Sa isang[ preprint noong Oktubre 8](https://arxiv.org/html/2610.11087), natukoy ng Multi-Layered Review system ang 73.43% ng sadyang ipinasok na kontradiksiyon sa pangunahing pahayag kapag pinagsama ang apat na ginawang review. Saklaw nito ang pinakasentro na kategorya ng sintetikong benchmark. Sa hiwalay na mga binawing papel na may totoong naiulat na problema, eksaktong tumugma ang review sa komento ng pagbawi sa 16.11% ng kaso sa mahigpit na sukatan, o nagtaas ng kahalintulad na alalahanin sa 26.07% sa mas maluwag na sukatan.

## Ang malaking pagbabago

- **Ano ang nagbago:** Sinubok ng pangkat ng Sakana ang mga AI review laban sa makikilala at sadyang itinanim na pagkakamali, sa halip na pagkakahawig lang sa review ng tao. Saklaw ng tampok na 73.43% ang pinakasentrong itinanim na kontradiksiyon at apat na pagsubok bawat papel.
- **Bakit mahalaga:** Kailangan ng reviewer at editor ng kasangkapang tumutukoy sa mahalagang pagkakamali, hindi lang kapani-paniwalang pananalita. Ipinakikita ng mas mababang tugma sa binawing papel na nakadepende ang resulta sa uri ng pagkakamali at paraan ng pagsukat.
- **Ano ang susubaybayan:** Makabuluhang susunod na pagsubok kung nakakakita ang sistema ng likas na problema sa iba’t ibang larangan at mas mahahabang papel, at nagbibigay ng ebidensiyang masusuri ng reviewer. Natuklasan din ng preprint na maaaring maimpluwensiyahan ng nakatagong tagubilin sa isinumiteng teksto ang marka ng review.

## Paano ginawa ang pagsubok sa kontradiksiyon

Nagsimula ang mga mananaliksik sa 257 AI conference paper mula ACL, AISTATS, CVPR at ICML 2025, at NeurIPS 2024. Ginamit nila ang Gemini 2.5 Pro para itugma ang mga pahayag sa sumusuportang detalye. Pagkatapos, gumawa ang GPT-4.1 ng salungat na talata sa iba’t ibang layo mula sa pangunahing pahayag. Pinalitan ang orihinal na talata at muling binuo ang papel, na nagresulta sa 1,164 binagong bersiyon na tig-iisang itinanim na kontradiksiyon. Ayon sa disenyo, ang layo na zero ay kontradiksiyon sa pangunahing pahayag; mas malayong detalye ang tinutukoy ng mas mataas na layo.

Ang reviewer ng Sakana, na nakabatay sa Claude Sonnet 4, ay unang nagbabalangkas ng papel, saka masusing tumitingin sa ebidensiya, palagay at kahinaan, at sa huli ay gumagawa ng review. Maaari ring magdagdag ang buong balangkas ng buod sa apendiks at paghahanap ng literatura. Para sa pagsubok na ito, ginamit ng mga mananaliksik ang **Review Agent lamang**, hindi ang dalawang opsyonal na bahagi. Inihambing ng modelong o3 ang bawat review sa orihinal at binagong talata para husgahan kung nakita ang nilalayong kontradiksiyon. Inulit nang sampung beses ang hakbang na iyon at iniulat ang average.

Nagmula ang 73.43% sa[ Talahanayan 14 ng preprint](https://arxiv.org/html/2610.11087): nabilang na nakita ang kontradiksiyon sa layo na zero kung natukoy ito ng **alinman sa apat na ginawang review** . May isang binagong bersiyon na layo-zero para sa bawat isa sa 257 orihinal na papel. 60.79% ang marka ng iisang MLR review sa kategoryang iyon. Para sa lahat ng 1,164 itinanim na kontradiksiyon, 40.95% ang marka ng apat na review at 28.32% ng isa. Bumaba ang antas habang lumalayo ang mga pagkakamali sa pangunahing pahayag, bagaman kakaunti ang halimbawa sa pinakamalayong pangkat.

Dapat isaalang-alang ang mga setting sa paghahambing. Para sa layo-zero na pagkakamali, 14.56% ang marka ng LLM-Review na gumagamit ng GPT-4.1; naging 35.40% ito nang palitan ng Claude Sonnet 4 at alisin ang pagputol ng teksto. 60.79% ang iisang MLR review. Ipinahihiwatig nito na mahalaga ang pagpili ng modelo at proseso; nakikinabang din ang 73.43% ng apat na review sa maraming pagkakataong makapuna. Magkaiba ang modelo at format ng mga baseline, kaya hindi hiwalay na sukat ng tatlong-yugtong proseso ang pangunahing bilang.

## Mas mahirap ang pagsusuri sa tunay na papel

Sinuri rin ng mga may-akda ang[ WithdrarXiv-Check](https://arxiv.org/html/2610.11087), dataset ng binawing arXiv paper na ipinares sa komento ng pagbawi. Gumamit sila ng 211 papel na hindi hihigit sa 30 pahina mula sa orihinal na 245-papel na test set. Hinanap ng o3 judge ang alalahanin sa ginawang review na tumutugma sa dahilan ng pagbawi. 16.11% ang eksaktong tugma ng MLR; 26.07% kapag pinayagan ang kahalintulad na alalahanin. 18.48% ang sumunod na baseline, AgentReview, sa kaparehong maluwag na sukatan. Tugma ito sa dokumentadong dahilan ng pagbawi, hindi sukat ng lahat ng posibleng depekto sa bawat papel.

May hangganan ang paghahambing ng dalawang dataset. Ayon sa mga may-akda, maraming binawing papel ay sa matematika at pisika, samantalang pangunahing dinisenyo ang mga sistema para sa AI conference submission. Iniulat ng apendiks na bumababa ang pagtukoy habang humahaba ang papel. May bentahe rin ang sintetikong benchmark: sa manwal na audit ng 50 itinanim na kontradiksiyon, hinatulan ng mga tao na 34% ang sumira sa natural na daloy ng nakapaligid na teksto. Maaaring mas madaling mapansin ang ilang artipisyal na edit kaysa pagkakamaling likas na nabuo sa pananaliksik o pagsulat.

Sinubok din ng preprint ang sadyang manipulasyon. Nagtago ang mga mananaliksik ng tagubilin sa napakaliit na puting titik pagkatapos ng konklusyon sa 50 tinanggihang papel. Iniulat ng papel na naimpluwensiyahan ang lahat ng sinubok na sistema; tahasang napansin ito ng MLR sa walong kaso. Maliit ang karaniwang pagbabago sa sarili nitong marka ng review, ngunit malaki ang pagkakaiba ng mga indibiduwal na pagbabago. Hiwalay itong babala laban sa pagturing sa teksto ng isinumiteng manuskrito bilang mapagkakatiwalaang tagubilin.

Nag-aalok ang gawaing ito ng mas kongkretong paraan para itanong kung nakakakita ang AI reviewer ng kilalang pagkakamali. Hindi nito pinatutunayan ang maaasahang awtomatikong peer review. Iniulat ng mga gumawa ng sistema ang resulta sa preprint; hindi pinatakbo ng BIG CHANGE ang code o muling isinagawa nang nakapag-iisa ang pagsusuri.

## Mga source at karagdagang babasahin

- [Teo at mga kasama, *Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review* (arXiv preprint, Oktubre 8, 2026)](https://arxiv.org/html/2610.11087). Pangunahing sanggunian sa pagbuo ng benchmark, setting ng mga modelo, sintetikong resulta sa Talahanayan 14, resulta sa binawing papel sa Talahanayan 3 at eksperimento sa manipulasyon. Nililimitahan ng awtomatikong judge at sintetikong talata ang kahulugan ng nasukat na antas.
- [Tala ng papel sa arXiv](https://arxiv.org/abs/2610.11087). Kinukumpirma ang petsa ng pagsumite, mga may-akda at katayuang preprint. Hindi patunay ng pagtanggap sa journal o conference ang pag-post sa arXiv.

## Sources

- [Teo et al., Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review](https://arxiv.org/html/2610.11087) — Pangunahing preprint para sa mga pamamaraan, sintetikong benchmark sa Talahanayan 14, pagsusuri sa binawing papel sa Talahanayan 3 at adversarial manipulation test. Iniulat ng mga may-akda at hindi independiyenteng inulit dito.
- [Abstrak at kasaysayan ng pagsumite sa arXiv para sa 2610.11087](https://arxiv.org/abs/2610.11087) — Kinukumpirma ang pamagat, mga may-akda, petsa ng v1 submission at katayuang preprint; hindi nito pinatutunayan ang peer review o pagtanggap.