సమీక్ష ముసాయిదా రాయడానికి ముందు శాస్త్రీయ పత్రాలను చదివే వ్యవస్థను Sakana AI పరిశోధకులు పరీక్షించారు. అక్టోబర్ 8 ప్రీప్రింట్‌లో, నాలుగు రూపొందించిన సమీక్షలను కలిపి చూసినప్పుడు Multi-Layered Review వ్యవస్థ పత్రాల ప్రధాన వాదనల్లో ఉద్దేశపూర్వకంగా చొప్పించిన వైరుధ్యాల్లో 73.43% గుర్తించింది. ఈ సంఖ్య సింథటిక్ బెంచ్‌మార్క్‌లో అత్యంత కేంద్రంగా ఉన్న వర్గాన్ని వివరిస్తుంది. నిజమైన సమస్యలు నివేదించబడి ఉపసంహరించిన పత్రాల వేరే సమూహంలో, కఠిన పరీక్ష ప్రకారం సమీక్షలు ఉపసంహరణ వ్యాఖ్యలతో 16.11% సందర్భాల్లో కచ్చితంగా సరిపోయాయి; సడలించిన ప్రమాణంతో ఇలాంటి ఆందోళనను 26.07% సందర్భాల్లో లేవనెత్తాయి.

పెద్ద మార్పు

  • ఏమి మారింది: రూపొందించిన సమీక్ష మానవ సమీక్షలా ఎంత కనిపిస్తుందో మాత్రమే కాక, గుర్తించగలిగే ఉద్దేశపూర్వక తప్పులతో AI సమీక్షలను Sakana బృందం పోల్చింది. ప్రముఖ 73.43% ఫలితం అత్యంత కేంద్ర వైరుధ్యాలు, ఒక్కో పత్రానికి నాలుగు ప్రయత్నాలకే వర్తిస్తుంది.
  • ఇది ఎందుకు ముఖ్యం: సమీక్షకులు, సంపాదకులకు నమ్మదగినట్టుగా వినిపించే గద్యమే కాదు, అసలైన తప్పులను చూపే సాధనాలు కావాలి. ఉపసంహరించిన పత్రాల్లో చాలా తక్కువ సరిపోలిక రేట్లు, తప్పు రకం మరియు గుర్తింపును కొలిచే విధానంపై పనితీరు ఎంత ఆధారపడుతుందో చూపుతాయి.
  • తర్వాత ఏమి చూడాలి: వేర్వేరు విషయాలు, పొడవైన పత్రాల్లో సహజంగా ఏర్పడిన సమస్యలను వ్యవస్థలు కనుగొని, సమీక్షకులు ధృవీకరించగల ఆధారాలు అందిస్తాయా అనేది తదుపరి ఉపయోగకరమైన పరీక్ష. సమర్పించిన పాఠ్యంలో దాచిన సూచనలు సమీక్ష స్కోర్లను ప్రభావితం చేయవచ్చని ఈ ప్రీప్రింట్ కనుగొంది.

వైరుధ్య పరీక్ష ఎలా జరిగింది

ACL, AISTATS, CVPR, ICML 2025 మరియు NeurIPS 2024 నుంచి 257 AI సమావేశ పత్రాలతో పరిశోధకులు ప్రారంభించారు. ప్రతి పత్రంలోని వాదనలు, వాటికి మద్దతిచ్చే వివరాలను మ్యాప్ చేయడానికి Gemini 2.5 Pro వాడారు. ఆ మ్యాప్‌లోని ప్రధాన వాదన నుంచి భిన్న దూరాల్లో వైరుధ్య పేరాలను GPT-4.1 రూపొందించింది. అసలు పేరాలను మార్చి పత్రాలను మళ్లీ కూర్చడంతో ఒక్కోటి ఒక వైరుధ్యంతో 1,164 మారిన సంచికలు వచ్చాయి. పత్రం రూపకల్పన ప్రకారం, సున్నా దూరం అంటే ప్రధాన వాదనలో వైరుధ్యం; ఎక్కువ దూరాలు పరిధి అంచుల వివరాలను సూచిస్తాయి.

Claude Sonnet 4 ఆధారంగా రూపొందిన Sakana సమీక్షకుడు మొదట పత్రానికి రూపరేఖ ఇస్తాడు, ఆపై ఆధారాలు, ఊహలు, బలహీనతలను దగ్గరగా చదివి చివరగా సమీక్ష రాస్తాడు. పూర్తి ఫ్రేమ్‌వర్క్ అనుబంధ సారాంశం, సాహిత్య శోధనను జోడించగలదు. వైరుధ్య పరీక్షలో పరిశోధకులు ఆ ఐచ్ఛిక భాగాలు రెండింటినీ వాడకుండా Review Agent మాత్రమే ఉపయోగించారు. ఉద్దేశించిన వైరుధ్యం పట్టుబడిందా అని o3 మోడల్ ప్రతి సమీక్షను అసలు, మార్పు చేసిన పేరాలతో పోల్చింది. ఆ తీర్పును పది సార్లు పునరావృతం చేసి సగటు నివేదించారు.

73.43% సంఖ్య ప్రీప్రింట్‌లోని పట్టిక 14నుంచి వచ్చింది: సున్నా దూరపు వైరుధ్యాన్ని నాలుగు రూపొందించిన సమీక్షల్లో ఏదో ఒకటి గుర్తిస్తే పట్టుకున్నట్టుగా లెక్కించారు. బెంచ్‌మార్క్ నిర్మాణంలో 257 అసలు పత్రాల్లో ప్రతి దానికి సున్నా-దూరపు మార్పు చేసిన సంచిక రూపొందించారు. ఆ వర్గంలో ఒక MLR సమీక్ష 60.79% సాధించింది. మొత్తం 1,164 చొప్పించిన వైరుధ్యాలకు నాలుగు సమీక్షలు 40.95%, ఒకటి 28.32% సాధించాయి. తప్పులు ప్రధాన వాదనల నుంచి దూరమవుతుంటే రేటు తగ్గింది; అయితే అత్యంత దూరపు సమూహాల్లో ఉదాహరణలు తక్కువ.

పోలికను దాని సెట్టింగులతో కలిపి చూడాలి. సున్నా-దూరపు తప్పుల్లో GPT-4.1తో LLM-Review 14.56% సాధించింది; Claude Sonnet 4కు మార్చి, టెక్స్ట్ కత్తిరింపును తొలగించాక 35.40%కు పెరిగింది. ఒకే MLR సమీక్ష 60.79%తో ఇంకా ఎక్కువగా ఉంది. మోడల్ ఎంపిక, సమీక్ష విధానం రెండూ ప్రభావం చూపాయని ఈ క్రమం సూచిస్తుంది; నాలుగు సమీక్షల 73.43%కు తప్పును గుర్తించే అవకాశాలు ఎక్కువగా ఉండటమూ దోహదం చేస్తుంది. ఆధార పద్ధతుల్లో వేర్వేరు మోడళ్లు, సమీక్ష ఆకృతులు వాడారు; అందువల్ల శీర్షిక సంఖ్య మూడు-దశల ప్రక్రియను విడిగా కొలవదు.

నిజమైన పత్రాల తనిఖీ కఠినంగా ఉంది

ఉపసంహరించిన arXiv పత్రాలను వాటి ఉపసంహరణ వ్యాఖ్యలతో జతచేసిన WithdrarXiv-Check డేటాసెట్‌ను కూడా రచయితలు పరీక్షించారు. అసలు 245 పత్రాల పరీక్షా సమూహం నుంచి 30 పేజీలకు మించని 211 పత్రాలను తీసుకున్నారు. రూపొందించిన సమీక్షలోని ఆందోళన ఉపసంహరణ వ్యాఖ్యతో సరిపోతుందా అని o3 న్యాయనిర్ణేత చూసింది. ‘ఖచ్చితమైన’ సరిపోలికతో MLR ఫలితం 16.11%; ఇలాంటి ఆందోళనను అనుమతిస్తే 26.07%. అదే సడలించిన విధానంలో తర్వాతి ఉత్తమ ఆధారరేఖ AgentReview 18.48% సాధించింది. ఇవి నమోదు చేసిన ఉపసంహరణ కారణాలతో సరిపోలికలు మాత్రమే; ప్రతి పత్రంలోని అన్ని సంభావ్య లోపాల కొలతలు కావు.

రెండు డేటాసెట్‌ల పోలికకు పరిమితులున్నాయి. ఉపసంహరించిన పత్రాల్లో చాలా గణితం, భౌతికశాస్త్రానికి చెందినవని, వ్యవస్థలు ప్రధానంగా AI సమావేశ సమర్పణల కోసం రూపొందించబడ్డాయని రచయితలు చెబుతున్నారు. పేజీల సంఖ్య పెరిగేకొద్దీ గుర్తింపు తగ్గిందని అనుబంధం నివేదించింది. సింథటిక్ బెంచ్‌మార్క్‌కూ ప్రత్యేక ప్రయోజనం ఉంది: చొప్పించిన 50 వైరుధ్యాల మానవ తనిఖీలో 34% చుట్టుపక్కల గద్య సహజ ప్రవాహాన్ని అడ్డుకున్నాయని రేటర్లు భావించారు. పరిశోధన లేదా రచనలో సహజంగా వచ్చిన తప్పులకంటే కొన్ని కృత్రిమ మార్పులు సులభంగా కనిపించవచ్చు.

ప్రీప్రింట్ ఉద్దేశపూర్వక తారుమారునూ పరీక్షిస్తుంది. తిరస్కరించిన 50 పత్రాల్లో ముగிவுக்குப் பிறகு மிகச் சிறிய తెల్ల అక్షరాలతో పరిశోధకులు వచనాన్ని దాచారు. చొప్పించిన సూచనలు పరీక్షించిన అన్ని సమీక్ష వ్యవస్థలను ప్రభావితం చేశాయని, ఎనిమిది సందర్భాల్లో MLR వాటిని స్పష్టంగా గమనించిందని పత్రం చెబుతుంది. దాని స్వంత సమీక్ష స్కోరులో సగటు మార్పు చిన్నదే, కానీ వ్యక్తిగత మార్పులు విస్తృతంగా మారాయి. సమర్పించిన మాన్యుస్క్రిప్ట్ వచనాన్ని నమ్మదగిన సూచనలుగా చూడకూడదన్న మరో హెచ్చరిక ఇది.

తెలిసిన తప్పును AI సమీక్షకుడు గుర్తిస్తాడా అని అడిగేందుకు ఈ పని మరింత స్పష్టమైన మార్గాన్ని ఇస్తుంది. ఆటోమేటెడ్ సహ సమీక్ష విశ్వసనీయమని ఇది నిరూపించదు. వ్యవస్థ సృష్టికర్తలే ప్రీప్రింట్‌లో ఫలితాలను నివేదించారు; BIG CHANGE కోడ్ నడపలేదు లేదా మూల్యాంకనాన్ని స్వతంత్రంగా పునరావృతం చేయలేదు.

మూలాలు, తదుపరి పఠనం

  • Teo తదితరులు, Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review (arXiv ప్రీప్రింట్, అక్టోబర్ 8, 2026). బెంచ్‌మార్క్ నిర్మాణం, మోడల్ సెట్టింగులు, పట్టిక 14 సింథటిక్ ఫలితాలు, పట్టిక 3 ఉపసంహరించిన పత్రాల ఫలితాలు, తారుమారు ప్రయోగానికి ఇది ప్రధాన మూలం. ఆటోమేటెడ్ న్యాయనిర్ణేతలు, సింథటిక్ పేరాలు కొలిచిన రేట్ల అర్థాన్ని పరిమితం చేస్తాయి.
  • పత్రం arXiv రికార్డు. సమర్పణ తేదీ, రచయితలు, ప్రీప్రింట్ స్థితిని ధృవీకరిస్తుంది. arXivలో పోస్ట్ చేయడమే జర్నల్ లేదా సమావేశ ఆమోదాన్ని నిరూపించదు.