Sakana AI संशोधकांनी पुनरावलोकनाचा मसुदा लिहिण्यापूर्वी वैज्ञानिक लेख वाचणारी प्रणाली तपासली. 8 ऑक्टोबरच्या प्रीप्रिंटमध्ये, चार तयार केलेली पुनरावलोकने एकत्र विचारात घेतल्यावर त्यांच्या Multi-Layered Review प्रणालीने लेखांच्या मुख्य दाव्यांत मुद्दाम घातलेल्या विसंगतींपैकी 73.43% ओळखल्या. हा आकडा कृत्रिम चाचणीतील सर्वाधिक मध्यवर्ती प्रकार दर्शवतो. खऱ्या नोंदवलेल्या समस्यांमुळे मागे घेतलेल्या लेखांच्या वेगळ्या संचात, कठोर निकषांनुसार पुनरावलोकन आणि माघारीच्या टिप्पण्यांची अचूक जुळवणूक 16.11% प्रकरणांत झाली; सैल निकषांनुसार समान चिंता 26.07% प्रकरणांत मांडली गेली.

मोठा बदल

  • काय बदलले: फक्त AI पुनरावलोकन मानवी पुनरावलोकनासारखे दिसते का हे न पाहता, Sakana संघाने ओळखता येणाऱ्या मुद्दाम घातलेल्या चुका समोर ठेवल्या. ठळक 73.43% हा सर्वाधिक मध्यवर्ती घातलेल्या विसंगतींचा आणि प्रत्येक लेखासाठी चार प्रयत्नांचा परिणाम आहे.
  • हे महत्त्वाचे का: पुनरावलोकक आणि संपादकांना केवळ विश्वासार्ह वाटणारे लेखन नव्हे तर महत्त्वाच्या चुका दाखवणारी साधने हवीत. मागे घेतलेल्या लेखांवरील कमी जुळवणूक त्रुटीचा प्रकार आणि शोध कसा मोजला जातो यावर कामगिरी किती अवलंबून असते ते दाखवते.
  • पुढे काय पाहावे: पुढील उपयुक्त चाचणी म्हणजे विविध विषयांतील आणि अधिक लांबीच्या लेखांमध्ये नैसर्गिकरीत्या उद्भवलेल्या समस्या प्रणाली शोधतात का आणि पुनरावलोककांना पडताळता येणारा पुरावा देतात का हे तपासणे. सादर केलेल्या मजकुरातील लपवलेल्या सूचना पुनरावलोकन गुणांवर परिणाम करू शकतात असेही या प्रीप्रिंटला आढळले.

विसंगतीची चाचणी कशी झाली

संशोधकांनी ACL, AISTATS, CVPR आणि ICML 2025 तसेच NeurIPS 2024 मधील AI परिषदांचे 257 लेख घेतले. प्रत्येक लेखातील दावे आणि आधार देणारे तपशील जोडण्यासाठी त्यांनी Gemini 2.5 Pro वापरले. त्या नकाशातील मुख्य दाव्यापासून वेगवेगळ्या अंतरांवर विरोधी परिच्छेद GPT-4.1 ने तयार केले. मूळ परिच्छेद बदलून लेख पुन्हा संकलित केल्यावर 1,164 बदललेल्या आवृत्त्या मिळाल्या; प्रत्येकात एक घातलेली विसंगती होती. लेखाच्या रचनेनुसार अंतर शून्य म्हणजे मुख्य दाव्यातील विसंगती; अधिक अंतर म्हणजे परिघावरील तपशील.

Claude Sonnet 4 भोवती बांधलेला Sakana पुनरावलोकक आधी लेखाची रूपरेषा बनवतो, मग पुरावे, गृहितके आणि कमकुवत बाजू अधिक बारकाईने वाचतो, आणि शेवटी पुनरावलोकन लिहितो. पूर्ण चौकटीत परिशिष्टाचा सारांश आणि साहित्य शोध जोडता येतो. विसंगतीच्या चाचणीसाठी संशोधकांनी पर्यायी घटक न वापरता फक्त Review Agent वापरला. प्रत्येक पुनरावलोकन मूळ आणि बदललेल्या परिच्छेदांशी तुलना करून अपेक्षित विसंगती आढळली का हे o3 मॉडेलने ठरवले. त्यांनी हा निर्णय दहा वेळा पुन्हा घेऊन सरासरी नोंदवली.

73.43% हा आकडा प्रीप्रिंटच्या तक्ता 14मधून येतो: अंतर शून्यावरील विसंगती चार तयार केलेल्या पुनरावलोकनांपैकी कोणत्याही एकाने ओळखल्यास ती सापडली असे मोजले. चाचणी तयार करताना 257 मूळ लेखांपैकी प्रत्येकाची अंतर-शून्य बदललेली आवृत्ती बनवली. त्या प्रकारात एक MLR पुनरावलोकन 60.79% वर होते. सर्व 1,164 घातलेल्या विसंगतींसाठी चार पुनरावलोकनांचा गुण 40.95% आणि एकाचा 28.32% होता. मुख्य दाव्यांपासून चुका दूर गेल्यावर प्रमाण घटले, पण सर्वाधिक दूरच्या गटांत उदाहरणे कमी होती.

तुलनेसोबत तिची मांडणीही पाहावी लागते. अंतर-शून्य चुकांवर GPT-4.1 वापरणाऱ्या LLM-Review ला 14.56% मिळाले; Claude Sonnet 4 वापरून मजकूर कापणे काढल्यावर 35.40% झाले. एकाच MLR पुनरावलोकनाचा 60.79% गुण त्यापेक्षा अधिक होता. यावरून मॉडेलची निवड आणि पुनरावलोकनाची पद्धत दोन्ही महत्त्वाची ठरली; चार पुनरावलोकनांचा 73.43% निकाल चूक दाखवण्याच्या अनेक संधींचाही फायदा घेतो. आधाररेषांमध्ये वेगवेगळी मॉडेल्स आणि स्वरूपे होती; त्यामुळे मथळ्यातील आकडा तीन-टप्प्यांच्या पद्धतीचे स्वतंत्र मोजमाप नाही.

खऱ्या लेखांवरील तपासणी कठीण होती

लेखकांनी माघारी घेतलेले arXiv लेख आणि माघारीच्या टिप्पण्या जोडणारा WithdrarXiv-Check हा संचही तपासला. मूळ 245 लेखांच्या चाचणी संचातून 30 पानांपर्यंतचे 211 लेख वापरले. तयार केलेल्या पुनरावलोकनात माघारीच्या टिप्पणीशी जुळणारी चिंता आहे का हे o3 परीक्षकाने पाहिले. ‘अचूक’ जुळवणुकीत MLRचा निकाल 16.11%; समान चिंता मान्य केल्यास 26.07% होता. समान निकषातील पुढील सर्वोत्तम आधाररेषा AgentReview ला 18.48% मिळाले. हे नोंदवलेल्या माघारीच्या कारणांशी जुळणे आहे; प्रत्येक लेखातील सर्व संभाव्य दोषांचे मोजमाप नाही.

दोन्ही संचांची तुलना मर्यादित आहे. लेखक म्हणतात की अनेक मागे घेतलेले लेख गणित आणि भौतिकशास्त्रातील आहेत, तर प्रणाली प्रामुख्याने AI परिषदांच्या सादरीकरणांसाठी बनवल्या होत्या. परिशिष्टात पानांची संख्या वाढल्यावर शोध घटल्याचे दिसते. कृत्रिम चाचणीलाही फायदा आहे: मुद्दाम घातलेल्या 50 विसंगतींच्या मानवी तपासणीत 34% मुळे आसपासच्या मजकुराचा नैसर्गिक प्रवाह खंडित झाल्याचे परीक्षकांनी मानले. संशोधन किंवा लेखनातून नैसर्गिकरीत्या निर्माण झालेल्या चुकांपेक्षा काही कृत्रिम बदल दिसणे सोपे असू शकते.

प्रीप्रिंट मुद्दाम केलेली फेरफारही तपासते. संशोधकांनी नाकारलेल्या 50 लेखांत निष्कर्षानंतर अगदी लहान पांढऱ्या अक्षरांत मजकूर लपवला. घातलेल्या सूचनांचा चाचणीतील सर्व पुनरावलोकन प्रणालींवर परिणाम झाला; MLRने आठ प्रकरणांत त्या स्पष्टपणे ओळखल्याचे लेख सांगतो. स्वतःच्या पुनरावलोकन गुणातील सरासरी बदल लहान होता, पण वैयक्तिक बदल बरेच वेगवेगळे होते. सादर केलेल्या हस्तलिखितातील मजकूर विश्वासार्ह सूचना मानू नये, असा हा वेगळा इशारा आहे.

AI पुनरावलोककाला ज्ञात चूक सापडते का हे विचारण्याची अधिक ठोस पद्धत हे काम देते. स्वयंचलित समकक्ष-पुनरावलोकन विश्वासार्ह आहे हे ते सिद्ध करत नाही. प्रणालीच्या निर्मात्यांनी प्रीप्रिंटमध्ये निकाल दिले; BIG CHANGE ने कोड चालवला नाही किंवा मूल्यमापन स्वतंत्रपणे पुन्हा केले नाही.

स्रोत आणि पुढील वाचन

  • Teo आणि सहकारी, Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review (arXiv प्रीप्रिंट, 8 ऑक्टोबर 2026). चाचणीची रचना, मॉडेल मांडणी, तक्ता 14 चे कृत्रिम निकाल, तक्ता 3 मधील मागे घेतलेल्या लेखांचे निकाल आणि फेरफार प्रयोग यांचा मुख्य स्रोत. स्वयंचलित परीक्षक आणि कृत्रिम परिच्छेद मोजलेल्या दरांचा अर्थ मर्यादित करतात.
  • लेखाची arXiv नोंद. सादरीकरणाची तारीख, लेखक आणि प्रीप्रिंट स्थितीची पुष्टी करते. केवळ arXiv वर नोंद असणे म्हणजे नियतकालिक किंवा परिषदेत स्वीकृती नव्हे.