Sakana AI के शोधकर्ताओं ने ऐसी प्रणाली परखीं जो समीक्षा लिखने से पहले वैज्ञानिक शोध-पत्र पढ़ती है। 8 अक्टूबर के प्रीप्रिंटमें, चार बनाई गई समीक्षाओं को साथ देखने पर Multi-Layered Review ने मुख्य दावों में जानबूझकर डाले गए विरोधाभासों के 73.43% पहचाने। यह सिंथेटिक बेंचमार्क की सबसे केंद्रीय श्रेणी का आँकड़ा है। वास्तविक रिपोर्ट की गई समस्याओं वाले अलग वापस लिए गए शोध-पत्रों में, सख्त कसौटी पर समीक्षा और वापसी-टिप्पणी का सटीक मेल 16.11% था; ढीली कसौटी पर समान चिंता उठाने की दर 26.07% थी।

बड़ा बदलाव

  • क्या बदला: Sakana टीम ने AI समीक्षाओं को पहचानने योग्य, जानबूझकर डाली गई त्रुटियों पर परखा, केवल यह नहीं देखा कि वे मानव समीक्षा जैसी लगती हैं या नहीं। प्रमुख 73.43% सबसे केंद्रीय विरोधाभासों और प्रति शोध-पत्र चार प्रयासों तक सीमित है।
  • यह क्यों मायने रखता है: समीक्षकों और संपादकों को ऐसे उपकरण चाहिए जो महत्वपूर्ण त्रुटियाँ दिखाएँ, केवल विश्वसनीय लगने वाला गद्य नहीं। वापस लिए गए शोध-पत्रों पर कम मेल बताता है कि नतीजा त्रुटि के प्रकार और पहचान मापने के तरीके पर निर्भर करता है।
  • आगे क्या देखें: अगला उपयोगी परीक्षण जाँचेगा कि प्रणालियाँ अलग विषयों और लंबे शोध-पत्रों में स्वाभाविक रूप से आई समस्याएँ ढूँढ़कर जाँचने योग्य प्रमाण दे सकती हैं या नहीं। प्रीप्रिंट ने यह भी पाया कि जमा पाठ में छिपे निर्देश समीक्षा-अंक को प्रभावित कर सकते हैं।

विरोधाभास परीक्षण कैसे हुआ

शोधकर्ताओं ने ACL, AISTATS, CVPR और ICML 2025 तथा NeurIPS 2024 के 257 AI सम्मेलन शोध-पत्र लिए। Gemini 2.5 Pro से दावे और सहायक विवरण जोड़े गए। फिर GPT-4.1 ने मुख्य दावे से अलग-अलग दूरी पर विरोधाभासी अंश बनाए। मूल अंश बदलकर शोध-पत्र फिर संकलित किए गए, जिससे 1,164 संशोधित संस्करण बने, प्रत्येक में एक डाला हुआ विरोधाभास था। अध्ययन की रचना में दूरी शून्य मुख्य-दावे का विरोधाभास है; बड़ी दूरी अधिक गौण विवरण दर्शाती है।

Claude Sonnet 4 पर आधारित Sakana समीक्षक पहले शोध-पत्र की रूपरेखा बनाता है, फिर प्रमाण, मान्यताओं और कमजोरियों को ध्यान से पढ़ता है, और अंत में समीक्षा लिखता है। पूरा ढाँचा परिशिष्ट-सार और साहित्य खोज भी जोड़ सकता है। इस विरोधाभास परीक्षण में शोधकर्ताओं ने केवल Review Agentका उपयोग किया, वे दो वैकल्पिक हिस्से नहीं। o3 मॉडल ने हर समीक्षा को मूल और बदले अंशों से मिलाकर आँका कि लक्षित विरोधाभास पकड़ा गया या नहीं। यह निर्णय चरण दस बार दोहराया और औसत बताया गया।

73.43% का आँकड़ा प्रीप्रिंट की तालिका 14से है: शून्य दूरी वाला विरोधाभास पकड़ा हुआ माना गया यदि चार में से किसी एक बनाई समीक्षा ने उसे पहचाना। 257 मूल शोध-पत्रों में हर एक के लिए शून्य-दूरी का एक बदला संस्करण था। इस श्रेणी में एक MLR समीक्षा का अंक 60.79% था। सभी 1,164 डाले गए विरोधाभासों पर चार समीक्षाओं का अंक 40.95% और एक का 28.32% था। मुख्य दावों से दूर त्रुटियों पर दर घटी, हालांकि सबसे दूर समूहों में उदाहरण कम थे।

तुलना को उसकी सेटिंग के साथ देखना चाहिए। शून्य-दूरी त्रुटियों पर GPT-4.1 वाला LLM-Review 14.56% पर था; Claude Sonnet 4 लगाने और पाठ काटने की सीमा हटाने पर यह 35.40% हुआ। एकल MLR समीक्षा 60.79% पर थी। इससे मॉडल और प्रक्रिया दोनों का महत्व दिखता है; चार समीक्षाओं वाला 73.43% त्रुटि पकड़ने के कई अवसरों से भी लाभ पाता है। आधार प्रणालियों के मॉडल और प्रारूप अलग थे, इसलिए शीर्षक का आँकड़ा तीन-चरण प्रक्रिया का अलग से मापन नहीं है।

वास्तविक शोध-पत्रों की जाँच कठिन थी

लेखकों ने WithdrarXiv-Checkभी परखा, जो वापस लिए गए arXiv शोध-पत्रों को वापसी टिप्पणियों से जोड़ता है। मूल 245-पत्र परीक्षण समूह से उन्होंने अधिकतम 30 पृष्ठ वाले 211 पत्र लिए। o3 निर्णायक ने बनाई समीक्षा में वापसी कारण से मेल खाती चिंता खोजी। “सटीक” मेल पर MLR 16.11% पर था; समान चिंता की अनुमति देने पर 26.07%। उस नरम सेटिंग में अगला आधार AgentReview 18.48% पर था। ये दर्ज वापसी कारणों से मेल हैं, हर शोध-पत्र की हर संभावित कमी का माप नहीं।

दोनों डेटासेट की तुलना सीमित है। लेखकों के अनुसार कई वापस लिए गए शोध-पत्र गणित और भौतिकी के हैं, जबकि प्रणालियाँ मुख्यतः AI सम्मेलन प्रस्तुतियों के लिए बनाई गई थीं। परिशिष्ट में पृष्ठ संख्या बढ़ने पर पहचान घटती दिखी। सिंथेटिक बेंचमार्क का एक लाभ भी है: 50 डाले गए विरोधाभासों की मानवीय जाँच में 34% को आसपास के गद्य का स्वाभाविक प्रवाह तोड़ने वाला माना गया। इसलिए कुछ कृत्रिम बदलाव शोध या लेखन के दौरान स्वाभाविक रूप से हुई त्रुटियों से आसान पकड़ में आ सकते हैं।

प्रीप्रिंट जानबूझकर किए गए हेरफेर को भी परखता है। शोधकर्ताओं ने अस्वीकृत 50 शोध-पत्रों में निष्कर्ष के बाद बहुत छोटे सफेद अक्षरों में निर्देश छिपाए। लेख के अनुसार सभी परीक्षण प्रणालियाँ प्रभावित हुईं; MLR ने आठ मामलों में उन्हें साफ तौर पर देखा। उसके अपने समीक्षा-अंक में औसत बदलाव छोटा था, पर अलग-अलग बदलाव काफी भिन्न थे। यह अलग चेतावनी है कि प्रस्तुत पांडुलिपि के पाठ को भरोसेमंद निर्देश न मानें।

यह काम पूछने का अधिक ठोस तरीका देता है कि AI समीक्षक ज्ञात त्रुटि पकड़ता है या नहीं। यह भरोसेमंद स्वचालित सहकर्मी समीक्षा स्थापित नहीं करता। नतीजे प्रणाली के निर्माताओं ने प्रीप्रिंट में बताए; BIG CHANGE ने कोड नहीं चलाया और मूल्यांकन को स्वतंत्र रूप से दोहराया नहीं।

स्रोत और आगे पढ़ें