மதிப்புரை எழுதுவதற்கு முன் அறிவியல் கட்டுரைகளைப் படிக்கும் அமைப்பை Sakana AI ஆராய்ச்சியாளர்கள் சோதித்தனர். அக்டோபர் 8 preprint-இல், நான்கு உருவாக்கப்பட்ட மதிப்புரைகளை ஒன்றாகக் கணக்கிட்டபோது Multi-Layered Review, கட்டுரைகளின் முக்கியக் கூற்றுகளில் வேண்டுமென்றே பதியப்பட்ட முரண்பாடுகளில் 73.43%-ஐ அடையாளம் கண்டது. இது செயற்கை benchmark-இன் மிகவும் மைய வகைக்கான எண்ணிக்கை. உண்மைப் பிரச்சினைகள் பதிவான தனி திரும்பப் பெறப்பட்ட கட்டுரைகளில், கடுமையான அளவுகோலில் மதிப்புரைகள் திரும்பப் பெறல் கருத்துகளுடன் 16.11% துல்லியமாகப் பொருந்தின; தளர்வான அளவுகோலில் 26.07% ஒத்த கவலையை எழுப்பின.

முக்கிய மாற்றம்

  • என்ன மாறியது: மனித மதிப்புரையைப் போல உள்ளதா என்பதையே மட்டும் பார்க்காமல், அடையாளம் காணக்கூடிய வகையில் வேண்டுமென்றே பதியப்பட்ட தவறுகளுக்கு AI மதிப்புரைகளை Sakana குழு சோதித்தது. குறிப்பிடப்படும் 73.43% மிகவும் மைய முரண்பாடுகளையும் ஒவ்வொரு கட்டுரைக்கும் நான்கு முயற்சிகளையும் மட்டுமே கொண்டது.
  • இது ஏன் முக்கியம்: மதிப்பாய்வாளர்களுக்கும் ஆசிரியர்களுக்கும் நம்பத்தகுந்த உரை மட்டுமல்ல, முக்கியமான தவறுகளைச் சுட்டும் கருவிகளும் தேவை. திரும்பப் பெறப்பட்ட கட்டுரைகளில் குறைந்த பொருத்தம், செயல்திறன் தவறின் வகை மற்றும் கண்டறியும் அளவீட்டைப் பொறுத்தது என்பதைக் காட்டுகிறது.
  • எதைக் கவனிக்க வேண்டும்: அடுத்த பயனுள்ள சோதனை, பல துறைகள் மற்றும் நீண்ட கட்டுரைகளில் இயல்பாக நிகழ்ந்த சிக்கல்களைக் கண்டுபிடித்து சரிபார்க்கக்கூடிய ஆதாரங்களை அமைப்புகள் வழங்குமா என்பதைப் பார்க்கலாம். சமர்ப்பிக்கப்பட்ட உரையில் மறைக்கப்பட்ட வழிமுறைகள் மதிப்பெண்களைப் பாதிக்கலாம் என்றும் preprint கண்டது.

முரண்பாடு சோதனை நடந்த விதம்

ACL, AISTATS, CVPR, ICML 2025 மற்றும் NeurIPS 2024 மாநாடுகளின் 257 AI கட்டுரைகளில் ஆராய்ச்சியாளர்கள் தொடங்கினர். Gemini 2.5 Pro கூற்றுகளையும் ஆதரவு விவரங்களையும் வரைபடமிட்டது. பின்னர் GPT-4.1 முக்கியக் கூற்றிலிருந்து பல தூரங்களில் முரண்படும் பகுதிகளை உருவாக்கியது. மூலப் பகுதிகளை மாற்றி மீண்டும் compile செய்ததில் 1,164 மாற்றிய பதிப்புகள் உருவாயின; ஒவ்வொன்றிலும் ஒரு முரண்பாடு பதியப்பட்டது. ஆய்வு வடிவமைப்பில் பூஜ்ய தூரம் முக்கியக் கூற்றிலுள்ள முரண்பாடு; அதிக தூரம் புறத்திலுள்ள விவரங்களைக் குறிக்கும்.

Claude Sonnet 4 அடிப்படையிலான Sakana மதிப்பாய்வாளர் முதலில் கட்டுரையின் சுருக்க வடிவை உருவாக்கி, பின்னர் ஆதாரம், முன்கணிப்புகள், பலவீனங்களைப் படித்து, இறுதியில் மதிப்புரை எழுதுகிறது. முழு கட்டமைப்பில் இணைப்பு சுருக்கமும் இலக்கியத் தேடலும் இருக்கலாம். இந்தச் சோதனையில் ஆராய்ச்சியாளர்கள் Review Agent மட்டும்பயன்படுத்தினர்; விருப்பக் கூறுகள் இரண்டும் இல்லை. o3 மாதிரி ஒவ்வொரு மதிப்புரையையும் மூல மற்றும் மாற்றிய பகுதிகளுடன் ஒப்பிட்டு நோக்கப்பட்ட முரண்பாடு கண்டுபிடிக்கப்பட்டதா என மதிப்பிட்டது. அந்தப் படி பத்து முறை மீண்டும் செய்யப்பட்டு சராசரி தெரிவிக்கப்பட்டது.

73.43% என்பது preprint-இன் அட்டவணை 14இலிருந்து: பூஜ்ய தூர முரண்பாடு கண்டதாகக் கணக்கிடப்பட்டது, நான்கு உருவாக்கப்பட்ட மதிப்புரைகளில் ஏதேனும் ஒன்று அதை அடையாளம் கண்டால். 257 மூலக் கட்டுரைகள் ஒவ்வொன்றுக்கும் ஒரு பூஜ்ய-தூர மாற்றிய பதிப்பு இருந்தது. அந்த வகையில் ஒரு MLR மதிப்புரை 60.79% பெற்றது. எல்லா 1,164 முரண்பாடுகளுக்கும் நான்கு மதிப்புரைகள் 40.95%, ஒன்று 28.32% பெற்றன. முக்கியக் கூற்றிலிருந்து தவறுகள் விலகும்போது விகிதம் குறைந்தது; மிகத் தொலைந்த குழுக்களில் எடுத்துக்காட்டுகள் குறைவு.

ஒப்பீட்டில் அமைப்புகளையும் கணக்கில் கொள்ள வேண்டும். பூஜ்ய தூரத் தவறுகளில் GPT-4.1 கொண்ட LLM-Review 14.56% பெற்றது; Claude Sonnet 4-க்கு மாற்றி உரைத் துண்டிப்பை நீக்கியபோது 35.40% ஆனது. ஒற்றை MLR மதிப்புரை 60.79% பெற்றது. மாதிரி தேர்வும் நடைமுறையும் முக்கியம் என்பதைக் காட்டுகிறது; நான்கு மதிப்புரைகளின் 73.43%-க்கு பல முறை தவறைக் கண்டுபிடிக்கும் வாய்ப்பும் உதவுகிறது. அடிப்படை அமைப்புகள் வேறு மாதிரிகளையும் வடிவங்களையும் பயன்படுத்தின; ஆகவே தலைப்பு எண் மூன்று-படி நடைமுறையின் தனிப்பட்ட அளவீடு அல்ல.

உண்மைக் கட்டுரைகளில் சோதனை கடினமாக இருந்தது

ஆசிரியர்கள் WithdrarXiv-Checkஎனும், திரும்பப் பெறப்பட்ட arXiv கட்டுரைகளைத் திரும்பப் பெறல் கருத்துகளுடன் இணைக்கும் தரவுத்தொகுப்பையும் மதிப்பிட்டனர். 245 கட்டுரைகள் கொண்ட தொடக்கத் தொகுப்பிலிருந்து 30 பக்கங்கள் வரை உள்ள 211-ஐப் பயன்படுத்தினர். உருவாக்கப்பட்ட மதிப்புரையில் திரும்பப் பெறல் காரணத்துடன் பொருந்தும் கவலையை o3 மதிப்பீட்டாளர் தேடியது. “துல்லிய” பொருத்தத்தில் MLR 16.11%; ஒத்த கவலை ஏற்றால் 26.07%. அதே தளர்வான அமைப்பில் அடுத்த அடிப்படை AgentReview 18.48% பெற்றது. இவை பதிவுசெய்யப்பட்ட திரும்பப் பெறல் காரணங்களுடன் பொருத்தம்; ஒவ்வொரு கட்டுரையின் எல்லா சாத்தியமான குறைகளின் அளவீடு அல்ல.

இரண்டு தரவுத்தொகுப்புகளின் ஒப்பீட்டிற்கு வரம்புகள் உள்ளன. திரும்பப் பெறப்பட்ட பல கட்டுரைகள் கணிதம், இயற்பியல் துறைகளில் இருந்ததாகவும், அமைப்புகள் பெரும்பாலும் AI மாநாட்டு சமர்ப்பிப்புகளுக்காக வடிவமைக்கப்பட்டதாகவும் ஆசிரியர்கள் கூறுகின்றனர். பக்க எண்ணிக்கை அதிகரிக்கும்போது கண்டறிதல் குறைந்ததாக இணைப்பு அறிக்கை செய்கிறது. செயற்கை benchmark-க்கும் ஒரு சாதகம் உண்டு: பதியப்பட்ட 50 முரண்பாடுகளின் கைமுறை ஆய்வில், 34% சுற்றியுள்ள உரையின் இயல்பான ஓட்டத்தைத் தடை செய்ததாக மனிதர்கள் மதிப்பிட்டனர். சில செயற்கை மாற்றங்கள் ஆராய்ச்சி அல்லது எழுத்தில் இயல்பாக உருவான தவறுகளைவிட எளிதில் தெரியலாம்.

வேண்டுமென்றே கையாளுதலையும் preprint சோதிக்கிறது. நிராகரிக்கப்பட்ட 50 கட்டுரைகளின் முடிவுக்குப் பிறகு மிகச் சிறிய வெள்ளை எழுத்தில் ஆராய்ச்சியாளர்கள் வழிமுறைகளை மறைத்தனர். சோதிக்கப்பட்ட எல்லா மதிப்புரை அமைப்புகளும் பாதிக்கப்பட்டதாகவும், எட்டு நிகழ்வுகளில் MLR அவற்றை வெளிப்படையாகக் கவனித்ததாகவும் ஆய்வு கூறுகிறது. அதன் சொந்த மதிப்பெண் சராசரி மாற்றம் சிறியது; தனிப்பட்ட மாற்றங்கள் மிகவும் மாறுபட்டன. சமர்ப்பிக்கப்பட்ட கையெழுத்தின் உரையை நம்பகமான வழிமுறையாகக் கருதக் கூடாது என்ற தனி எச்சரிக்கை இது.

அறியப்பட்ட தவறை AI மதிப்பாய்வாளர் கண்டறிகிறதா என்று கேட்க இந்த ஆய்வு தெளிவான வழியை அளிக்கிறது. நம்பகமான தானியக்க peer review-ஐ நிறுவவில்லை. அமைப்பை உருவாக்கியவர்களே preprint-இல் முடிவுகளைத் தெரிவித்தனர்; BIG CHANGE குறியீட்டை இயக்கவோ மதிப்பீட்டைத் தனியாக மீளுருவாக்கவோ இல்லை.

ஆதாரங்களும் மேலும் வாசிப்பும்

  • Teo மற்றும் சகாக்கள், Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review (arXiv preprint, 8 அக்டோபர் 2026). benchmark உருவாக்கம், மாதிரி அமைப்புகள், அட்டவணை 14 செயற்கை முடிவுகள், அட்டவணை 3 திரும்பப் பெறப்பட்ட கட்டுரைகள் மற்றும் கையாளுதல் சோதனைக்கான முதன்மை ஆதாரம். தானியக்க மதிப்பீட்டாளர்களும் செயற்கைப் பகுதிகளும் அளவுகளின் பொருளை வரையறுக்கின்றன.
  • கட்டுரையின் arXiv பதிவு. சமர்ப்பித்த தேதி, ஆசிரியர்கள், preprint நிலையை உறுதிப்படுத்துகிறது. arXiv-இல் வெளியிடுவது இதழ் அல்லது மாநாட்டு ஏற்றுக்கொள்ளலை உறுதி செய்யாது.