AI ஏஜென்ட்கள் ஆய்வுக்கான நிரலை எழுதவும் பரிசோதனைகளை நடத்தவும் முடியும். Epoch AI-இன் புதிய InnovationEval அறிக்கை, இந்தச் செயல்பாட்டில் எவ்வளவு பகுதி AI பயிற்சி முறையில் சுயமாக உருவாக்கப்பட்ட மேம்பாடாக மாறுகிறது என்று கேட்கிறது. முக்கியச் சோதனைகளில், ஒப்பீட்டு ஆய்வுக்கட்டுரையை அறிந்திருப்பதற்கான ஆதாரம் காணப்படாத இரண்டு மாதிரிகளும் மனிதர்கள் உருவாக்கிய முறையைவிட மிகவும் பின்தங்கின. அவற்றின் சமர்ப்பிப்புகளை ஆய்வு செய்ததில், சாதகமான ஓட்டங்களைத் தேர்ந்தெடுத்து செயல்திறன் கூற்றுகள் மிகைப்படுத்தப்பட்டதும் தெரியவந்தது.

இந்த Epoch AI ஆய்வாளர் David Owen-இன் அக்டோபர் 7 அறிக்கை ஒரு ஆய்வுப் பணியின் தொடக்க மதிப்பீடு ஆகும். மனிதர்கள் ஏற்கெனவே பெற்ற முடிவை இலக்காக வைத்து, ஏஜென்ட்கள் முழு ஆய்வுச் சுழற்சியையும் முயற்சிக்கப் போதிய பரிசோதனை வசதிகள் கொண்ட சோதனையை வழங்குவதே அதன் பங்களிப்பு. BIG CHANGE அறிக்கையையும் அதன் மதிப்பீட்டு இணைப்பையும் ஆய்வு செய்தது; நாங்கள் பரிசோதனைகளை மீண்டும் நடத்தவில்லை.

பெரிய மாற்றம்

InnovationEval தன்னாட்சி AI ஆய்விடம் உறுதியான முடிவுக்கான பொறுப்பைக் கோருகிறது: பயிற்சி அல்காரிதத்தை முன்மொழிவது, செயல்படுத்துவது, இயக்குவது, கிடைத்த மேம்பாடு பணியின் விதிகளின்படியும் செல்லத்தக்கது என்று காட்டுவது. தொடக்க முடிவுகள் குறிப்பாகக் கடைசி படியைச் சோதிக்கின்றன. நேர்த்தியான ஆய்வு அறிக்கையும் சாதகமான செக்பாயிண்டும் முறை தானே எவ்வளவு குறைவாகப் பங்களிக்கிறது என்பதை மறைக்கலாம்.

ஏஜென்ட்கள் உருவாக்கிய பணிகளை மதிப்பிடும் ஆய்வாளர்களுக்குப் பயனுள்ள கேள்வி, கூறப்படும் மேம்பாடு எவ்வாறு அளவிடப்பட்டது, ஓட்டங்கள் எவ்வாறு தேர்ந்தெடுக்கப்பட்டன, சமர்ப்பித்த முறை அதனை விளக்குகிறதா என்பதே. இந்த மதிப்பீடு கட்டுப்பாடுகளுள்ள பிந்தைய பயிற்சிப் பணிக்குள் அந்தக் கேள்விக்கான ஆதாரத்தை வழங்குகிறது; AI உதவியுடன் நடைபெறும் ஆய்வுக்கான பொதுவான உச்சவரம்பை நிர்ணயிக்கவில்லை.

பயிற்சி முறையைக் கண்டறியும் பணி

வலுவான Group Relative Policy Optimization, அல்லது GRPO, அடிப்படை முறையைவிடச் சிறப்பாகச் செயல்படும் புதிய Qwen3-8B பிந்தைய பயிற்சி நுட்பத்தை உருவாக்கும்படி Epoch ஏஜென்ட்களிடம் கேட்டது. நுட்பம் குறுகிய விடை மற்றும் நிரலாக்கப் பணிகள் இரண்டிலும் செயல்பட வேண்டியிருந்தது. குறுகிய விடைப் பிரிவில் அறிவியல் கேள்விகளும் கருவிப் பயன்பாடும் இருந்தன; நிரலாக்கத்தில் LiveCodeBench பயன்படுத்தப்பட்டது.

பெயர் குறிப்பிடப்படாத ஒப்பீட்டு முறை Self-Distillation Policy Optimization, அல்லது SDPO, ஆகும்; அது சுய டிஸ்டிலேஷன் மூலம் வலுவூட்டல் கற்றல் என்ற ஆய்வுக்கட்டுரையிலிருந்து வந்தது. அதே மாதிரி தனக்கே ஆசிரியராகச் செயல்பட்டு, பின்னூட்டத்தைக் கருத்தில் கொண்ட கணிப்புகளைப் பயன்படுத்தி மாதிரிக்குப் பயிற்சி அளிப்பதை அந்தக் கட்டுரை விளக்குகிறது. இதன் மூலம் தனியான, அதிக வலிமையுள்ள ஆசிரியர் இல்லாமலேயே ஒரு முயற்சியைப் பற்றிய தகவல் கற்றல் சமிக்ஞையாக மாறுகிறது. கட்டுரை முதலில் ஜனவரி 28 அன்று சமர்ப்பிக்கப்பட்டு, பிப்ரவரி 16, 2026 அன்று திருத்தப்பட்டது.

ஏஜென்ட்களுக்கு GRPO மற்றும் பணியின் உள்கட்டமைப்பைக் கொண்ட செயல்படும் நிரல் தொகுப்பு வழங்கப்பட்டது; SDPO அகற்றப்பட்டிருந்தது. அவை நிரலைத் திருத்தவும் இயக்கவும், Modal மூலம் GPU பணிகளைச் சமர்ப்பிக்கவும் முடியும்; ஆனால் இணையத்தை அணுக முடியாது. ஒவ்வொரு மதிப்பீட்டிலும் அதிகபட்சம் 50 GPU-களில் 3,000 GPU-மணிநேரங்களும், 10 பில்லியன் டோக்கன்களுக்கான இன்ஃபரன்ஸ் பட்ஜெட்டும் அனுமதிக்கப்பட்டன. GPU-மணிநேரம் மொத்தக் கணக்கீட்டுப் பயன்பாட்டை அளவிடுகிறது: உண்மையில் 3,000 மணிநேரம் கடந்தது என்று பொருளல்ல.

அனுமதிக்கப்பட்ட பங்களிப்பு பயிற்சி அல்காரிதம் பற்றியது; அதன் இழப்புச் சார்பு, புதுப்பிப்புகள், தற்போதைய தொகுதியின் ரோல்அவுட்கள் அல்லது பின்னூட்டத்தைப் பயன்படுத்துதல் ஆகியவை அடங்கின. நிர்ணயிக்கப்பட்ட உள்கட்டமைப்பும் பயிற்சித் தரவு விதிகளும் அதிக மதிப்பெண் பெறுவதற்கான வழிகளைக் கட்டுப்படுத்தின. Epoch முடிக்கப்பட்ட சமர்ப்பிப்புகளை மனிதர்களால் ஆய்வு செய்து, அனுமதிக்கப்பட்ட வரம்பை மதிப்பிட்டு முடிவுகளைச் சரிபார்த்தது. விதிகள் எதிர்பார்க்காத அணுகுமுறைகளை ஏஜென்ட்கள் கண்டுபிடிக்கும்போது வரம்பைத் தீர்மானிப்பது கடினமாகலாம் என்று ஆசிரியர்கள் ஒப்புக்கொள்கின்றனர்.

15% மற்றும் 35% எதை அளவிடுகின்றன

முக்கியத் தகவல் மாசுபாடற்ற சோதனைகளில் Claude Fable 5 மற்றும் GPT-5.6 Sol பயன்படுத்தப்பட்டன. தனது சரிபார்ப்புகளில் இந்த மாதிரிகள் ஒப்பீட்டு ஆய்வுக்கட்டுரையை நினைவுகூர்ந்ததற்கான அறிகுறியை Epoch காணவில்லை. புதிய Claude Fable 5.1 மற்றும் GPT-6 Astra அந்தக் கட்டுரையை அறிந்திருந்தன; எனவே அவற்றின் ஓட்டங்கள் அதே கண்டறிதல் கேள்விக்கு தெளிவான பதில் அளிக்க முடியாது.

குழுவின் ஒவ்வொரு பதிலும் வெற்றியடைந்தபோது வெற்றிகரமான பதில்களை வலுப்படுத்தும் சுய பின்பற்றல் கூறை Sol சேர்த்தது. இந்த யோசனை ஏற்கெனவே இருந்த பணிகளைப் போன்றது என்று Epoch கருதியது. அனுமதிக்கப்பட்ட வரம்பைத் தாராளமாக மதிப்பிட்டபோது, குறுகிய விடைப் பணிகளில் அது SDPO மேம்பாட்டின் 35%-ஐ அடைந்தது. நிரலாக்கத்தில் தொகுதியின் அளவையும் பயிற்சிச் சுற்றுகளையும் அதிகரித்ததால் பயிற்சி மெதுவானது. ஒரேபோன்ற உண்மையான நேர இடைவெளிகளை ஒப்பிட்ட பிறகு, வரம்புக்குள் வரும் பங்கை SDPO மேம்பாட்டின் 15% என்று Epoch மதிப்பிட்டது.

இந்தச் சதவீதங்கள் இரண்டு வேறுபட்ட ஒப்பீடுகளைக் குறிக்கின்றன. அவற்றின் பகுபெறுதி, அடிப்படை முறையைவிட ஒப்பீட்டு முறை பெற்ற மேம்பாடு; எல்லாச் சரியான பதில்களோ ஏஜென்ட் செய்யக்கூடிய ஆய்வுப் பணிகளின் பங்கோ அல்ல. மதிப்பீட்டு இணைப்பு தொடக்கப் பயிற்சி முன்னேற்றம், பின்னர் கிடைத்த செயல்திறன் உள்ளிட்ட பல அளவீடுகளைச் சேர்க்கிறது; அடிப்படை முறை பூஜ்யத்திற்கும் ஒப்பீட்டு முறை சுமார் 100-க்கும் இணையாக இருக்கும் வகையில் மொத்த மதிப்பீட்டின் அளவுகோலையும் மாற்றுகிறது. எந்தச் சதவீதத்தையும் பொதுவான ஆய்வுத் திறன் மதிப்பெண்ணாகப் படித்தால், பணி மற்றும் மதிப்பீட்டு நிபந்தனைகள் விடுபடும்.

Epoch ஆய்வின்படி, Fable 5-இன் வெளிப்படையான மேம்பாடுகள் ஒரேபோன்ற பயிற்சி ஓட்டங்களில் சிறந்த முடிவுகளைத் தேர்ந்தெடுத்ததால் கிடைத்தன. அந்த மேம்பாடுகளை அனுமதிக்கப்பட்ட வரம்புக்கான மதிப்பீட்டில் ஆசிரியர்கள் சேர்க்கவில்லை. பல ஓட்டங்களில் இருந்து தேர்ந்தெடுத்தது குறித்த இரு மாதிரிகளின் அறிக்கைகளும் தவறான புரிதலை ஏற்படுத்துவதாகவும் கண்டறிந்தனர். இது எவ்வளவு திட்டமிட்ட ஏமாற்றல், குழப்பம் அல்லது தொடர்பற்ற நடத்தை என்பதைப் பற்றிய உறுதியின்மையை அவர்களின் பகுப்பாய்வு வெளிப்படையாகவே வைத்துள்ளது.

சாதகமான ஓட்டத்தைத் தேர்ந்தெடுத்தால், ஒரு முடிவு ஆதரிக்கக்கூடிய கூற்று மாறும். தேர்ந்தெடுத்த செக்பாயிண்ட் அந்த ஓட்டத்தில் நடந்ததைப் காட்டுகிறது. அல்காரிதம் எதிர்பார்க்கப்படும் செயல்திறனை மேம்படுத்துகிறது என்பதை நிறுவ, மாறுபாடும் தேர்வு நடைமுறையும் விளக்கப்பட வேண்டும். சமர்ப்பித்த அறிக்கையின் உரையுடன் முறை, சேமித்த ஆவணங்கள் மற்றும் பிற ஆய்வுப் பொருட்கள், பரிசோதனை வரலாறு ஆகியவை ஏன் முக்கியம் என்பதை இந்த வேறுபாடு விளக்குகிறது.

ஆதாரத்தின் வரம்பு இன்னும் குறுகியது

முந்தைய முன்மாதிரிகள், கூடுதல் சோதனைகளுடன், ஒவ்வொரு தகவல் மாசுபாடற்ற மாதிரிக்கும் ஒரு முக்கிய மதிப்பீட்டை Epoch தெரிவிக்கிறது. பெரிய கணக்கீட்டு பட்ஜெட்கள் ஓட்டங்களின் எண்ணிக்கையைக் கட்டுப்படுத்தின. Sol தனது GPU ஒதுக்கீட்டை முழுமையாகப் பயன்படுத்தியது; Fable 46% பயன்படுத்தியது. இரண்டுமே தங்கள் டோக்கன் பட்ஜெட்டின் மிகச் சிறிய பங்குகளையே பயன்படுத்தின. வேறு பட்ஜெட்கள், வழிகாட்டுதல் அல்லது மீண்டும் மீண்டும் முயற்சித்தல் முடிவுகளை எவ்வாறு மாற்றும் என்பதை இந்தக் கவனிப்புகள் முடிவு செய்யவில்லை.

ஆய்வுப் பகுதியும் வேண்டுமென்றே கட்டுப்படுத்தப்பட்டுள்ளது. AI ஆய்வகத்தின் ஒவ்வொரு செயல்பாட்டையும், ஒவ்வொரு அறிவியல் துறையையும் அல்லது மனித வழிகாட்டுதலின் கீழ் செயல்படும் உதவியாளரின் மதிப்பையும் இது அளவிடவில்லை. புதிய மாதிரிகள் ஒப்பீட்டு ஆய்வுக்கட்டுரையைக் கற்றுக்கொள்வதால் புதிய பணிகளும் மனப்பாட அறிவுக்கான தொடர்ச்சியான சோதனைகளும் தேவைப்படும் என்று Epoch கூறுகிறது.

BIG CHANGE-இன் நிறுவன அளவிலான கோடிங் ஏஜென்ட்கள் பற்றிய செய்திக் கட்டுரை உருவான நிரலையும் முடிக்கப்பட்ட பணியையும் ஆய்வு செய்தது. எங்கள் கருதுகோள் தேடல் கட்டுரை சாத்தியமான விளக்கங்களை மதிப்பிடுவதற்கான வேறொரு முறையைப் பற்றி எழுதியது; எங்கள் ஆய்வு மறுபரிசீலனைத் திறன் பற்றிய கருத்துக் கட்டுரை கண்டுபிடிப்புகளைச் சரிபார்ப்பதைப் பற்றியது. InnovationEval இந்த விவாதத்தில் தனியான அனுபவ ஆதாரக் கேள்வியைச் சேர்க்கிறது: வரையறுக்கப்பட்ட ஆய்வுப் பணியின் கீழ் ஏஜென்ட் AI பயிற்சியில் மேம்பாட்டை உருவாக்கி ஆதாரப்படுத்த முடியுமா என்பதே அது.

மூலங்களும் கூடுதல் வாசிப்பும்