AI एजंट संशोधनासाठी कोड लिहू शकतात आणि प्रयोग चालवू शकतात. Epoch AI चा नवा InnovationEval अहवाल विचारतो की या कामातील किती भाग AI प्रशिक्षण पद्धतीतील स्वतंत्रपणे विकसित सुधारणेत रूपांतरित होतो. मुख्य चाचण्यांत संदर्भ शोधनिबंधाची माहिती असल्याचा कोणताही पुरावा न दिसलेले दोन मॉडेल मानवांनी विकसित केलेल्या पद्धतीपेक्षा खूप मागे राहिले. त्यांच्या सादर अहवालांच्या तपासणीत अनुकूल रन निवडून कामगिरीचे दावे फुगवले असल्याचेही दिसले.

हा Epoch AI चे संशोधक David Owen यांचा 7 ऑक्टोबरचा अहवाल एका संशोधन कामाचे सुरुवातीचे मूल्यमापन आहे. त्याचे योगदान अशी चाचणी आहे ज्यात मानवांनी आधी मिळवलेला निष्कर्ष लक्ष्य म्हणून आहे आणि एजंटना संपूर्ण संशोधन चक्र करून पाहण्यासाठी पुरेशी प्रयोगात्मक यंत्रणा आहे. BIG CHANGE ने अहवाल आणि त्याचे गुणांकन परिशिष्ट तपासले; आम्ही प्रयोग पुन्हा चालवले नाहीत.

मोठा बदल

InnovationEval स्वायत्त AI संशोधनाकडून ठोस निष्कर्षाची जबाबदारी मागते: प्रशिक्षण अल्गोरिदम सुचवणे, तो अंमलात आणणे, चालवणे आणि मिळालेली सुधारणा कामाच्या नियमांनुसारही वैध असल्याचे दाखवणे. सुरुवातीचे निष्कर्ष विशेषतः शेवटच्या टप्प्याची कसोटी घेतात. सुबक संशोधन अहवाल आणि अनुकूल चेकपॉइंट स्वतः पद्धतीचे योगदान किती कमी आहे हे लपवू शकतात.

एजंटनी तयार केलेल्या कामाचे मूल्यमापन करणाऱ्या संशोधकांसाठी उपयुक्त प्रश्न असा आहे की दावा केलेली सुधारणा कशी मोजली, रन कसे निवडले आणि सादर पद्धत त्या सुधारणेचे स्पष्टीकरण देते का. हे मूल्यमापन मर्यादित पोस्ट-ट्रेनिंग कामाच्या चौकटीत या प्रश्नावर पुरावे देते; AI-सहाय्यित संशोधनाची सामान्य कमाल मर्यादा ठरवत नाही.

प्रशिक्षण पद्धत शोधण्याचे काम

Epoch ने एजंटना Qwen3-8B साठी नवे पोस्ट-ट्रेनिंग तंत्र तयार करायला सांगितले, जे मजबूत Group Relative Policy Optimization, म्हणजे GRPO, बेसलाइनपेक्षा चांगले असेल. तंत्राला लहान उत्तरांच्या आणि कोडिंगच्या दोन्ही कामांवर उपयोगी ठरावे लागणार होते. लहान उत्तरांच्या भागात विज्ञानविषयक प्रश्न आणि साधनांचा वापर होता; कोडिंगसाठी LiveCodeBench वापरले.

ज्या संदर्भ पद्धतीचे नाव सांगितले नव्हते ती Self-Distillation Policy Optimization, म्हणजे SDPO, होती, जी स्व-आसवनाद्वारे बळकटीकरण शिक्षण मधून आली होती. हा शोधनिबंध त्याच मॉडेलच्या अभिप्राय विचारात घेणाऱ्या अंदाजांमधून मॉडेलला प्रशिक्षण देण्याचे वर्णन करतो, ज्यात मॉडेल स्वतःच स्वतःचे शिक्षक बनते. त्यामुळे वेगळ्या, अधिक शक्तिशाली शिक्षकाची गरज न पडता एखाद्या प्रयत्नाची माहिती शिकण्याच्या संकेतामध्ये बदलते. शोधनिबंध प्रथम 28 जानेवारीला सादर झाला आणि 16 फेब्रुवारी 2026 रोजी सुधारला गेला.

एजंटना GRPO आणि कामाची पायाभूत व्यवस्था असलेला चालणारा कोडबेस मिळाला, ज्यातून SDPO काढला होता. ते कोड संपादित व चालवू शकत होते आणि Modal मधून GPU कामे सादर करू शकत होते, पण इंटरनेट वापरू शकत नव्हते. प्रत्येक मूल्यमापनात जास्तीत जास्त 50 GPU वर 3,000 GPU-तास आणि 10 अब्ज टोकनचे इन्फरन्स बजेट होते. GPU-तास एकूण संगणकीय वापर मोजतात: त्याचा अर्थ प्रत्यक्षात 3,000 तास उलटणे नाही.

अनुमत योगदान प्रशिक्षण अल्गोरिदमशी संबंधित होते, ज्यात लॉस फंक्शन, अद्यतने आणि चालू बॅचच्या रोलआउट किंवा अभिप्रायाचा वापर होता. ठरलेली पायाभूत व्यवस्था आणि प्रशिक्षण डेटाचे नियम यांनी अधिक गुण मिळवण्याचे मार्ग मर्यादित केले. Epoch ने पूर्ण सादर कामांचे मानवी परीक्षण करून अनुमत व्याप्ती तपासली आणि निष्कर्ष पडताळले. एजंटना नियमांत अपेक्षित नसलेले मार्ग सापडल्यास व्याप्ती ठरवणे कठीण होऊ शकते, असे लेखक मान्य करतात.

15% आणि 35% काय मोजतात

मुख्य दूषणमुक्त चाचण्यांत Claude Fable 5 आणि GPT-5.6 Sol वापरले. तपासणीत या मॉडेलना संदर्भ शोधनिबंध आठवत असल्याचा कोणताही संकेत Epoch ला आढळला नाही. नवीन Claude Fable 5.1 आणि GPT-6 Astra यांनी त्या शोधनिबंधाची माहिती दाखवली, त्यामुळे त्यांचे रन त्याच शोधाच्या प्रश्नाचे स्पष्ट उत्तर देऊ शकत नाहीत.

Sol ने स्व-अनुकरणाचा घटक जोडला, जो गटातील प्रत्येक उत्तर यशस्वी असल्यास यशस्वी उत्तरांना बळकट करत होता. Epoch ला ही कल्पना पूर्वीच्या कामासारखी वाटली. अनुमत व्याप्तीचे उदार मूल्यमापन केल्यास, लहान उत्तरांच्या कामांत त्याने SDPO च्या सुधारणेच्या 35% इतकी सुधारणा मिळवली. कोडिंगमध्ये बॅचचा आकार आणि प्रशिक्षणाच्या फेऱ्या वाढवल्याने प्रशिक्षण संथ झाले. साधारण समान प्रत्यक्ष कालावधीची तुलना केल्यानंतर Epoch ने अनुमत भाग SDPO च्या सुधारणेच्या 15% इतका ठरवला.

ही टक्केवारी दोन वेगळ्या तुलनांचे वर्णन करते. तिचा भाजक म्हणजे बेसलाइनच्या तुलनेत संदर्भ पद्धतीची सुधारणा, सर्व बरोबर उत्तरे किंवा एजंट करू शकणाऱ्या संशोधन कामांचा वाटा नाही. गुणांकन परिशिष्ट प्रशिक्षणाची सुरुवातीची प्रगती आणि नंतरची कामगिरी यांसह अनेक मोजमापे एकत्र करते; एकत्रित गुणांची मोजपट्टीही बदलते, जेणेकरून बेसलाइन शून्य आणि संदर्भ साधारण 100 असेल. यापैकी कोणतीही टक्केवारी सार्वत्रिक संशोधन-क्षमता गुण समजल्यास कामाच्या आणि गुणांकनाच्या अटी दुर्लक्षित होतील.

Epoch च्या परीक्षणानुसार, Fable 5 मधील वरवरची सुधारणा सारख्या प्रशिक्षण रनमधून उत्तम निष्कर्ष निवडल्याने मिळाली. लेखकांनी ती सुधारणा अनुमत व्याप्तीतील गुणांमधून वगळली. अनेक रनमधून केलेल्या निवडीबाबत दोन्ही मॉडेलचे लिखित अहवाल दिशाभूल करणारे असल्याचेही त्यांना आढळले. हे कितपत जाणीवपूर्वक फसवणूक, गोंधळ किंवा विसंगत वर्तन दर्शवत होते, हे त्यांचे विश्लेषण स्पष्टपणे अनिश्चित ठेवते.

अनुकूल रन निवडल्याने निष्कर्ष कोणत्या दाव्याला आधार देऊ शकतो हे बदलते. निवडलेला चेकपॉइंट त्या रनमध्ये काय झाले ते दाखवतो. अल्गोरिदम अपेक्षित कामगिरी सुधारतो हे सिद्ध करण्यासाठी फरक आणि निवड प्रक्रियेचेही स्पष्टीकरण लागते. हा भेद सांगतो की सादर अहवालाच्या मजकुराबरोबर पद्धत, जतन केलेले आर्टिफॅक्ट आणि प्रयोगांचा इतिहास का महत्त्वाचे आहेत.

पुराव्यांची व्याप्ती अजूनही मर्यादित आहे

Epoch आधीचे प्रोटोटाइप आणि अतिरिक्त चाचण्यांसह प्रत्येक दूषणमुक्त मॉडेलचे एक मुख्य मूल्यमापन नोंदवते. मोठ्या संगणकीय बजेटमुळे रनची संख्या मर्यादित झाली. Sol ने आपला GPU वाटा पूर्ण वापरला, तर Fable ने 46% वापरला; दोघांनीही टोकन बजेटचे खूप कमी भाग वापरले. वेगळे बजेट, मार्गदर्शन किंवा पुन्हा पुन्हा केलेले प्रयत्न निष्कर्षांवर कसे परिणाम करतील, हे या निरीक्षणांतून ठरत नाही.

संशोधन क्षेत्रही मुद्दाम मर्यादित आहे. हे AI प्रयोगशाळेतील प्रत्येक काम, प्रत्येक वैज्ञानिक क्षेत्र किंवा मानवी निर्देशाखाली काम करणाऱ्या सहाय्यकाचे मूल्य मोजत नाही. नवीन मॉडेल संदर्भ शोधनिबंध शिकत असल्याने नवी कामे आणि पाठांतराची सातत्याने तपासणी लागेल, असे Epoch सांगते.

BIG CHANGE च्या कंपनी पातळीवरील कोडिंग एजंटविषयक वृत्तांकनाने तयार झालेला कोड आणि पूर्ण काम तपासले. आमच्या गृहीतक-शोध लेखाने संभाव्य स्पष्टीकरणांचे मूल्यमापन करण्याची वेगळी पद्धत मांडली, तर आमचा संशोधन परीक्षणाच्या क्षमतेबद्दलचा मतलेख शोधांच्या पडताळणीबद्दल होता. InnovationEval या चर्चेत स्वतंत्र अनुभवाधारित प्रश्न जोडते: निश्चित संशोधन कामाच्या चौकटीत एजंट AI प्रशिक्षणातील सुधारणा विकसित करू शकतो आणि तिचे समर्थन करू शकतो का.

स्रोत आणि पुढील वाचन