सर्च इंजिनला कॉल करणाऱ्या एजंटला क्वेरी मजकुरात मांडावी लागते आणि निकाल वाचावा लागतो. त्याचा अंतर्गत तर्क त्याच स्वरूपात असण्याची गरज नाही. 13 ऑक्टोबरच्या प्रीप्रिंटमध्ये, Stanford, University of Illinois Urbana-Champaign, Together AI आणि Meta येथील संशोधक HybridAgent चे वर्णन करतात. ही प्रणाली सलग-मूल्यांच्या अंतर्गत स्थिती आणि टूल कॉल, निरीक्षणे व उत्तरे यांसाठीचा मजकूर यांत आलटूनपालटून काम करते. त्यांनी संशोधनाचा कोड आणि एजंटसाठीचे दोन चेकपॉइंट्स प्रसिद्ध केले आहेत. नोंदवलेली कामगिरी व कार्यक्षमता ही लेखकांच्या प्रयोगांतील आहे; स्वतंत्र पुनरावृत्तीची किंवा प्रत्यक्ष चालू सेवेची नाही.
मोठा बदल
- काय बदलले: HybridAgent भाषिक मॉडेलच्या एजंटला एकाच कामात अंतर्गत सलग-मूल्यांच्या स्थितीचे टप्पे आणि सामान्य मजकूर यांत बदल करण्याचा मार्ग देतो. शोध, Python आणि अंतिम उत्तरासाठी मजकूरच इंटरफेस राहतो.
- हे महत्त्वाचे का: एजंटचा अभ्यास करणारे विकसक प्रत्येक मधला टप्पा लिहून काढावा लागतो का, हे तपासू शकतात. लेखकांच्या समान अटींतील प्रयोगांनुसार त्यांच्या पद्धतीला निर्मितीचे कमी टप्पे लागू शकतात; सार्वजनिक कोडमुळे अंमलबजावणी तपासता येते. यापैकी कशानेही चालू सेवेचे बिल कमी होईल हे सिद्ध होत नाही.
- कशाकडे लक्ष द्यावे: प्रसिद्ध चेकपॉइंट्स वापरून स्वतंत्र प्रयोग केल्यास मोजलेला फायदा वेगळी कामे व साधनांचे खर्च असतानाही टिकतो का, हे तपासता येईल. लॅटंट स्थितीतून परत मिळवलेले वाचनीय शब्द उत्तर कसे आले याचे प्रामाणिक वर्णन करतात का, हा अधिक कठीण तपासणीचा प्रश्न आहे.
बदल कसा होतो
सामान्य मजकूर मोडमध्ये मॉडेल टोकन निर्माण करते. ते विशेष <latent> टोकन दिल्यावर HybridLink नावाचा छोटा घटक मॉडेलची शेवटची लपलेली स्थिती पुन्हा त्याच्या इनपुट अवकाशात मॅप करतो. प्रणाली परिणामी सलग-मूल्यांचा व्हेक्टर आधी शब्दात न बदलता पुढील टप्प्यात देते. सर्वांत जवळच्या टोकनशी तुलना केल्यावर </latent> मार्कर ओळखला की ती पुन्हा मजकूर मोडमध्ये येते. मग मॉडेल टूल कॉल किंवा उत्तर लिहू शकते. पुढील संवादफेऱ्यांत मजकूर, लॅटंट टप्पे आणि साधनांची निरीक्षणे नेणाऱ्या टिकाऊ की-व्हॅल्यू कॅशचे वर्णन लेखात आहे. आर्किटेक्चर आणि बदलाचे नियम प्रीप्रिंटच्या विभाग 3 आणि 4 मध्ये आहेत.
यासाठी पूर्वप्रशिक्षित मॉडेलला अ‍ॅडॅप्टर जोडण्यापेक्षा अधिक काम लागते. लेखक आधी मजकुरी प्रात्यक्षिकांना मजकूर आणि लॅटंट स्थितींच्या मिश्र प्रशिक्षण क्रमांत रूपांतरित करतात. मग मुख्य मॉडेल व HybridLink यांना एकत्र काम शिकवण्यासाठी पर्यवेक्षित प्रशिक्षण वापरतात. त्यानंतर रीइन्फोर्समेंट लर्निंगमध्ये एजंटला तर्क आणि शोधाची कामे शिकवली जातात. त्या टप्प्यात लेखक नमुना घेतलेल्या मजकूर स्थानांवरील संभाव्यता बदलतात आणि नोंदवलेले लॅटंट इनपुट पुन्हा वापरतात. लेखानुसार प्रशिक्षण डेटात 54,000 रूपांतरित प्रात्यक्षिके आहेत; त्यानंतर खोल तर्काची 12,000 आणि एजंट-आधारित शोधाची 1,000 उदाहरणे असलेले स्वतंत्र संच आहेत. प्रशिक्षण आणि डेटाचे तपशील.
बेंचमार्कमध्ये काय मोजले
मुख्य मूल्यमापन Qwen3-Base वर आधारित 8B आणि 14B आवृत्त्या 11 बेंचमार्कवर तपासते. सहा चाचण्या गणित, विज्ञान किंवा वैद्यकीय ज्ञान आणि अनेक टप्प्यांचे प्रश्न हाताळतात; पाच शोध व एजंटची कामे यांवर भर देतात. वेगळ्या परिशिष्टात 4B आवृत्ती AIME25, AIME26, MATH500 आणि GPQA-Diamond या चार बेंचमार्कवर तपासली आहे. लेखक त्याच मुख्य मॉडेल व प्रशिक्षण डेटावर मजकुरातून प्रशिक्षित एजंट, लॅटंट तर्कपद्धती, आघाडीचे एजंट आणि टूल-वापर फ्रेमवर्क यांच्याशी तुलना करतात. या गटांचे तुलना-उद्देश वेगवेगळे आहेत. उदाहरणार्थ, समान अटींच्या 14B रीइन्फोर्समेंट लर्निंग तुलनेत HybridAgent ला MATH500 वर 88.2%, तर ARPO ने प्रशिक्षित मजकुरी एजंटला 87.0% मिळतात. GAIA सरासरीत लेख HybridAgent 14B साठी 52.4% आणि त्या ARPO आधाररेषेसाठी 43.7% नोंदवतो. हे लेखकांच्या मांडणीतील बेंचमार्क निकाल आहेत; प्रत्यक्ष वापरातील एजंटचे सार्वत्रिक क्रमांकन नाही. मुख्य तक्ते, 4B परिशिष्ट आणि आधाररेषांच्या व्याख्या.
मांडणी महत्त्वाची आहे. गणिताच्या मूल्यमापनासाठी लेख खोल तर्काचे प्रशिक्षण घेतलेले चेकपॉइंट्स वापरतो; ज्ञान आणि एजंटच्या मूल्यमापनासाठी एजंट-आधारित शोधाचे प्रशिक्षण घेतलेले चेकपॉइंट्स वापरतो. इन्फरन्समध्ये temperature 0.6, top-p 0.95 आणि top-k 20 वापरल्याचे व बजेटमध्ये मजकूर टोकन आणि लॅटंट टप्पे दोन्ही मोजल्याचे तो सांगतो. गणित व ज्ञानासाठी 4,096 टप्पे, तर कठीण एजंट कामांसाठी 24,000 टप्पे परवानगीचे होते. लॅटंट भाग किमान 16 आणि कमाल 256 टप्प्यांचे होते; प्रक्रियापथांना टूल कॉलच्या मर्यादा होत्या. साधने म्हणजे सँडबॉक्समधील Python इंटरप्रिटर व थेट शोध; शोधपानांचे सारांश आणि आउटपुटचे मूल्यमापन करण्यासाठीही मॉडेल वापरले. लेखक 32 H100 GPU वर प्रशिक्षण व इन्फरन्स झाल्याचे नोंदवतात. वेगळी साधनसेवा, शोधपरिणाम किंवा कार्यस्थितीमुळे तुलना बदलू शकते. प्रयोगाची मांडणी.
सारांशातील कामगिरीत 10.4% सुधारणा ही समान मॉडेल आकार आणि प्रशिक्षण बजेट असताना रीइन्फोर्समेंट लर्निंगच्या टप्प्यावर संबंधित मजकुरी व लॅटंट आधाररेषांशी केलेली तुलना आहे. प्रत्येक आघाडीच्या एजंटपेक्षा सार्वत्रिक सुधारणा असा तिचा अर्थ घेऊ नये. मुख्य एजंट कामांच्या तक्त्यासाठी लेख पाच स्वतंत्र प्रयोगांचे निकालही देतो, ज्यात अचूकतेचे सरासरी मानक विचलन 0.014 आहे. निकाल आणि तक्त्याचे स्पष्टीकरण.
कार्यक्षमतेच्या दाव्याच्या गणनेची व्याप्ती अधिक अरुंद
मजकूर-आधारित आधाररेषांच्या तुलनेत 2.7 पट कमी मजकूर टोकन आणि एकूण निर्मिती टप्प्यांत कमाल 54% घट झाल्याचे लेख सांगतो. सारांशात इन्फरन्स वेग 1.8 ते 2.6 पट आणि अंदाजित खर्च 2.7 ते 3.7 पट कमी असल्याचे आहे. लॅटंट टप्प्यांनाही मॉडेलची गणना लागते. लेखकांचा खर्चतक्ता प्रत्येक मजकुरी किंवा लॅटंट टप्प्यासाठी मुख्य मॉडेलच्या पूर्ण फॉरवर्ड पासची गणना करतो. H100 चा ताशी 2.50 डॉलर दर आणि कमाल BF16 थ्रूपुटच्या 10% कामगिरीचा आधार घेऊन दहा लाख उत्तरांचा खर्च मोजतो. 8B मुख्य मॉडेलसाठी गणना प्रत्येक प्रश्नामागे 62.5 वरून 17.2 ट्रिलियन फ्लोटिंग-पॉइंट क्रिया आणि दहा लाख प्रश्नांमागे 439 वरून 121 डॉलर इतकी होते. कार्यक्षमता विभाग आणि खर्चतक्ता.
त्याच परिशिष्टात प्रॉम्प्टची प्रक्रिया, संदर्भानुसार बदलणारा अटेन्शनचा खर्च आणि बाह्य साधनांची अंमलबजावणी स्पष्टपणे वगळली आहे. म्हणून शोध कॉल, होस्टिंग आणि इतर सेवेचे खर्च त्या डॉलरमधील तुलनेत नाहीत. लेखकांनी मोजलेल्या निर्मितीमार्गांबद्दल आणि सांगितलेल्या गणनामॉडेलबद्दल हे आकडे उपयुक्त पुरावा देतात; मात्र पूर्ण एजंट सेवा चालवण्याचा खर्च ते ठरवत नाहीत.
वाचनीय लॅटंट भागांचीही छाननी गरजेची
HybridAgent प्रत्येक लॅटंट टप्पा सर्वांत जवळच्या टोकन एम्बेडिंगशी मॅप करून छद्ममजकूर दाखवू शकतो. रिपॉझिटरीतील उदाहरण असे वाचन प्रत्यक्ष शोध व Python कॉलसोबत दाखवते. लेखातील वेगळ्या प्रयोगात लॅटंट व्हेक्टर बदलल्यास किंवा त्यांच्या जागी दुसरे वापरल्यास MATH500 अचूकता कमी होते. यामुळे त्या स्थिती उत्तरावर परिणाम करतात या दाव्याला आधार मिळतो. सर्वांत जवळचे शब्द गणनेचे पूर्ण किंवा प्रामाणिक वर्णन करतात, हे त्यातून सिद्ध होत नाही. लॅटंट हस्तक्षेपांचा तक्ता.
लेखक 560 गणिती प्रश्नांवर दिसणारा मजकूर बाह्य निरीक्षणासाठी किती उपयुक्त आहे हेही तपासतात. तक्त्यात समान अटींच्या मजकुरी एजंटपेक्षा HybridAgent चे दृश्यमान मजकूर टोकन कमी आहेत, तसेच मॉडेलने ठरवलेल्या निरीक्षण व डीबगिंगच्या अनेक मापांची नोंद आहे. काही मापे सुधारतात; 14B मधील प्रबळ निरीक्षकाचा AUROC HybridAgent साठी 0.989 आणि मजकुरी एजंटसाठी 0.990 आहे. या चाचण्या ठरावीक निरीक्षक आणि कामांचे मूल्यमापन करतात. विशेषतः लपलेल्या लॅटंट भागांसाठी त्या सार्वत्रिक पारदर्शकता किंवा सुरक्षितता सिद्ध करू शकत नाहीत. लेखापरीक्षणक्षमतेचा प्रयोग.
आता काय उपलब्ध आहे
या MIT परवान्याच्या रिपॉझिटरीमध्ये हायब्रिड निर्मिती इंजिन, Python व शोधाची साधने, पर्यवेक्षित व रीइन्फोर्समेंट लर्निंग प्रक्रिया, बॅच इन्फरन्स आणि छद्ममजकूर निरीक्षक यांचा समावेश आहे. लेखक सार्वजनिक 8B आणि 14B एजंटसाठीचे चेकपॉइंट्स, तसेच प्रशिक्षण डेटासेटच्या लिंक देतात. लेखातील गणिताचे मूल्यमापन वेगळे प्रशिक्षण दिलेल्या खोल तर्काच्या चेकपॉइंट्सवर होते; README मधील प्रसिद्ध मॉडेलच्या यादीत दोन एजंट चेकपॉइंट्स दिलेले आहेत. प्रत्येक सार्वजनिक चेकपॉइंटमध्ये मुख्य मॉडेल आणि HybridLink चे वेट्स आहेत. मॉडेल कार्डनुसार केवळ Transformers मधून मुख्य मॉडेल लोड केल्यास फक्त मजकुरी मॉडेल मिळते; लॅटंट निर्मिती आणि साधनांच्या वापरासाठी प्रकल्पाचा कोड आवश्यक आहे.
README पर्यवेक्षित प्रशिक्षणासाठी 8 किंवा 16 GPU आणि एजंट-आधारित शोधाच्या रीइन्फोर्समेंट लर्निंग लाँचरसाठी चार नोडमध्ये 32 GPU सुचवतो. स्थापनेच्या सूचनांत शोध API कीचा समावेश आहे. दस्तऐवजीकृत संशोधन प्रक्रिया वापरणाऱ्यांसाठी या महत्त्वाच्या गरजा आहेत. BIG CHANGE ने लेख, रिपॉझिटरी आणि मॉडेल कार्ड तपासले आहेत; कोड चालवलेला नाही, चेकपॉइंट्स डाउनलोड केलेले नाहीत किंवा बेंचमार्कची पुनरावृत्ती केलेली नाही.
