Jev वरील नवा अभ्यास त्या प्रश्नाला पुढे नेतो, जो सप्टेंबरमधील त्याच्या सादरीकरणावरील BIG CHANGE च्या वृत्तांकनानेउघडा ठेवला होता: अधिक जलद आणि स्वस्त कृती-निवडीमुळे संपूर्ण काम सुधारते का? 4,500 अंमलबजावण्यांमध्ये संशोधकांना प्रत्येक तपासलेल्या एजंटमध्ये कृती-निवड स्वस्त आढळली. दोन मोबाइल-एजंट इंटिग्रेशनमध्ये कामांची पूर्तता इतकी घटली की दिलेल्या परिणामाची अर्थव्यवस्था बदलली.

हा 9 ऑक्टोबरचा प्रीप्रिंट लेखकांनी नोंदवलेला प्रयोग आहे; स्वतंत्र पुनरावृत्ती किंवा BIG CHANGE ची चाचणी नाही. पाच एजंट कुटुंबांनी मजकूराद्वारे निरीक्षण करता येणाऱ्या दोन वातावरणांत काम केले: ALFWorld मधील घरगुती कामे आणि AndroidWorld मधील मोबाइल अॅप कामे. निश्चित कार्य-नमुन्यांवर संशोधकांनी प्रत्येक कॉन्फिगरेशन तीनदा चालवले. इतर मॉडेल कॉल आणि वातावरणाशी संवादासह प्रत्येक एजंटचा आजूबाजूचा workflow कायम ठेवून त्यांनी कृती-निवडीची पायरी Jev ने बदलली.

कामांची पूर्तता कुठे बदलली

ALFWorld मध्ये Jev प्रकार मूळ कॉन्फिगरेशनच्या जवळ राहिले. Jev सह ReAct ने 96.02% कामे पूर्ण केली; त्याची आधाररेषा 97.51% होती. Reflexion ने 98.01% पूर्ण केली; आधाररेषा 99.75% होती. संशोधकांनी असे नियंत्रणही तपासले ज्याला Jev प्रमाणेच उमेदवार कृती मिळाल्या, पण त्यांतून निवडण्यासाठी सामान्य LLM वापरले. हे महत्त्वाचे आहे कारण एजंटला उमेदवारांची यादी दिल्याने इंटरफेस आणि निर्णय मॉडेल दोन्ही बदलतात.

मोबाइलचे निकाल कमी एकसमान होते. Jev सह T3A चा पूर्तता दर 57.47% वरून 44.25% झाला, म्हणजे 13.22 टक्के-बिंदूंचा फरक. FastAgent 50.00% वरून 31.90% झाला, म्हणजे 18.10-बिंदूंचा फरक. दोन्ही फरकांसाठी पेपरमधील कार्य-क्लस्टर bootstrap अंतराले पूर्णपणे शून्याखाली होते. AutoDroid 18.68% वरून 16.38% झाला, पण त्याच्या अंतरालात शून्य समाविष्ट होते; दोन्ही आवृत्त्यांनी पाचपैकी एकापेक्षा कमी कामे पूर्ण केली. हे तपासलेल्या इंटिग्रेशनचे निकाल आहेत, प्रत्येक मोबाइल एजंटचे अंदाज नाहीत.

स्वस्त प्रयत्न प्रति यश अधिक महाग पडू शकतो

पाचही कुटुंबांमध्ये Jev ने कृती-निवडीचा सरासरी खर्च 66.1% ते 78.4% आणि निर्णय वेळ 73.9% ते 81.5% कमी केला. निरीक्षित प्रत्येक कुटुंबात एकूण कार्याचा सरासरी खर्चही कमी झाला, पण कमी प्रमाणात. अधिक विचारप्रक्रिया, अधिक कृती आणि वातावरणाशी संवादाचा वेळ यांनी स्थानिक बचतीचा काही भाग भरून काढला.

प्रयत्नासाठी पैसे देणे आणि परिणामासाठी पैसे देणे यातला फरक T3A सर्वाधिक स्पष्ट दाखवतो. प्रत्येक कामाच्या प्रयत्नामागील त्याचा सरासरी inference खर्च 17.1% कमी झाला. परंतु संशोधकांनी सर्व प्रयत्नांचा, अपयशांसह, खर्च पूर्ण झालेल्या कामांच्या संख्येने भागल्यावर प्रति यश सरासरी डॉलरचा 68.70 हजारावा भाग ते 73.97 हजारावा भाग झाली. या 7.7% वाढीचे अनिश्चितता अंतराल शून्याला छेदते; त्यामुळे अभ्यास अचूक अंतर्निहित वाढ सिद्ध करत नाही. मात्र या मांडणीत प्रति प्रयत्न कमी खर्च केल्याने निरीक्षित वितरण-खर्च कमी होईल याची हमी मिळाली नाही, हे तो दाखवतो.

निर्णय खूप जलद झाले तरी FastAgent चा सरासरी कार्यकाल जवळजवळ बदलला नाही. कमी कामे पूर्ण झाल्याने प्रति वितरित यशाचा वेळ 239.4 वरून 377.8 सेकंद झाला. Jev आवृत्तीने 44.1% अधिक निर्णय घेतले आणि आधाररेषेच्या उलट प्रत्येक टप्प्यावर एक tool चालवले. हा डिझाइन फरक तपासलेल्या इंटिग्रेशनचा भाग आहे आणि फरकापैकी किती Jev मुळे आहे हे ठरवण्यावर मर्यादा आणतो.

चुकीच्या निवडीनंतर काय घडले हे समजण्यासाठी लेखकांनी निवडक traces तपासले. एका मोबाइल कामात Jev आवृत्तीने अस्पष्ट लेबल असलेला Wi-Fi switch निवडला आणि उद्दिष्ट पूर्ण होण्याआधीच काम पूर्ण झाल्याचे घोषित केले. Reflexion च्या ALFWorld रनमध्ये पहिल्या प्रयत्नांत Jev आधाररेषेपेक्षा अधिक यशस्वी झाला, पण सुरुवातीचे अपयश कमी वेळा सुधारले: 19 पैकी 11, तर आधाररेषा 26 पैकी 25 होती. हे अंश वेगवेगळ्या अपयशी प्रयत्नांच्या संचांबद्दल आहेत. पहिल्या निर्णयाच्या किमतीपलीकडे एजंटची चूक ओळखून दुरुस्त करण्याची क्षमता का महत्त्वाची आहे हे ते दाखवतात.

मोठा बदल

कृती-निवड हे कामाचे मुख्य अंग असताना आणि पूर्तता जास्त राहिल्यावर Jev ची नोंदवलेली निर्णय-बचत संपूर्ण कामाच्या पातळीवर सर्वात स्पष्ट टिकली. वितरित यशामागे ReAct स्वस्त आणि जलद होते. मोबाइल इंटिग्रेशनमध्ये इतर कॉल, वातावरणातील वेळ आणि कमी पूर्ततेने काही लाभ कमी केला किंवा उलटवला. निर्मात्यांसाठी पेपर एक ठोस मोजमाप सुचवतो: सर्व प्रयत्नांत पूर्ण झालेली कामे आणि संसाधने तुलना करा, मग पुनर्प्राप्ती आणि थांबण्याचे निर्णय तपासा. प्रति-कॉल किंमत किंवा latency वरून workflow ने अधिक उपयुक्त काम दिले का हे कळत नाही.

अभ्यासात मजकूर निरीक्षणे, मर्यादित कृती-निवडी, निश्चित कार्य-नमुने आणि एकच seed वापरून तीन पुनरावृत्ती होत्या. खर्चाच्या आकड्यांत नमूद मॉडेल किमती आणि लेखकांचे स्वतःचे हिशेब नियम वापरले. दृश्य माहितीवर आधारित एजंट, दीर्घ workflow आणि नवीन कार्य-वितरण या पुराव्यात समाविष्ट नाहीत. पेपर एजंट workflow मध्ये Jev चे मूल्यांकन करतो; तो SubQ Snap ची चाचणी किंवा पडताळणी करत नाही.

स्रोत आणि पुढील वाचन