Jev पर नया अध्ययन उस प्रश्न को आगे बढ़ाता है जिसे सितंबर में इसके लॉन्च पर BIG CHANGE की कवरेजने खुला छोड़ दिया था: क्या तेज़ और सस्ते कार्रवाई-विकल्प पूरे काम को बेहतर बनाते हैं? 4,500 निष्पादनों में शोधकर्ताओं को हर परीक्षण किए गए एजेंट में सस्ता कार्रवाई-चयन मिला। दो मोबाइल-एजेंट इंटीग्रेशन में कार्य-समापन इतना घटा कि दिए गए परिणाम की अर्थव्यवस्था बदल गई।

यह 9 अक्टूबर का प्रीप्रिंट लेखकों द्वारा रिपोर्ट किया गया प्रयोग है, न कि स्वतंत्र पुनरावृत्ति या BIG CHANGE का परीक्षण। पाँच एजेंट परिवारों ने पाठ से देखे जा सकने वाले दो परिवेशों में काम किया: ALFWorld के घरेलू कार्य और AndroidWorld के मोबाइल ऐप कार्य। शोधकर्ताओं ने निश्चित कार्य-उदाहरणों पर प्रत्येक कॉन्फ़िगरेशन को तीन बार चलाया। उन्होंने हर एजेंट का आसपास का कार्यप्रवाह, जिसमें अन्य मॉडल कॉल और परिवेश से संपर्क शामिल थे, बनाए रखते हुए कार्रवाई-चयन चरण को Jev से बदला।

जहाँ समापन बदला

ALFWorld में Jev वाले रूप अपने मूल कॉन्फ़िगरेशन के करीब रहे। Jev के साथ ReAct ने 96.02% कार्य पूरे किए, जबकि उसका आधार 97.51% था; Reflexion ने 98.01% पूरे किए, जबकि आधार 99.75% था। शोधकर्ताओं ने ऐसा नियंत्रण भी परखा जिसे Jev जैसी ही उम्मीदवार कार्रवाइयाँ मिलीं, लेकिन उनमें से चुनने के लिए सामान्य LLM इस्तेमाल हुआ। यह महत्वपूर्ण है क्योंकि एजेंट को उम्मीदवारों की सूची देना इंटरफ़ेस के साथ निर्णय मॉडल भी बदलता है।

मोबाइल परिणाम कम समान थे। Jev के साथ T3A की समापन दर 57.47% से घटकर 44.25% हुई, यानी 13.22 प्रतिशत-अंक का अंतर। FastAgent 50.00% से 31.90% पर आया, 18.10 अंक का अंतर। दोनों अंतरों के लिए पेपर के task-cluster bootstrap अंतराल पूरी तरह शून्य से नीचे थे। AutoDroid 18.68% से घटकर 16.38% हुआ, लेकिन उसका अंतराल शून्य को शामिल करता था; दोनों रूपों ने पाँच में से एक से कम कार्य पूरे किए। ये परीक्षण किए गए इंटीग्रेशन के परिणाम हैं, हर मोबाइल एजेंट के अनुमान नहीं।

सस्ता प्रयास प्रति सफलता अधिक महँगा पड़ सकता है

पाँच परिवारों में Jev ने कार्रवाई-चयन की औसत लागत 66.1% से 78.4% और निर्णय समय 73.9% से 81.5% घटाया। देखे गए हर परिवार में कुल कार्य की औसत लागत भी घटी, हालांकि कम मात्रा में। अतिरिक्त तर्क, अधिक कार्रवाइयों और परिवेश के साथ बातचीत में लगे समय ने स्थानीय बचत का कुछ हिस्सा खा लिया।

प्रयास के लिए भुगतान और परिणाम के लिए भुगतान का अंतर T3A में सबसे स्पष्ट है। प्रति कार्य-प्रयास इसकी औसत inference लागत 17.1% घटी। लेकिन जब शोधकर्ताओं ने सभी प्रयासों की लागत—असफल प्रयासों सहित—को पूरे हुए कार्यों की संख्या से बाँटा, तो प्रति सफलता औसत 68.70 से बढ़कर डॉलर का 73.97 हजारवाँ हिस्सा हो गया। 7.7% की इस वृद्धि का अनिश्चितता अंतराल शून्य को पार करता है, इसलिए अध्ययन सटीक अंतर्निहित वृद्धि स्थापित नहीं करता। यह दिखाता है कि इस सेटअप में प्रति प्रयास कम खर्च से देखी गई डिलीवरी लागत कम होना सुनिश्चित नहीं हुआ।

बहुत तेज़ निर्णयों के बावजूद FastAgent का औसत कार्य समय लगभग अपरिवर्तित रहा। कम कार्य पूरे होने के कारण प्रति वितरित सफलता समय 239.4 से बढ़कर 377.8 सेकंड हो गया। Jev वाले रूप ने 44.1% अधिक निर्णय लिए और, आधार से अलग, हर चरण में एक टूल चलाया। यह डिज़ाइन-अंतर परीक्षण किए गए इंटीग्रेशन का हिस्सा है और अंतर का कितना भाग केवल Jev को दिया जा सकता है, इसे सीमित करता है।

लेखकों ने गलत चुनाव के बाद क्या हुआ यह समझने के लिए चुने हुए traces देखे। एक मोबाइल कार्य में Jev वाले रूप ने अस्पष्ट लेबल वाला Wi-Fi स्विच चुना और लक्ष्य पूरा होने से पहले काम समाप्त घोषित कर दिया। Reflexion के ALFWorld रन में Jev पहली कोशिशों में आधार से अधिक बार सफल हुआ, लेकिन शुरुआती असफलताओं को कम बार सुधारा: 19 में से 11, जबकि आधार 26 में से 25 था। ये अंश असफल प्रयासों के अलग-अलग समूहों से हैं। वे दिखाते हैं कि एजेंट की गलती पहचानने और सुधारने की क्षमता उसके पहले निर्णय की लागत से आगे भी महत्वपूर्ण है।

बड़ा बदलाव

Jev की रिपोर्ट की गई निर्णय-बचत कार्य-स्तर पर सबसे स्पष्ट वहीं कायम रही जहाँ कार्रवाई चुनना काम का बड़ा हिस्सा था और समापन ऊँचा रहा। वितरित सफलता प्रति ReAct सस्ता और तेज़ था। मोबाइल इंटीग्रेशन में अन्य कॉल, परिवेश में लगा समय और कम समापन ने लाभ के कुछ हिस्से घटाए या उलट दिए। बिल्डरों के लिए पेपर एक ठोस मापन तरीका सुझाता है: सभी प्रयासों में पूरे हुए कार्यों और संसाधनों की तुलना करें, फिर रिकवरी और रुकने के निर्णयों को देखें। प्रति-कॉल कीमत या latency यह नहीं बता सकती कि कार्यप्रवाह ने अधिक उपयोगी काम दिया या नहीं।

अध्ययन में पाठ-आधारित अवलोकन, सीमित कार्रवाई विकल्प, निश्चित कार्य उदाहरण और साझा seed के साथ तीन पुनरावृत्तियाँ थीं। लागत के आँकड़ों में बताई गई मॉडल कीमतें और लेखकों के अपने लेखांकन नियम उपयोग हुए। दृश्य आधार वाले एजेंट, लंबे कार्यप्रवाह और नए कार्य-वितरण इस साक्ष्य के बाहर हैं। पेपर एजेंट कार्यप्रवाह में Jev का मूल्यांकन करता है; यह SubQ Snap का परीक्षण या सत्यापन नहीं करता।

स्रोत और आगे पढ़ें