Markdown संस्करण

AI-translated from English; not yet reviewed by a fluent editor.

# Jev अध्ययन: सस्ते निर्णय, मोबाइल कार्य कम पूरे हुए

> 4,500 निष्पादनों वाले Jev अध्ययन में एजेंट के निर्णय सस्ते पाए गए, लेकिन दो मोबाइल इंटीग्रेशन ने कम कार्य पूरे किए और एक ने देखे गए औसत के आधार पर प्रति सफलता अधिक खर्च किया।

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Jev पर नया अध्ययन उस प्रश्न को आगे बढ़ाता है जिसे [सितंबर में इसके लॉन्च पर BIG CHANGE की कवरेज](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida)ने खुला छोड़ दिया था: क्या तेज़ और सस्ते कार्रवाई-विकल्प पूरे काम को बेहतर बनाते हैं? 4,500 निष्पादनों में शोधकर्ताओं को हर परीक्षण किए गए एजेंट में सस्ता कार्रवाई-चयन मिला। दो मोबाइल-एजेंट इंटीग्रेशन में कार्य-समापन इतना घटा कि दिए गए परिणाम की अर्थव्यवस्था बदल गई।

यह [9 अक्टूबर का प्रीप्रिंट](https://arxiv.org/html/2610.13092v1) लेखकों द्वारा रिपोर्ट किया गया प्रयोग है, न कि स्वतंत्र पुनरावृत्ति या BIG CHANGE का परीक्षण। पाँच एजेंट परिवारों ने पाठ से देखे जा सकने वाले दो परिवेशों में काम किया: ALFWorld के घरेलू कार्य और AndroidWorld के मोबाइल ऐप कार्य। शोधकर्ताओं ने निश्चित कार्य-उदाहरणों पर प्रत्येक कॉन्फ़िगरेशन को तीन बार चलाया। उन्होंने हर एजेंट का आसपास का कार्यप्रवाह, जिसमें अन्य मॉडल कॉल और परिवेश से संपर्क शामिल थे, बनाए रखते हुए कार्रवाई-चयन चरण को Jev से बदला।

## जहाँ समापन बदला

ALFWorld में Jev वाले रूप अपने मूल कॉन्फ़िगरेशन के करीब रहे। Jev के साथ ReAct ने 96.02% कार्य पूरे किए, जबकि उसका आधार 97.51% था; Reflexion ने 98.01% पूरे किए, जबकि आधार 99.75% था। शोधकर्ताओं ने ऐसा नियंत्रण भी परखा जिसे Jev जैसी ही उम्मीदवार कार्रवाइयाँ मिलीं, लेकिन उनमें से चुनने के लिए सामान्य LLM इस्तेमाल हुआ। यह महत्वपूर्ण है क्योंकि एजेंट को उम्मीदवारों की सूची देना इंटरफ़ेस के साथ निर्णय मॉडल भी बदलता है।

मोबाइल परिणाम कम समान थे। Jev के साथ T3A की समापन दर 57.47% से घटकर 44.25% हुई, यानी 13.22 प्रतिशत-अंक का अंतर। FastAgent 50.00% से 31.90% पर आया, 18.10 अंक का अंतर। दोनों अंतरों के लिए पेपर के task-cluster bootstrap अंतराल पूरी तरह शून्य से नीचे थे। AutoDroid 18.68% से घटकर 16.38% हुआ, लेकिन उसका अंतराल शून्य को शामिल करता था; दोनों रूपों ने पाँच में से एक से कम कार्य पूरे किए। ये परीक्षण किए गए इंटीग्रेशन के परिणाम हैं, हर मोबाइल एजेंट के अनुमान नहीं।

## सस्ता प्रयास प्रति सफलता अधिक महँगा पड़ सकता है

पाँच परिवारों में Jev ने कार्रवाई-चयन की औसत लागत 66.1% से 78.4% और निर्णय समय 73.9% से 81.5% घटाया। देखे गए हर परिवार में कुल कार्य की औसत लागत भी घटी, हालांकि कम मात्रा में। अतिरिक्त तर्क, अधिक कार्रवाइयों और परिवेश के साथ बातचीत में लगे समय ने स्थानीय बचत का कुछ हिस्सा खा लिया।

प्रयास के लिए भुगतान और परिणाम के लिए भुगतान का अंतर T3A में सबसे स्पष्ट है। प्रति कार्य-प्रयास इसकी औसत inference लागत 17.1% घटी। लेकिन जब शोधकर्ताओं ने *सभी* प्रयासों की लागत—असफल प्रयासों सहित—को पूरे हुए कार्यों की संख्या से बाँटा, तो प्रति सफलता औसत 68.70 से बढ़कर डॉलर का 73.97 हजारवाँ हिस्सा हो गया। 7.7% की इस वृद्धि का अनिश्चितता अंतराल शून्य को पार करता है, इसलिए अध्ययन सटीक अंतर्निहित वृद्धि स्थापित नहीं करता। यह दिखाता है कि इस सेटअप में प्रति प्रयास कम खर्च से देखी गई डिलीवरी लागत कम होना सुनिश्चित नहीं हुआ।

बहुत तेज़ निर्णयों के बावजूद FastAgent का औसत कार्य समय लगभग अपरिवर्तित रहा। कम कार्य पूरे होने के कारण प्रति वितरित सफलता समय 239.4 से बढ़कर 377.8 सेकंड हो गया। Jev वाले रूप ने 44.1% अधिक निर्णय लिए और, आधार से अलग, हर चरण में एक टूल चलाया। यह डिज़ाइन-अंतर परीक्षण किए गए इंटीग्रेशन का हिस्सा है और अंतर का कितना भाग केवल Jev को दिया जा सकता है, इसे सीमित करता है।

लेखकों ने गलत चुनाव के बाद क्या हुआ यह समझने के लिए चुने हुए traces देखे। एक मोबाइल कार्य में Jev वाले रूप ने अस्पष्ट लेबल वाला Wi-Fi स्विच चुना और लक्ष्य पूरा होने से पहले काम समाप्त घोषित कर दिया। Reflexion के ALFWorld रन में Jev पहली कोशिशों में आधार से अधिक बार सफल हुआ, लेकिन शुरुआती असफलताओं को कम बार सुधारा: 19 में से 11, जबकि आधार 26 में से 25 था। ये अंश असफल प्रयासों के अलग-अलग समूहों से हैं। वे दिखाते हैं कि एजेंट की गलती पहचानने और सुधारने की क्षमता उसके पहले निर्णय की लागत से आगे भी महत्वपूर्ण है।

## बड़ा बदलाव

Jev की रिपोर्ट की गई निर्णय-बचत कार्य-स्तर पर सबसे स्पष्ट वहीं कायम रही जहाँ कार्रवाई चुनना काम का बड़ा हिस्सा था और समापन ऊँचा रहा। वितरित सफलता प्रति ReAct सस्ता और तेज़ था। मोबाइल इंटीग्रेशन में अन्य कॉल, परिवेश में लगा समय और कम समापन ने लाभ के कुछ हिस्से घटाए या उलट दिए। बिल्डरों के लिए पेपर एक ठोस मापन तरीका सुझाता है: *सभी* प्रयासों में पूरे हुए कार्यों और संसाधनों की तुलना करें, फिर रिकवरी और रुकने के निर्णयों को देखें। प्रति-कॉल कीमत या latency यह नहीं बता सकती कि कार्यप्रवाह ने अधिक उपयोगी काम दिया या नहीं।

अध्ययन में पाठ-आधारित अवलोकन, सीमित कार्रवाई विकल्प, निश्चित कार्य उदाहरण और साझा seed के साथ तीन पुनरावृत्तियाँ थीं। लागत के आँकड़ों में बताई गई मॉडल कीमतें और लेखकों के अपने लेखांकन नियम उपयोग हुए। दृश्य आधार वाले एजेंट, लंबे कार्यप्रवाह और नए कार्य-वितरण इस साक्ष्य के बाहर हैं। पेपर एजेंट कार्यप्रवाह में Jev का मूल्यांकन करता है; यह SubQ Snap का परीक्षण या सत्यापन नहीं करता।

## स्रोत और आगे पढ़ें

- [Ling और सहयोगियों का 9 अक्टूबर का प्रीप्रिंट, “जब तेज़ निर्णय बेहतर एजेंट नहीं बनाते”](https://arxiv.org/html/2610.13092v1) प्रयोग, पूरी तालिकाएँ, trace विश्लेषण और सीमाएँ बताता है। [संस्करणयुक्त सार](https://arxiv.org/abs/2610.13092v1) इसे 9 अक्टूबर 2026 को प्रकाशित v1 बताता है। यहाँ के परिणाम लेखकों द्वारा रिपोर्ट किए गए निष्कर्ष हैं; BIG CHANGE ने प्रयोग दोबारा नहीं चलाया।
- [Jev लॉन्च पर BIG CHANGE की रिपोर्ट](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) TypeSafe AI की मूल निर्णय-मॉडल प्रस्तुति समझाती है। नया प्रीप्रिंट लॉन्च के दावों के बजाय पूरे एजेंट कार्यों को मापकर उस कहानी को आगे बढ़ाता है।

## Sources

- [Ling आदि, “जब तेज़ निर्णय बेहतर एजेंट नहीं बनाते: एजेंट कार्यप्रवाह में Jev का अनुभवजन्य अध्ययन”](https://arxiv.org/html/2610.13092v1) — 9 अक्टूबर 2026 का v1 प्रीप्रिंट। डिज़ाइन, सभी रिपोर्ट किए गए परिणाम, trace विश्लेषण और सीमाओं का मुख्य स्रोत। प्रयोग लेखकों द्वारा रिपोर्ट किया गया; BIG CHANGE ने इसे दोहराया नहीं।
- [2610.13092v1 का arXiv संस्करण रिकॉर्ड](https://arxiv.org/abs/2610.13092v1) — संस्करणयुक्त सार 9 अक्टूबर के v1 की पहचान और अध्ययन का व्यापक दायरा पुष्ट करता है। पूरा HTML पेपर संख्यात्मक विवरण देता है।
- [BIG CHANGE, Jev की बड़ी बाज़ी: उस सॉफ़्टवेयर में AI निर्णय जिसे हम पहले से इस्तेमाल करते हैं](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — 22 सितंबर 2026 का प्रकाशित लेख #4। TypeSafe AI की मूल Jev प्रस्तुति का सीधा, तारीख़ वाला पूर्ववर्ती संदर्भ; नए अध्ययन का सत्यापन नहीं।