AI-translated from English; not yet reviewed by a fluent editor.

# Jev अभ्यास: स्वस्त निर्णय, मोबाइलवरील पूर्ण झालेली कामे कमी

> 4,500 अंमलबजावण्यांच्या Jev अभ्यासात एजंटचे निर्णय स्वस्त आढळले; मात्र दोन मोबाइल इंटिग्रेशनने कमी कामे पूर्ण केली आणि निरीक्षित सरासरीत एका इंटिग्रेशनचा प्रति यश खर्च अधिक होता.

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Jev वरील नवा अभ्यास त्या प्रश्नाला पुढे नेतो, जो [सप्टेंबरमधील त्याच्या सादरीकरणावरील BIG CHANGE च्या वृत्तांकनाने](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida)उघडा ठेवला होता: अधिक जलद आणि स्वस्त कृती-निवडीमुळे संपूर्ण काम सुधारते का? 4,500 अंमलबजावण्यांमध्ये संशोधकांना प्रत्येक तपासलेल्या एजंटमध्ये कृती-निवड स्वस्त आढळली. दोन मोबाइल-एजंट इंटिग्रेशनमध्ये कामांची पूर्तता इतकी घटली की दिलेल्या परिणामाची अर्थव्यवस्था बदलली.

हा [9 ऑक्टोबरचा प्रीप्रिंट](https://arxiv.org/html/2610.13092v1) लेखकांनी नोंदवलेला प्रयोग आहे; स्वतंत्र पुनरावृत्ती किंवा BIG CHANGE ची चाचणी नाही. पाच एजंट कुटुंबांनी मजकूराद्वारे निरीक्षण करता येणाऱ्या दोन वातावरणांत काम केले: ALFWorld मधील घरगुती कामे आणि AndroidWorld मधील मोबाइल अॅप कामे. निश्चित कार्य-नमुन्यांवर संशोधकांनी प्रत्येक कॉन्फिगरेशन तीनदा चालवले. इतर मॉडेल कॉल आणि वातावरणाशी संवादासह प्रत्येक एजंटचा आजूबाजूचा workflow कायम ठेवून त्यांनी कृती-निवडीची पायरी Jev ने बदलली.

## कामांची पूर्तता कुठे बदलली

ALFWorld मध्ये Jev प्रकार मूळ कॉन्फिगरेशनच्या जवळ राहिले. Jev सह ReAct ने 96.02% कामे पूर्ण केली; त्याची आधाररेषा 97.51% होती. Reflexion ने 98.01% पूर्ण केली; आधाररेषा 99.75% होती. संशोधकांनी असे नियंत्रणही तपासले ज्याला Jev प्रमाणेच उमेदवार कृती मिळाल्या, पण त्यांतून निवडण्यासाठी सामान्य LLM वापरले. हे महत्त्वाचे आहे कारण एजंटला उमेदवारांची यादी दिल्याने इंटरफेस आणि निर्णय मॉडेल दोन्ही बदलतात.

मोबाइलचे निकाल कमी एकसमान होते. Jev सह T3A चा पूर्तता दर 57.47% वरून 44.25% झाला, म्हणजे 13.22 टक्के-बिंदूंचा फरक. FastAgent 50.00% वरून 31.90% झाला, म्हणजे 18.10-बिंदूंचा फरक. दोन्ही फरकांसाठी पेपरमधील कार्य-क्लस्टर bootstrap अंतराले पूर्णपणे शून्याखाली होते. AutoDroid 18.68% वरून 16.38% झाला, पण त्याच्या अंतरालात शून्य समाविष्ट होते; दोन्ही आवृत्त्यांनी पाचपैकी एकापेक्षा कमी कामे पूर्ण केली. हे तपासलेल्या इंटिग्रेशनचे निकाल आहेत, प्रत्येक मोबाइल एजंटचे अंदाज नाहीत.

## स्वस्त प्रयत्न प्रति यश अधिक महाग पडू शकतो

पाचही कुटुंबांमध्ये Jev ने कृती-निवडीचा सरासरी खर्च 66.1% ते 78.4% आणि निर्णय वेळ 73.9% ते 81.5% कमी केला. निरीक्षित प्रत्येक कुटुंबात एकूण कार्याचा सरासरी खर्चही कमी झाला, पण कमी प्रमाणात. अधिक विचारप्रक्रिया, अधिक कृती आणि वातावरणाशी संवादाचा वेळ यांनी स्थानिक बचतीचा काही भाग भरून काढला.

प्रयत्नासाठी पैसे देणे आणि परिणामासाठी पैसे देणे यातला फरक T3A सर्वाधिक स्पष्ट दाखवतो. प्रत्येक कामाच्या प्रयत्नामागील त्याचा सरासरी inference खर्च 17.1% कमी झाला. परंतु संशोधकांनी *सर्व* प्रयत्नांचा, अपयशांसह, खर्च पूर्ण झालेल्या कामांच्या संख्येने भागल्यावर प्रति यश सरासरी डॉलरचा 68.70 हजारावा भाग ते 73.97 हजारावा भाग झाली. या 7.7% वाढीचे अनिश्चितता अंतराल शून्याला छेदते; त्यामुळे अभ्यास अचूक अंतर्निहित वाढ सिद्ध करत नाही. मात्र या मांडणीत प्रति प्रयत्न कमी खर्च केल्याने निरीक्षित वितरण-खर्च कमी होईल याची हमी मिळाली नाही, हे तो दाखवतो.

निर्णय खूप जलद झाले तरी FastAgent चा सरासरी कार्यकाल जवळजवळ बदलला नाही. कमी कामे पूर्ण झाल्याने प्रति वितरित यशाचा वेळ 239.4 वरून 377.8 सेकंद झाला. Jev आवृत्तीने 44.1% अधिक निर्णय घेतले आणि आधाररेषेच्या उलट प्रत्येक टप्प्यावर एक tool चालवले. हा डिझाइन फरक तपासलेल्या इंटिग्रेशनचा भाग आहे आणि फरकापैकी किती Jev मुळे आहे हे ठरवण्यावर मर्यादा आणतो.

चुकीच्या निवडीनंतर काय घडले हे समजण्यासाठी लेखकांनी निवडक traces तपासले. एका मोबाइल कामात Jev आवृत्तीने अस्पष्ट लेबल असलेला Wi-Fi switch निवडला आणि उद्दिष्ट पूर्ण होण्याआधीच काम पूर्ण झाल्याचे घोषित केले. Reflexion च्या ALFWorld रनमध्ये पहिल्या प्रयत्नांत Jev आधाररेषेपेक्षा अधिक यशस्वी झाला, पण सुरुवातीचे अपयश कमी वेळा सुधारले: 19 पैकी 11, तर आधाररेषा 26 पैकी 25 होती. हे अंश वेगवेगळ्या अपयशी प्रयत्नांच्या संचांबद्दल आहेत. पहिल्या निर्णयाच्या किमतीपलीकडे एजंटची चूक ओळखून दुरुस्त करण्याची क्षमता का महत्त्वाची आहे हे ते दाखवतात.

## मोठा बदल

कृती-निवड हे कामाचे मुख्य अंग असताना आणि पूर्तता जास्त राहिल्यावर Jev ची नोंदवलेली निर्णय-बचत संपूर्ण कामाच्या पातळीवर सर्वात स्पष्ट टिकली. वितरित यशामागे ReAct स्वस्त आणि जलद होते. मोबाइल इंटिग्रेशनमध्ये इतर कॉल, वातावरणातील वेळ आणि कमी पूर्ततेने काही लाभ कमी केला किंवा उलटवला. निर्मात्यांसाठी पेपर एक ठोस मोजमाप सुचवतो: *सर्व* प्रयत्नांत पूर्ण झालेली कामे आणि संसाधने तुलना करा, मग पुनर्प्राप्ती आणि थांबण्याचे निर्णय तपासा. प्रति-कॉल किंमत किंवा latency वरून workflow ने अधिक उपयुक्त काम दिले का हे कळत नाही.

अभ्यासात मजकूर निरीक्षणे, मर्यादित कृती-निवडी, निश्चित कार्य-नमुने आणि एकच seed वापरून तीन पुनरावृत्ती होत्या. खर्चाच्या आकड्यांत नमूद मॉडेल किमती आणि लेखकांचे स्वतःचे हिशेब नियम वापरले. दृश्य माहितीवर आधारित एजंट, दीर्घ workflow आणि नवीन कार्य-वितरण या पुराव्यात समाविष्ट नाहीत. पेपर एजंट workflow मध्ये Jev चे मूल्यांकन करतो; तो SubQ Snap ची चाचणी किंवा पडताळणी करत नाही.

## स्रोत आणि पुढील वाचन

- [Ling आणि सहकाऱ्यांचा 9 ऑक्टोबरचा प्रीप्रिंट, “जलद निर्णयांमुळे एजंट अधिक चांगले होत नाहीत”](https://arxiv.org/html/2610.13092v1) प्रयोग, संपूर्ण तक्ते, trace विश्लेषण आणि मर्यादा नोंदवतो. [आवृत्ती असलेला सारांश](https://arxiv.org/abs/2610.13092v1) हा 9 ऑक्टोबर 2026 रोजी प्रकाशित v1 असल्याचे ओळखतो. येथील निकाल लेखकांनी नोंदवलेले आहेत; BIG CHANGE ने प्रयोग पुन्हा चालवला नाही.
- [Jev लाँचवरील BIG CHANGE चा वृत्तांत](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) TypeSafe AI ची निर्णय-मॉडेलविषयीची मूळ मांडणी स्पष्ट करतो. नवा प्रीप्रिंट लाँचच्या दाव्यांऐवजी संपूर्ण एजंट कामे मोजून ती कहाणी पुढे नेतो.

## Sources

- [Ling व इतर, “जलद निर्णयांमुळे एजंट अधिक चांगले होत नाहीत: एजंट workflow मधील Jev चा अनुभवाधारित अभ्यास”](https://arxiv.org/html/2610.13092v1) — 9 ऑक्टोबर 2026 चा v1 प्रीप्रिंट. रचना, सर्व नोंदवलेले निकाल, trace विश्लेषण आणि मर्यादांसाठी मुख्य स्रोत. प्रयोग लेखकांनी नोंदवले; BIG CHANGE ने त्यांची पुनरावृत्ती केली नाही.
- [2610.13092v1 साठी arXiv आवृत्ती नोंद](https://arxiv.org/abs/2610.13092v1) — आवृत्ती असलेला सारांश 9 ऑक्टोबरच्या v1 ची ओळख आणि अभ्यासाची व्यापक व्याप्ती निश्चित करतो. पूर्ण HTML पेपर संख्यात्मक तपशील देतो.
- [BIG CHANGE, Jev ची मोठी पैज: आपण आधीच वापरत असलेल्या सॉफ्टवेअरमधील AI निर्णय](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — 22 सप्टेंबर 2026 रोजी प्रकाशित लेख #4. TypeSafe AI च्या मूळ Jev मांडणीचा थेट, दिनांकित आधीचा संदर्भ; नव्या अभ्यासाची पडताळणी नव्हे.