AI-translated from English; not yet reviewed by a fluent editor.

# Pag-aaral sa Jev: mas murang pagpapasya, mas kaunting natapos na gawaing mobile

> Nakita sa pag-aaral sa Jev na may 4,500 execution na mas mura ang mga desisyon ng agent, ngunit mas kaunting gawain ang natapos ng dalawang mobile integration at mas malaki ang nagastos ng isa kada tagumpay batay sa naobserbahang mean.

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Sinusundan ng bagong pag-aaral sa Jev ang tanong na iniwan ng [ulat ng BIG CHANGE tungkol sa paglulunsad nito noong Setyembre](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida): napapabuti ba ng mas mabilis at murang pagpili ng aksiyon ang buong gawain? Sa 4,500 execution, nakakita ang mga mananaliksik ng mas murang pagpili ng aksiyon sa bawat agent na sinubukan. Sa dalawang integrasyon ng mobile agent, bumaba nang sapat ang pagkumpleto ng gawain upang mabago ang ekonomiya ng naihatid na resulta.

Ang [preprint noong Oktubre 9](https://arxiv.org/html/2610.13092v1) ay eksperimento ayon sa mga may-akda, hindi independiyenteng replikasyon o pagsubok ng BIG CHANGE. Gumamit ang limang pamilya ng agent ng dalawang kapaligirang inoobserbahan sa pamamagitan ng teksto: mga gawaing pambahay ng ALFWorld at mga gawain sa mobile app ng AndroidWorld. Tatlong beses pinatakbo ng mga mananaliksik ang bawat konfigurasyon sa mga nakapirming instance ng gawain. Pinalitan nila ng Jev ang hakbang sa pagpili ng aksiyon habang pinanatili ang nakapaligid na workflow ng bawat agent, kabilang ang iba pang tawag sa modelo at pakikipag-ugnayan sa kapaligiran.

## Kung saan nagbago ang pagkumpleto

Sa ALFWorld, nanatiling malapit sa orihinal na konfigurasyon ang mga bersiyong may Jev. Nakumpleto ng ReAct ang 96.02% ng gawain gamit ang Jev, kumpara sa baseline nitong 97.51%; nakumpleto naman ng Reflexion ang 98.01%, kumpara sa 99.75%. Sinubukan din ng mga mananaliksik ang isang control na tumanggap ng kaparehong kandidato ng aksiyon ng Jev ngunit gumamit ng pangkalahatang LLM para pumili. Mahalaga ito dahil binabago ng pagbibigay ng listahan ng kandidato sa agent ang interface gayundin ang modelo ng pagpapasya.

Hindi gaanong pantay ang mga resulta sa mobile. Bumaba ang completion rate ng T3A mula 57.47% tungo sa 44.25% gamit ang Jev, agwat na 13.22 percentage point. Bumaba ang FastAgent mula 50.00% tungo sa 31.90%, agwat na 18.10 point. Ganap na mas mababa sa zero ang mga task-cluster bootstrap interval ng papel para sa dalawang pagkakaiba. Bumaba ang AutoDroid mula 18.68% tungo sa 16.38%, ngunit kasama sa interval nito ang zero; parehong mas mababa sa isa sa limang gawain ang natapos ng dalawang bersiyon. Mga resulta ito para sa mga sinubukang integrasyon, hindi mga pagtataya para sa lahat ng mobile agent.

## Maaaring mas mahal ang mas murang pagtatangka kada tagumpay

Binawasan ng Jev ang mean na gastos sa pagpili ng aksiyon nang 66.1% hanggang 78.4% at ang oras ng pagpapasya nang 73.9% hanggang 81.5% sa limang pamilya. Bumaba rin ang mean na kabuuang gastos sa gawain sa bawat pamilyang naobserbahan, ngunit mas kaunti ang ibinaba. Kinain ng dagdag na pangangatwiran, mas maraming aksiyon at oras sa pakikipag-ugnayan sa kapaligiran ang ilan sa lokal na matitipid.

Pinakamalinaw na halimbawa ang T3A sa pagkakaiba ng pagbabayad para sa pagtatangka at pagbabayad para sa resulta. Bumaba nang 17.1% ang mean na gastos sa inference kada pagtatangka sa gawain nito. Ngunit nang hinati ng mga mananaliksik ang gastos ng *lahat ng* pagtatangka, kabilang ang mga kabiguan, sa bilang ng natapos na gawain, tumaas ang mean mula 68.70 tungo sa 73.97 thousandth ng dolyar kada tagumpay. Ang 7.7% na pagtaas ay may uncertainty interval na sumasaklaw sa zero, kaya hindi itinatatag ng pag-aaral ang eksaktong pinagbabatayang pagtaas. Ipinakikita nito na hindi ginagarantiyahan ng mas mababang gastos kada pagtatangka ang mas mababang naobserbahang gastos sa paghahatid sa setup na ito.

Halos hindi nagbago ang average na oras ng gawain ng FastAgent sa kabila ng mas mabilis na pagpapasya. Dahil mas kaunti ang natapos na gawain, tumaas mula 239.4 tungo sa 377.8 segundo ang oras kada naihatid na tagumpay. Gumawa ng 44.1% pang desisyon ang bersiyong Jev at, di-gaya ng baseline nito, isang tool lang ang ginamit bawat hakbang. Bahagi ng nasubok na integrasyon ang pagkakaiba ng disenyo na ito, kaya limitado kung gaano kalaki sa agwat ang maiaatas kay Jev lamang.

Sinuri ng mga may-akda ang ilang napiling trace para maunawaan ang nangyari matapos ang maling pagpili. Sa isang mobile task, pumili ang bersiyong Jev ng switch ng Wi-Fi na malabo ang label at nagdeklara ng pagkumpleto bago maabot ang layunin. Sa mga ALFWorld run ng Reflexion, mas madalas nagtagumpay ang Jev sa mga unang pagsubok kaysa baseline ngunit mas kaunti ang unang kabiguan nitong nabawi: 11 sa 19, kumpara sa 25 sa 26. Magkaibang pangkat ng nabigong pagtatangka ang tinutukoy ng mga bahaging ito. Ipinakikita ng mga ito kung bakit mahalaga ang kakayahan ng agent na mapansin at ayusin ang error, bukod pa sa halaga ng una nitong pasya.

## Ang malaking pagbabago

Pinakamalinaw na nanatili sa antas ng buong gawain ang natitipid sa pagpapasya ni Jev kung saan malaking bahagi ng trabaho ang pagpili ng aksiyon at nanatiling mataas ang pagkumpleto. Mas mura at mabilis ang ReAct kada naihatid na tagumpay. Sa mga integrasyong mobile, pinaliit o binaligtad ng ibang tawag, oras sa kapaligiran at mas mababang pagkumpleto ang ilan sa benepisyo. Para sa mga builder, naglalahad ang papel ng konkretong paraan ng pagsukat: ihambing ang natapos na gawain at mga resource sa *lahat* ng pagtatangka, saka suriin ang pagbangon at mga pasya kung kailan titigil. Hindi masasagot ng presyo o latency kada tawag kung mas maraming kapaki-pakinabang na trabaho ang naihatid ng workflow.

Gumamit ang pag-aaral ng mga obserbasyong teksto, limitadong pagpili ng aksiyon, nakapirming mga instance ng gawain at tatlong pag-uulit gamit ang iisang seed. Gumamit ang mga bilang sa gastos ng mga nakasaad na presyo ng modelo at sariling tuntunin sa accounting. Hindi saklaw ng ebidensiyang ito ang mga agent na nakaangkla sa biswal na input, mas mahahabang workflow at bagong distribusyon ng gawain. Sinusuri ng papel ang Jev sa mga workflow ng agent; hindi nito sinubukan o pinatunayan ang SubQ Snap.

## Mga sanggunian at karagdagang babasahin

- [Ang preprint nina Ling at mga kasama noong Oktubre 9, “Kapag Hindi Pinahuhusay ng Mas Mabilis na Pagpapasya ang mga Agent”](https://arxiv.org/html/2610.13092v1) ay nag-uulat ng eksperimento, buong mga talahanayan, pagsusuri ng trace at mga limitasyon. Inilalarawan ng [bersiyon ng abstract](https://arxiv.org/abs/2610.13092v1) na ito ay v1 na inilathala noong Oktubre 9, 2026. Mga natuklasan ito ayon sa mga may-akda; hindi muling pinatakbo ng BIG CHANGE ang eksperimento.
- [Ulat ng BIG CHANGE sa paglulunsad ng Jev](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) ay nagpapaliwanag sa orihinal na pitch ng TypeSafe AI tungkol sa decision model. Pinalalawak ng bagong preprint ang kuwentong iyon sa pamamagitan ng pagsukat sa buong gawain ng agent, sa halip na mga pahayag noong paglulunsad.

## Sources

- [Ling at mga kasama, “Kapag Hindi Pinahuhusay ng Mas Mabilis na Pagpapasya ang mga Agent: Isang Empirikong Pag-aaral sa Jev sa mga Workflow ng Agent”](https://arxiv.org/html/2610.13092v1) — Preprint na bersiyong v1 noong Oktubre 9, 2026. Pangunahing sanggunian para sa disenyo, lahat ng naiulat na resulta, pagsusuri ng trace at mga limitasyon. Eksperimentong iniulat ng mga may-akda; hindi ito inulit ng BIG CHANGE.
- [Talaan ng bersiyon sa arXiv para sa 2610.13092v1](https://arxiv.org/abs/2610.13092v1) — Kinukumpirma ng bersiyong abstract ang pagkakakilanlan ng v1 noong Oktubre 9 at ang malawak na saklaw ng pag-aaral. Nasa buong HTML paper ang mga detalyeng numerikal.
- [BIG CHANGE, Mas malaking taya ni Jev: mga desisyon ng AI sa software na ginagamit na natin](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — Nai-publish na artikulo #4 noong Setyembre 22, 2026. Direktang naunang artikulo ayon sa petsa at konteksto ng orihinal na pitch ng Jev ng TypeSafe AI, hindi beripikasyon ng bagong pag-aaral.