Edisi Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Studi Jev: keputusan lebih murah, lebih sedikit tugas seluler selesai

> Studi Jev dengan 4.500 eksekusi menemukan keputusan agen yang lebih murah, tetapi dua integrasi seluler menyelesaikan lebih sedikit tugas dan satu mengeluarkan biaya lebih besar per keberhasilan menurut rata-rata yang diamati.

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Studi baru tentang Jev melanjutkan pertanyaan yang belum terjawab oleh [liputan BIG CHANGE tentang peluncurannya pada September](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida): apakah pemilihan tindakan yang lebih cepat dan murah meningkatkan keseluruhan pekerjaan? Dalam 4.500 eksekusi, peneliti menemukan pemilihan tindakan yang lebih murah pada setiap agen yang diuji. Dalam dua integrasi agen seluler, penyelesaian tugas turun cukup tajam hingga mengubah ekonomi hasil yang disampaikan.

Makalah [pracetak 9 Oktober](https://arxiv.org/html/2610.13092v1) ini melaporkan eksperimen para penulis, bukan replikasi independen atau pengujian BIG CHANGE. Lima keluarga agen bekerja di dua lingkungan yang diamati lewat teks: tugas rumah tangga ALFWorld dan tugas aplikasi seluler AndroidWorld. Peneliti menjalankan tiap konfigurasi tiga kali pada instans tugas tetap. Mereka mengganti langkah pemilihan tindakan dengan Jev sambil mempertahankan alur kerja di sekeliling tiap agen, termasuk panggilan model lain dan interaksi dengan lingkungan.

## Di mana penyelesaian berubah

Di ALFWorld, varian Jev tetap mendekati konfigurasi aslinya. ReAct menyelesaikan 96,02% tugas dengan Jev, dibandingkan 97,51% pada baseline; Reflexion menyelesaikan 98,01%, dibandingkan 99,75%. Peneliti juga menguji kontrol yang menerima kandidat tindakan sama seperti Jev, tetapi memakai LLM umum untuk memilih di antaranya. Ini penting karena memberi agen daftar kandidat mengubah antarmuka sekaligus model keputusannya.

Hasil seluler lebih bervariasi. Tingkat penyelesaian T3A turun dari 57,47% menjadi 44,25% dengan Jev, selisih 13,22 poin persentase. FastAgent turun dari 50,00% menjadi 31,90%, selisih 18,10 poin. Interval bootstrap klaster tugas dalam makalah untuk kedua perbedaan seluruhnya berada di bawah nol. AutoDroid turun dari 18,68% menjadi 16,38%, tetapi intervalnya mencakup nol; kedua versi menyelesaikan kurang dari satu dari lima tugas. Ini adalah hasil untuk integrasi yang diuji, bukan perkiraan bagi semua agen seluler.

## Upaya yang lebih murah dapat berbiaya lebih besar per keberhasilan

Di lima keluarga, Jev mengurangi rata-rata biaya pemilihan tindakan sebesar 66,1% hingga 78,4% dan waktu keputusan sebesar 73,9% hingga 81,5%. Rata-rata biaya tugas total juga turun pada setiap keluarga yang diamati, meski lebih sedikit. Penalaran tambahan, lebih banyak tindakan, dan waktu berinteraksi dengan lingkungan menyerap sebagian penghematan lokal.

T3A paling jelas menunjukkan perbedaan antara membayar untuk upaya dan membayar untuk hasil. Rata-rata biaya inferensi per upaya tugasnya turun 17,1%. Namun, saat peneliti membagi biaya *semua* upaya, termasuk kegagalan, dengan jumlah tugas yang selesai, rata-ratanya naik dari 68,70 menjadi 73,97 seperseribu dolar per keberhasilan. Kenaikan 7,7% itu memiliki interval ketidakpastian yang melintasi nol, sehingga studi ini tidak menetapkan kenaikan dasar yang presisi. Studi ini menunjukkan bahwa pengeluaran lebih rendah per upaya tidak menjamin biaya pengiriman teramati yang lebih rendah dalam pengaturan ini.

Rata-rata waktu tugas FastAgent hampir tidak berubah meski keputusan jauh lebih cepat. Dengan lebih sedikit tugas yang selesai, waktu per keberhasilan yang disampaikan naik dari 239,4 menjadi 377,8 detik. Versi Jev membuat 44,1% lebih banyak keputusan dan, tidak seperti baseline-nya, menjalankan satu alat per langkah. Perbedaan desain itu merupakan bagian dari integrasi yang diuji dan membatasi seberapa besar selisih dapat dikaitkan hanya pada Jev.

Penulis menelaah jejak terpilih untuk memahami apa yang terjadi setelah pilihan yang buruk. Dalam satu tugas seluler, versi Jev memilih tombol Wi-Fi berlabel ambigu dan menyatakan tugas selesai sebelum mencapai tujuan. Dalam proses Reflexion di ALFWorld, Jev lebih sering berhasil pada percobaan pertama daripada baseline, tetapi lebih jarang memulihkan kegagalan awal: 11 dari 19, dibandingkan 25 dari 26. Pecahan ini merujuk pada kumpulan upaya gagal yang berbeda. Contoh itu menunjukkan mengapa kemampuan agen menyadari dan memperbaiki kesalahan penting di luar harga keputusan pertamanya.

## Perubahan besar

Penghematan keputusan yang dilaporkan Jev paling jelas bertahan pada tingkat tugas ketika pemilihan tindakan mendominasi pekerjaan dan tingkat penyelesaian tetap tinggi. ReAct lebih murah dan lebih cepat per keberhasilan yang disampaikan. Dalam integrasi seluler, panggilan lain, waktu lingkungan, dan penyelesaian lebih rendah memperkecil atau membalik sebagian manfaat. Bagi pembuat sistem, makalah ini menawarkan pengukuran konkret: bandingkan tugas yang selesai dan sumber daya di antara *semua* upaya, lalu periksa pemulihan dan keputusan berhenti. Harga atau latensi per panggilan tidak menjawab apakah alur kerja menyampaikan lebih banyak pekerjaan yang berguna.

Studi ini memakai observasi teks, pilihan tindakan terbatas, instans tugas tetap, dan tiga pengulangan dengan seed bersama. Angka biayanya menggunakan harga model yang dinyatakan serta aturan akuntansi penulis sendiri. Agen berbasis visual, alur kerja lebih panjang, dan distribusi tugas baru berada di luar bukti ini. Makalah ini mengevaluasi Jev dalam alur kerja agen; makalah ini tidak menguji atau memvalidasi SubQ Snap.

## Sumber dan bacaan lanjutan

- [Pracetak 9 Oktober oleh Ling dan rekan, “Keputusan yang Lebih Cepat Tidak Membuat Agen Lebih Baik”](https://arxiv.org/html/2610.13092v1) melaporkan eksperimen, tabel lengkap, analisis jejak, dan keterbatasan. [Abstrak berversi](https://arxiv.org/abs/2610.13092v1) mengidentifikasinya sebagai v1 yang diunggah 9 Oktober 2026. Hasil di sini adalah temuan yang dilaporkan penulis; BIG CHANGE tidak menjalankan ulang eksperimen.
- [Laporan BIG CHANGE tentang peluncuran Jev](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) menjelaskan pitch awal TypeSafe AI untuk model keputusan tersebut. Pracetak baru melanjutkan kisah itu dengan mengukur tugas agen secara utuh, bukan klaim saat peluncuran.

## Sources

- [Ling dkk., “Keputusan yang Lebih Cepat Tidak Membuat Agen Lebih Baik: Studi Empiris tentang Jev dalam Alur Kerja Agen”](https://arxiv.org/html/2610.13092v1) — Pracetak v1 9 Oktober 2026. Sumber utama untuk desain, semua hasil yang dilaporkan, analisis jejak, dan keterbatasan. Eksperimen dilaporkan penulis; BIG CHANGE tidak mereplikasinya.
- [Catatan versi arXiv untuk 2610.13092v1](https://arxiv.org/abs/2610.13092v1) — Abstrak berversi mengonfirmasi identitas v1 9 Oktober dan cakupan umum studi. Makalah HTML lengkap memuat rincian numerik.
- [BIG CHANGE, Taruhan Jev yang Lebih Besar: Keputusan AI di Dalam Perangkat Lunak yang Sudah Kita Gunakan](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — Artikel terbit #4 pada 22 September 2026. Artikel terdahulu langsung yang bertanggal dan memberi konteks bagi pitch awal TypeSafe AI tentang Jev, bukan verifikasi studi baru.