Studi baru tentang Jev melanjutkan pertanyaan yang belum terjawab oleh liputan BIG CHANGE tentang peluncurannya pada September: apakah pemilihan tindakan yang lebih cepat dan murah meningkatkan keseluruhan pekerjaan? Dalam 4.500 eksekusi, peneliti menemukan pemilihan tindakan yang lebih murah pada setiap agen yang diuji. Dalam dua integrasi agen seluler, penyelesaian tugas turun cukup tajam hingga mengubah ekonomi hasil yang disampaikan.

Makalah pracetak 9 Oktober ini melaporkan eksperimen para penulis, bukan replikasi independen atau pengujian BIG CHANGE. Lima keluarga agen bekerja di dua lingkungan yang diamati lewat teks: tugas rumah tangga ALFWorld dan tugas aplikasi seluler AndroidWorld. Peneliti menjalankan tiap konfigurasi tiga kali pada instans tugas tetap. Mereka mengganti langkah pemilihan tindakan dengan Jev sambil mempertahankan alur kerja di sekeliling tiap agen, termasuk panggilan model lain dan interaksi dengan lingkungan.

Di mana penyelesaian berubah

Di ALFWorld, varian Jev tetap mendekati konfigurasi aslinya. ReAct menyelesaikan 96,02% tugas dengan Jev, dibandingkan 97,51% pada baseline; Reflexion menyelesaikan 98,01%, dibandingkan 99,75%. Peneliti juga menguji kontrol yang menerima kandidat tindakan sama seperti Jev, tetapi memakai LLM umum untuk memilih di antaranya. Ini penting karena memberi agen daftar kandidat mengubah antarmuka sekaligus model keputusannya.

Hasil seluler lebih bervariasi. Tingkat penyelesaian T3A turun dari 57,47% menjadi 44,25% dengan Jev, selisih 13,22 poin persentase. FastAgent turun dari 50,00% menjadi 31,90%, selisih 18,10 poin. Interval bootstrap klaster tugas dalam makalah untuk kedua perbedaan seluruhnya berada di bawah nol. AutoDroid turun dari 18,68% menjadi 16,38%, tetapi intervalnya mencakup nol; kedua versi menyelesaikan kurang dari satu dari lima tugas. Ini adalah hasil untuk integrasi yang diuji, bukan perkiraan bagi semua agen seluler.

Upaya yang lebih murah dapat berbiaya lebih besar per keberhasilan

Di lima keluarga, Jev mengurangi rata-rata biaya pemilihan tindakan sebesar 66,1% hingga 78,4% dan waktu keputusan sebesar 73,9% hingga 81,5%. Rata-rata biaya tugas total juga turun pada setiap keluarga yang diamati, meski lebih sedikit. Penalaran tambahan, lebih banyak tindakan, dan waktu berinteraksi dengan lingkungan menyerap sebagian penghematan lokal.

T3A paling jelas menunjukkan perbedaan antara membayar untuk upaya dan membayar untuk hasil. Rata-rata biaya inferensi per upaya tugasnya turun 17,1%. Namun, saat peneliti membagi biaya semua upaya, termasuk kegagalan, dengan jumlah tugas yang selesai, rata-ratanya naik dari 68,70 menjadi 73,97 seperseribu dolar per keberhasilan. Kenaikan 7,7% itu memiliki interval ketidakpastian yang melintasi nol, sehingga studi ini tidak menetapkan kenaikan dasar yang presisi. Studi ini menunjukkan bahwa pengeluaran lebih rendah per upaya tidak menjamin biaya pengiriman teramati yang lebih rendah dalam pengaturan ini.

Rata-rata waktu tugas FastAgent hampir tidak berubah meski keputusan jauh lebih cepat. Dengan lebih sedikit tugas yang selesai, waktu per keberhasilan yang disampaikan naik dari 239,4 menjadi 377,8 detik. Versi Jev membuat 44,1% lebih banyak keputusan dan, tidak seperti baseline-nya, menjalankan satu alat per langkah. Perbedaan desain itu merupakan bagian dari integrasi yang diuji dan membatasi seberapa besar selisih dapat dikaitkan hanya pada Jev.

Penulis menelaah jejak terpilih untuk memahami apa yang terjadi setelah pilihan yang buruk. Dalam satu tugas seluler, versi Jev memilih tombol Wi-Fi berlabel ambigu dan menyatakan tugas selesai sebelum mencapai tujuan. Dalam proses Reflexion di ALFWorld, Jev lebih sering berhasil pada percobaan pertama daripada baseline, tetapi lebih jarang memulihkan kegagalan awal: 11 dari 19, dibandingkan 25 dari 26. Pecahan ini merujuk pada kumpulan upaya gagal yang berbeda. Contoh itu menunjukkan mengapa kemampuan agen menyadari dan memperbaiki kesalahan penting di luar harga keputusan pertamanya.

Perubahan besar

Penghematan keputusan yang dilaporkan Jev paling jelas bertahan pada tingkat tugas ketika pemilihan tindakan mendominasi pekerjaan dan tingkat penyelesaian tetap tinggi. ReAct lebih murah dan lebih cepat per keberhasilan yang disampaikan. Dalam integrasi seluler, panggilan lain, waktu lingkungan, dan penyelesaian lebih rendah memperkecil atau membalik sebagian manfaat. Bagi pembuat sistem, makalah ini menawarkan pengukuran konkret: bandingkan tugas yang selesai dan sumber daya di antara semua upaya, lalu periksa pemulihan dan keputusan berhenti. Harga atau latensi per panggilan tidak menjawab apakah alur kerja menyampaikan lebih banyak pekerjaan yang berguna.

Studi ini memakai observasi teks, pilihan tindakan terbatas, instans tugas tetap, dan tiga pengulangan dengan seed bersama. Angka biayanya menggunakan harga model yang dinyatakan serta aturan akuntansi penulis sendiri. Agen berbasis visual, alur kerja lebih panjang, dan distribusi tugas baru berada di luar bukti ini. Makalah ini mengevaluasi Jev dalam alur kerja agen; makalah ini tidak menguji atau memvalidasi SubQ Snap.

Sumber dan bacaan lanjutan