Nova studija o Jev-u nastavlja pitanje koje je izveštaj BIG CHANGE-a o septembarskom predstavljanjuostavio otvorenim: da li brži i jeftiniji izbori akcija poboljšavaju ceo posao? U 4.500 izvršavanja istraživači su pronašli jeftiniji izbor akcija kod svakog testiranog agenta. U dve integracije mobilnih agenata završetak zadataka opao je dovoljno da promeni ekonomiku isporučenog rezultata.

Ovaj preprint od 9. oktobra predstavlja eksperiment koji su prijavili autori, a ne nezavisnu replikaciju ili test BIG CHANGE-a. Pet porodica agenata radilo je u dva okruženja posmatrana tekstom: kućni zadaci ALFWorld-a i zadaci mobilnih aplikacija AndroidWorld-a. Istraživači su svaku konfiguraciju pokrenuli tri puta na fiksnim instancama zadataka. Korak izbora akcije zamenili su Jev-om, uz zadržavanje okolnog toka rada svakog agenta, uključujući druge pozive modela i interakciju sa okruženjem.

Gde se završetak promenio

U ALFWorld-u, Jev varijante ostale su blizu originalnih konfiguracija. ReAct je uz Jev završio 96,02% zadataka, naspram 97,51% u osnovnoj verziji; Reflexion je završio 98,01%, naspram 99,75%. Istraživači su testirali i kontrolu koja je primala iste kandidate akcija kao Jev, ali je koristila opšti LLM za izbor. To je važno jer davanje liste kandidata agentu menja i interfejs i model odlučivanja.

Mobilni rezultati bili su manje ujednačeni. Stopa završetka T3A sa Jev-om pala je sa 57,47% na 44,25%, razlika je 13,22 procentna poena. FastAgent je pao sa 50,00% na 31,90%, razlika je 18,10 poena. Bootstrap intervali u radu, grupisani po klasterima zadataka, za obe razlike bili su potpuno ispod nule. AutoDroid je opao sa 18,68% na 16,38%, ali je njegov interval uključivao nulu; obe verzije su završile manje od jednog od pet zadataka. To su rezultati testiranih integracija, a ne procene za sve mobilne agente.

Jeftiniji pokušaj može više koštati po uspehu

U pet porodica, Jev je smanjio prosečni trošak izbora akcija za 66,1% do 78,4%, a vreme odlučivanja za 73,9% do 81,5%. Prosečan ukupan trošak zadataka pao je u svakoj posmatranoj porodici, ali manje. Dodatno rezonovanje, više akcija i vreme interakcije sa okruženjem potrošili su deo lokalne uštede.

T3A najjasnije pokazuje razliku između plaćanja pokušaja i plaćanja ishoda. Njegov prosečni inference trošak po pokušaju zadatka pao je 17,1%. Ali kada su istraživači trošak svih pokušaja, uključujući neuspehe, podelili brojem završenih zadataka, prosek je porastao sa 68,70 na 73,97 hiljaditih delova dolara po uspehu. Rast od 7,7% ima interval neizvesnosti koji prelazi nulu, pa studija ne utvrđuje precizan osnovni rast. Pokazuje da niža potrošnja po pokušaju u ovom okruženju nije garantovala niži posmatrani trošak isporuke.

Prosečno vreme zadatka FastAgent-a gotovo se nije promenilo uprkos mnogo bržim odlukama. Uz manje završenih zadataka, vreme po isporučenom uspehu poraslo je sa 239,4 na 377,8 sekundi. Jev verzija donela je 44,1% više odluka i, za razliku od osnovne, izvršavala jedan alat po koraku. Ta razlika u dizajnu deo je testirane integracije i ograničava koliko se jaza može pripisati samo Jev-u.

Autori su pregledali odabrane tragove da bi razumeli šta se dogodilo posle lošeg izbora. U jednom mobilnom zadatku Jev verzija izabrala je Wi-Fi prekidač sa dvosmislenom oznakom i proglasila završetak pre dostizanja cilja. U Reflexion ALFWorld pokretanjima, Jev je uspeo u više prvih pokušaja nego osnovna verzija, ali je oporavio manje početnih neuspeha: 11 od 19, naspram 25 od 26. Ti razlomci odnose se na različite skupove neuspelih pokušaja. Pokazuju zašto je sposobnost agenta da primeti i popravi grešku važna i mimo cene njegove prve odluke.

Velika promena

Prijavljena ušteda Jev-a najjasnije je opstala na nivou zadatka tamo gde je izbor akcija činio najveći deo posla, a završetak ostao visok. ReAct je bio jeftiniji i brži po isporučenom uspehu. U mobilnim integracijama drugi pozivi, vreme u okruženju i niži završetak umanjili su ili preokrenuli deo koristi. Za graditelje, rad nudi konkretan način merenja: porediti završene zadatke i resurse kroz sve pokušaje, a zatim ispitati oporavak i odluke o zaustavljanju. Cena poziva ili kašnjenje ne mogu da odgovore da li je tok rada isporučio više korisnog posla.

Studija je koristila tekstualna zapažanja, ograničen izbor akcija, fiksne instance zadataka i tri ponavljanja sa zajedničkim seed-om. Brojke o troškovima koriste navedene cene modela i sopstvena pravila obračuna autora. Vizuelno utemeljeni agenti, duži tokovi rada i nove raspodele zadataka nisu obuhvaćeni ovim dokazima. Rad procenjuje Jev u tokovima rada agenata; ne testira niti potvrđuje SubQ Snap.

Izvori i dodatna literatura