Нова студија о Jev-у наставља питање које је остало отворено после извештаја BIG CHANGE-а о његовом септембарском представљању: да ли бржи и јефтинији избори радњи побољшавају цео задатак? У 4.500 извршавања истраживачи су утврдили јефтинији избор радњи код сваког тестираног агента. У две интеграције мобилних агената завршетак задатака опао је довољно да промени економику испорученог резултата.

Овај препринт од 9. октобра приказује експеримент који су извели и описали аутори, а не независну репликацију или тест BIG CHANGE-а. Пет породица агената радило је у два окружења посматрана преко текста: кућни задаци ALFWorld-а и задаци мобилних апликација AndroidWorld-а. Истраживачи су сваку конфигурацију покренули три пута на фиксним примерима задатака. Корак избора радње заменили су са Jev-ом, задржавајући околни ток рада сваког агента, укључујући друге позиве модела и интеракцију са окружењем.

Где се променио завршетак задатака

У ALFWorld-у, верзије са Jev-ом остале су близу својих изворних конфигурација. ReAct је са Jev-ом завршио 96,02% задатака, наспрам 97,51% у основној верзији; Reflexion је завршио 98,01%, наспрам 99,75%. Истраживачи су тестирали и контролну верзију која је добила исте кандидатске радње као Jev, али је користила општи LLM да изабере међу њима. То је важно јер давање листе могућих радњи агенту мења и интерфејс и модел одлучивања.

Резултати на мобилним уређајима били су мање уједначени. Стопа завршетка T3A пала је са 57,47% на 44,25% уз Jev, што је разлика од 13,22 процентна поена. FastAgent је пао са 50,00% на 31,90%, односно за 18,10 поена. Bootstrap интервали у раду, груписани по кластерима задатака, за обе разлике били су потпуно испод нуле. AutoDroid је опао са 18,68% на 16,38%, али је његов интервал обухватао нулу; обе верзије завршиле су мање од једног од пет задатака. То су резултати тестираних интеграција, а не процене за сваки мобилни агент.

Јефтинији покушај може више коштати по успеху

Jev је у пет породица смањио просечни трошак избора радњи за 66,1% до 78,4%, а време одлучивања за 73,9% до 81,5%. Пала је и просечна укупна цена задатака у свакој посматраној породици, али мање. Додатно закључивање, више радњи и време утрошено на интеракцију са окружењем појели су део локалне уштеде.

T3A најјасније показује разлику између плаћања за покушај и плаћања за исход. Његов просечни трошак inference-а по покушају задатка пао је 17,1%. Али када су истраживачи цену свих покушаја, укључујући неуспехе, поделили бројем завршених задатака, просек је порастао са 68,70 на 73,97 хиљадитих делова долара по успеху. Тај раст од 7,7% има интервал неизвесности који обухвата нулу, па студија не утврђује прецизан основни раст. Ипак, показује да мања потрошња по покушају у овом окружењу није гарантовала нижи забележени трошак испоруке.

Просечно време задатка FastAgent-а готово да се није променило упркос много бржим одлукама. Са мање завршених задатака, време по испорученом успеху порасло је са 239,4 на 377,8 секунди. Верзија са Jev-ом донела је 44,1% више одлука и, за разлику од основне, извршавала један алат по кораку. Та разлика у дизајну део је тестиране интеграције и ограничава колико се јаз може приписати само Jev-у.

Аутори су прегледали одабране трагове извршавања да би разумели шта се догодило после лошег избора. У једном мобилном задатку верзија са Jev-ом изабрала је прекидач за Wi-Fi са нејасном ознаком и прогласила задатак завршеним пре достизања циља. У ALFWorld покретањима Reflexion-а, Jev је био успешан у више првих покушаја него основна верзија, али је поправио мање почетних неуспеха: 11 од 19, наспрам 25 од 26. Ти разломци се односе на различите скупове неуспелих покушаја. Показују зашто је способност агента да примети и поправи грешку важна поред цене његове прве одлуке.

Шта се променило

Најјасније је да су пријављене уштеде Jev-а остале видљиве на нивоу целог задатка тамо где је избор радњи чинио главни део посла, а завршетак остао висок. ReAct је био јефтинији и бржи по испорученом успеху. У мобилним интеграцијама, други позиви, време у окружењу и нижи завршетак умањили су или преокренули део користи. За градитеље система, рад нуди конкретно мерило: упоредити завршене задатке и ресурсе кроз све покушаје, па затим испитати опоравак и одлуке о заустављању. Цена позива или кашњење не могу да покажу да ли је ток рада испоручио више корисног посла.

Студија је користила текстуална запажања, ограничене изборе радњи, фиксне примерке задатака и три понављања са заједничким seed-ом. Трошкови користе наведене цене модела и сопствена правила обрачуна аутора. Агенти засновани на визуелним подацима, дужи токови рада и нове расподеле задатака нису обухваћени овим доказима. Рад процењује Jev у токовима рада агената; не тестира нити потврђује SubQ Snap.

Извори и додатна литература