Новое исследование Jev продолжает вопрос, оставшийся после материала BIG CHANGE о сентябрьском запуске: улучшают ли более быстрые и дешёвые выборы действий выполнение всей задачи? В 4 500 запусках исследователи обнаружили снижение стоимости выбора действий у каждого протестированного агента. В двух интеграциях мобильных агентов завершение задач упало настолько, что изменилась экономика доставленного результата.

В препринте от 9 октября описан эксперимент, о котором сообщают сами авторы; это не независимое повторение и не тест BIG CHANGE. Пять семейств агентов работали в двух текстово наблюдаемых средах: бытовые задачи ALFWorld и задачи мобильных приложений AndroidWorld. Исследователи трижды запускали каждую конфигурацию на фиксированных экземплярах задач. Они заменили этап выбора действий на Jev, сохранив окружение и прочий рабочий процесс каждого агента, включая другие вызовы моделей и взаимодействие со средой.

Где изменилась доля завершения

В ALFWorld варианты с Jev оставались близки к исходным конфигурациям. ReAct с Jev завершил 96,02% задач против 97,51% в базовом варианте; Reflexion завершил 98,01% против 99,75%. Исследователи также проверили контрольный вариант: он получал те же действия-кандидаты, что и Jev, но выбирал между ними с помощью общей LLM. Это важно, поскольку список кандидатов меняет и интерфейс, и модель принятия решений.

Мобильные результаты оказались менее ровными. Доля завершения T3A с Jev снизилась с 57,47% до 44,25%, разница составила 13,22 процентного пункта. FastAgent снизился с 50,00% до 31,90%, разница — 18,10 пункта. Bootstrap-интервалы в статье, сгруппированные по кластерам задач, для обеих разниц целиком находились ниже нуля. AutoDroid снизился с 18,68% до 16,38%, но его интервал включал ноль; обе версии завершили меньше одной пятой задач. Это результаты испытанных интеграций, а не оценки для всех мобильных агентов.

Дешёвая попытка может обходиться дороже в пересчёте на успех

В пяти семействах Jev снизил среднюю стоимость выбора действий на 66,1–78,4%, а время принятия решения — на 73,9–81,5%. Средняя общая стоимость задачи также уменьшилась в каждой наблюдаемой семье, хотя и меньше. Дополнительные рассуждения, большее число действий и время взаимодействия со средой поглотили часть локальной экономии.

T3A нагляднее всего показывает разницу между оплатой попытки и оплатой результата. Средняя стоимость инференса на одну попытку задачи снизилась на 17,1%. Но когда исследователи разделили стоимость всех попыток, включая неудачные, на число завершённых задач, среднее выросло с 68,70 до 73,97 тысячной доли доллара за успех. Этот рост на 7,7% имеет интервал неопределённости, пересекающий ноль, поэтому исследование не устанавливает точный базовый рост. Оно показывает, что в данной конфигурации меньшие расходы на попытку не гарантировали снижения наблюдаемой стоимости результата.

Среднее время задачи FastAgent почти не изменилось, хотя решения стали намного быстрее. Из-за меньшего числа завершённых задач время на один доставленный успех выросло с 239,4 до 377,8 секунды. Версия Jev принимала решений на 44,1% больше и, в отличие от базовой, выполняла по одному инструменту за шаг. Это различие в дизайне входит в проверенную интеграцию и ограничивает долю разрыва, которую можно приписать одному Jev.

Авторы изучили отдельные трассы, чтобы понять, что происходило после неверного выбора. В одной мобильной задаче версия Jev выбрала переключатель Wi-Fi с неоднозначной подписью и объявила о завершении до достижения цели. В запусках Reflexion на ALFWorld Jev чаще базовой версии справлялся с задачами с первой попытки, но реже исправлял первоначальные ошибки: 11 из 19 против 25 из 26. Эти доли относятся к разным наборам неудачных попыток. Они показывают, почему способность агента заметить и исправить ошибку важна помимо стоимости первого решения.

Главное изменение

Заявленная экономия Jev на решениях наиболее явно сохранилась на уровне всей задачи там, где выбор действий составлял основную часть работы, а доля завершения оставалась высокой. ReAct был дешевле и быстрее на один доставленный успех. В мобильных интеграциях другие вызовы, время в среде и меньшая доля завершения уменьшили или свели на нет часть пользы. Для разработчиков статья предлагает конкретный способ измерения: сравнивать завершённые задачи и ресурсы во всех попытках, а затем изучать восстановление после ошибок и решения об остановке. Цена вызова или задержка не отвечают на вопрос, доставил ли рабочий процесс больше полезной работы.

В исследовании использовались текстовые наблюдения, ограниченный выбор действий, фиксированные экземпляры задач и три повтора с общим seed. Для расчётов стоимости взяты заявленные цены моделей и собственные правила учёта авторов. В эти доказательства не входят агенты, основанные на визуальном восприятии, более длинные рабочие процессы и новые распределения задач. Работа оценивает Jev в рабочих процессах агентов; SubQ Snap она не тестирует и не подтверждает.

Источники и дополнительная литература