Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Исследование Jev: решения дешевле, мобильных задач завершено меньше

> Исследование Jev охватило 4 500 запусков и показало, что решения агентов стали дешевле. Однако две мобильные интеграции завершили меньше задач, а одна по наблюдаемому среднему тратила больше на каждый успех.

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Новое исследование Jev продолжает вопрос, оставшийся после [материала BIG CHANGE о сентябрьском запуске](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida): улучшают ли более быстрые и дешёвые выборы действий выполнение всей задачи? В 4 500 запусках исследователи обнаружили снижение стоимости выбора действий у каждого протестированного агента. В двух интеграциях мобильных агентов завершение задач упало настолько, что изменилась экономика доставленного результата.

В [препринте от 9 октября](https://arxiv.org/html/2610.13092v1) описан эксперимент, о котором сообщают сами авторы; это не независимое повторение и не тест BIG CHANGE. Пять семейств агентов работали в двух текстово наблюдаемых средах: бытовые задачи ALFWorld и задачи мобильных приложений AndroidWorld. Исследователи трижды запускали каждую конфигурацию на фиксированных экземплярах задач. Они заменили этап выбора действий на Jev, сохранив окружение и прочий рабочий процесс каждого агента, включая другие вызовы моделей и взаимодействие со средой.

## Где изменилась доля завершения

В ALFWorld варианты с Jev оставались близки к исходным конфигурациям. ReAct с Jev завершил 96,02% задач против 97,51% в базовом варианте; Reflexion завершил 98,01% против 99,75%. Исследователи также проверили контрольный вариант: он получал те же действия-кандидаты, что и Jev, но выбирал между ними с помощью общей LLM. Это важно, поскольку список кандидатов меняет и интерфейс, и модель принятия решений.

Мобильные результаты оказались менее ровными. Доля завершения T3A с Jev снизилась с 57,47% до 44,25%, разница составила 13,22 процентного пункта. FastAgent снизился с 50,00% до 31,90%, разница — 18,10 пункта. Bootstrap-интервалы в статье, сгруппированные по кластерам задач, для обеих разниц целиком находились ниже нуля. AutoDroid снизился с 18,68% до 16,38%, но его интервал включал ноль; обе версии завершили меньше одной пятой задач. Это результаты испытанных интеграций, а не оценки для всех мобильных агентов.

## Дешёвая попытка может обходиться дороже в пересчёте на успех

В пяти семействах Jev снизил среднюю стоимость выбора действий на 66,1–78,4%, а время принятия решения — на 73,9–81,5%. Средняя общая стоимость задачи также уменьшилась в каждой наблюдаемой семье, хотя и меньше. Дополнительные рассуждения, большее число действий и время взаимодействия со средой поглотили часть локальной экономии.

T3A нагляднее всего показывает разницу между оплатой попытки и оплатой результата. Средняя стоимость инференса на одну попытку задачи снизилась на 17,1%. Но когда исследователи разделили стоимость *всех* попыток, включая неудачные, на число завершённых задач, среднее выросло с 68,70 до 73,97 тысячной доли доллара за успех. Этот рост на 7,7% имеет интервал неопределённости, пересекающий ноль, поэтому исследование не устанавливает точный базовый рост. Оно показывает, что в данной конфигурации меньшие расходы на попытку не гарантировали снижения наблюдаемой стоимости результата.

Среднее время задачи FastAgent почти не изменилось, хотя решения стали намного быстрее. Из-за меньшего числа завершённых задач время на один доставленный успех выросло с 239,4 до 377,8 секунды. Версия Jev принимала решений на 44,1% больше и, в отличие от базовой, выполняла по одному инструменту за шаг. Это различие в дизайне входит в проверенную интеграцию и ограничивает долю разрыва, которую можно приписать одному Jev.

Авторы изучили отдельные трассы, чтобы понять, что происходило после неверного выбора. В одной мобильной задаче версия Jev выбрала переключатель Wi-Fi с неоднозначной подписью и объявила о завершении до достижения цели. В запусках Reflexion на ALFWorld Jev чаще базовой версии справлялся с задачами с первой попытки, но реже исправлял первоначальные ошибки: 11 из 19 против 25 из 26. Эти доли относятся к разным наборам неудачных попыток. Они показывают, почему способность агента заметить и исправить ошибку важна помимо стоимости первого решения.

## Главное изменение

Заявленная экономия Jev на решениях наиболее явно сохранилась на уровне всей задачи там, где выбор действий составлял основную часть работы, а доля завершения оставалась высокой. ReAct был дешевле и быстрее на один доставленный успех. В мобильных интеграциях другие вызовы, время в среде и меньшая доля завершения уменьшили или свели на нет часть пользы. Для разработчиков статья предлагает конкретный способ измерения: сравнивать завершённые задачи и ресурсы во *всех* попытках, а затем изучать восстановление после ошибок и решения об остановке. Цена вызова или задержка не отвечают на вопрос, доставил ли рабочий процесс больше полезной работы.

В исследовании использовались текстовые наблюдения, ограниченный выбор действий, фиксированные экземпляры задач и три повтора с общим seed. Для расчётов стоимости взяты заявленные цены моделей и собственные правила учёта авторов. В эти доказательства не входят агенты, основанные на визуальном восприятии, более длинные рабочие процессы и новые распределения задач. Работа оценивает Jev в рабочих процессах агентов; SubQ Snap она не тестирует и не подтверждает.

## Источники и дополнительная литература

- [Препринт Ling и коллег от 9 октября «Когда более быстрые решения не делают агентов лучше»](https://arxiv.org/html/2610.13092v1) содержит описание эксперимента, полные таблицы, анализ трасс и ограничения. [Аннотация с указанием версии](https://arxiv.org/abs/2610.13092v1) обозначает его как v1, опубликованную 9 октября 2026 года. Приведённые здесь результаты сообщены авторами; BIG CHANGE не повторяла эксперимент.
- [Материал BIG CHANGE о запуске Jev](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) объясняет первоначальное предложение TypeSafe AI о модели принятия решений. Новый препринт продолжает эту историю, измеряя полные задачи агентов, а не заявления при запуске.

## Sources

- [Ling и др., «Когда более быстрые решения не делают агентов лучше: эмпирическое исследование Jev в рабочих процессах агентов»](https://arxiv.org/html/2610.13092v1) — Препринт v1 от 9 октября 2026 года. Основной источник по дизайну, всем опубликованным результатам, анализу трасс и ограничениям. Эксперименты описаны авторами; BIG CHANGE их не воспроизводила.
- [Запись версии arXiv для 2610.13092v1](https://arxiv.org/abs/2610.13092v1) — Аннотация с указанием версии подтверждает, что это v1 от 9 октября, и описывает общий охват исследования. Полная HTML-версия статьи содержит числовые подробности.
- [BIG CHANGE, Более крупная ставка Jev: решения ИИ внутри программ, которыми мы уже пользуемся](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — Опубликованная статья № 4 от 22 сентября 2026 года. Это прямой предшествующий по дате материал и контекст первоначального предложения TypeSafe AI о Jev, но не подтверждение нового исследования.