AI-translated from English; not yet reviewed by a fluent editor.

# Étude sur Jev : décisions moins coûteuses, moins de tâches mobiles achevées

> Une étude de Jev portant sur 4 500 exécutions a constaté que les décisions des agents coûtaient moins cher, mais que deux intégrations mobiles achevaient moins de tâches et que l’une dépensait davantage par réussite selon la moyenne observée.

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Une nouvelle étude sur Jev reprend une question laissée ouverte par [la couverture de BIG CHANGE consacrée à son lancement en septembre](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) : des choix d’actions plus rapides et moins coûteux améliorent-ils l’ensemble du travail ? Sur 4 500 exécutions, les chercheurs ont constaté une sélection d’actions moins coûteuse pour chaque agent testé. Dans deux intégrations d’agents mobiles, l’achèvement des tâches a assez fortement baissé pour changer l’économie d’un résultat livré.

Le [préprint du 9 octobre](https://arxiv.org/html/2610.13092v1) présente une expérience rapportée par ses auteurs, et non une réplication indépendante ou un test de BIG CHANGE. Les cinq familles d’agents ont travaillé dans deux environnements observés par le texte : les tâches domestiques d’ALFWorld et les tâches d’applications mobiles d’AndroidWorld. Les chercheurs ont exécuté trois fois chaque configuration sur des instances de tâches fixes. Ils ont remplacé par Jev l’étape de sélection d’actions tout en conservant le flux de travail environnant de chaque agent, notamment les autres appels aux modèles et les interactions avec l’environnement.

## Où l’achèvement a changé

Sur ALFWorld, les variantes avec Jev sont restées proches des configurations d’origine. ReAct a achevé 96,02 % des tâches avec Jev, contre 97,51 % dans sa version de référence ; Reflexion en a achevé 98,01 %, contre 99,75 %. Les chercheurs ont aussi testé un contrôle recevant les mêmes actions candidates que Jev, mais utilisant un LLM général pour choisir parmi elles. C’est important, car fournir une liste d’actions candidates à l’agent modifie à la fois l’interface et le modèle de décision.

Les résultats mobiles étaient moins homogènes. Le taux d’achèvement de T3A est passé de 57,47 % à 44,25 % avec Jev, soit un écart de 13,22 points de pourcentage. Celui de FastAgent est passé de 50,00 % à 31,90 %, soit 18,10 points. Les intervalles bootstrap du papier, regroupés par grappes de tâches, étaient entièrement inférieurs à zéro pour les deux différences. AutoDroid est passé de 18,68 % à 16,38 %, mais son intervalle incluait zéro ; les deux versions ont achevé moins d’une tâche sur cinq. Ce sont les résultats des intégrations testées, pas des estimations pour tous les agents mobiles.

## Une tentative moins coûteuse peut revenir plus cher par réussite

Dans les cinq familles, Jev a réduit de 66,1 % à 78,4 % le coût moyen de sélection des actions et de 73,9 % à 81,5 % le temps de décision. Le coût total moyen des tâches observées a également baissé dans chaque famille, mais moins. Le raisonnement supplémentaire, davantage d’actions et le temps passé à interagir avec l’environnement ont absorbé une partie de l’économie locale.

T3A illustre le plus clairement la différence entre payer pour une tentative et payer pour un résultat. Son coût moyen d’inférence par tentative de tâche a baissé de 17,1 %. Mais lorsque les chercheurs ont divisé le coût de  *toutes les* tentatives, échecs compris, par le nombre de tâches achevées, la moyenne est passée de 68,70 à 73,97 millièmes de dollar par réussite. Cette hausse de 7,7 % a un intervalle d’incertitude qui traverse zéro ; l’étude n’établit donc pas une hausse sous-jacente précise. Elle montre bien qu’une dépense plus faible par tentative ne garantissait pas un coût de livraison observé moindre dans cette configuration.

Le temps moyen de tâche de FastAgent a presque pas changé malgré des décisions bien plus rapides. Comme moins de tâches ont été achevées, le temps par réussite livrée est passé de 239,4 à 377,8 secondes. La version Jev a pris 44,1 % de décisions en plus et, contrairement à la référence, a exécuté un outil par étape. Cette différence de conception fait partie de l’intégration testée et limite la part de l’écart que l’on peut attribuer à Jev seul.

Les auteurs ont examiné des traces sélectionnées pour comprendre ce qui s’est passé après un mauvais choix. Dans une tâche mobile, la version Jev a choisi un interrupteur Wi-Fi au libellé ambigu et déclaré la tâche terminée avant d’avoir atteint l’objectif. Dans les exécutions de Reflexion sur ALFWorld, Jev a réussi davantage de premières tentatives que la référence, mais a récupéré moins d’échecs initiaux : 11 sur 19, contre 25 sur 26. Ces fractions portent sur des ensembles différents de tentatives échouées. Elles illustrent pourquoi la capacité d’un agent à repérer et réparer une erreur compte au-delà du prix de sa première décision.

## Le grand changement

Les économies de décision attribuées à Jev se sont maintenues le plus clairement au niveau de la tâche lorsque la sélection d’actions dominait le travail et que le taux d’achèvement restait élevé. ReAct coûtait moins et allait plus vite par réussite livrée. Dans les intégrations mobiles, les autres appels, le temps passé dans l’environnement et la baisse du taux d’achèvement ont réduit ou inversé une partie de l’avantage. Pour les concepteurs, l’article propose une mesure concrète : comparer les tâches achevées et les ressources sur  *toutes* les tentatives, puis examiner la récupération et les décisions d’arrêt. Le prix ou la latence par appel ne permet pas de savoir si un flux de travail a livré davantage de travail utile.

L’étude s’appuyait sur des observations textuelles, des choix d’actions bornés, des instances de tâches fixes et trois répétitions avec une seed commune. Les coûts utilisent les prix des modèles indiqués et les règles comptables propres aux auteurs. Les agents fondés sur la vision, les flux plus longs et de nouvelles distributions de tâches restent hors du champ de ces éléments. L’article évalue Jev dans des flux de travail d’agents ; il ne teste ni ne valide SubQ Snap.

## Sources et lectures complémentaires

- [Le préprint du 9 octobre de Ling et ses collègues, « Quand des décisions plus rapides ne rendent pas les agents meilleurs »](https://arxiv.org/html/2610.13092v1)présente l’expérience, les tableaux complets, l’analyse des traces et les limites. Le [résumé avec version](https://arxiv.org/abs/2610.13092v1)l’identifie comme v1, publié le 9 octobre 2026. Les résultats ici sont ceux rapportés par les auteurs ; BIG CHANGE n’a pas relancé l’expérience.
- [Le reportage de BIG CHANGE sur le lancement de Jev](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida)explique la proposition initiale de TypeSafe AI pour son modèle de décision. Le nouveau préprint prolonge cette histoire en mesurant des tâches complètes d’agents plutôt que les affirmations du lancement.

## Sources

- [Ling et al., « Quand des décisions plus rapides ne rendent pas les agents meilleurs : étude empirique de Jev dans des flux de travail d’agents »](https://arxiv.org/html/2610.13092v1) — Préprint v1 du 9 octobre 2026. Source principale sur la conception, tous les résultats publiés, l’analyse des traces et les limites. Expériences rapportées par les auteurs ; BIG CHANGE ne les a pas reproduites.
- [Notice de version arXiv pour 2610.13092v1](https://arxiv.org/abs/2610.13092v1) — Le résumé avec version confirme l’identité v1 du 9 octobre et le périmètre général de l’étude. L’article HTML complet fournit les détails chiffrés.
- [BIG CHANGE, Le pari plus ambitieux de Jev : des décisions d’IA dans les logiciels que nous utilisons déjà](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — Article publié n° 4 du 22 septembre 2026. Article antérieur direct, daté, qui contextualise la proposition initiale de TypeSafe AI sur Jev, mais ne vérifie pas la nouvelle étude.
