Une nouvelle étude sur Jev reprend une question laissée ouverte par la couverture de BIG CHANGE consacrée à son lancement en septembre : des choix d’actions plus rapides et moins coûteux améliorent-ils l’ensemble du travail ? Sur 4 500 exécutions, les chercheurs ont constaté une sélection d’actions moins coûteuse pour chaque agent testé. Dans deux intégrations d’agents mobiles, l’achèvement des tâches a assez fortement baissé pour changer l’économie d’un résultat livré.

Le préprint du 9 octobre présente une expérience rapportée par ses auteurs, et non une réplication indépendante ou un test de BIG CHANGE. Les cinq familles d’agents ont travaillé dans deux environnements observés par le texte : les tâches domestiques d’ALFWorld et les tâches d’applications mobiles d’AndroidWorld. Les chercheurs ont exécuté trois fois chaque configuration sur des instances de tâches fixes. Ils ont remplacé par Jev l’étape de sélection d’actions tout en conservant le flux de travail environnant de chaque agent, notamment les autres appels aux modèles et les interactions avec l’environnement.

Où l’achèvement a changé

Sur ALFWorld, les variantes avec Jev sont restées proches des configurations d’origine. ReAct a achevé 96,02 % des tâches avec Jev, contre 97,51 % dans sa version de référence ; Reflexion en a achevé 98,01 %, contre 99,75 %. Les chercheurs ont aussi testé un contrôle recevant les mêmes actions candidates que Jev, mais utilisant un LLM général pour choisir parmi elles. C’est important, car fournir une liste d’actions candidates à l’agent modifie à la fois l’interface et le modèle de décision.

Les résultats mobiles étaient moins homogènes. Le taux d’achèvement de T3A est passé de 57,47 % à 44,25 % avec Jev, soit un écart de 13,22 points de pourcentage. Celui de FastAgent est passé de 50,00 % à 31,90 %, soit 18,10 points. Les intervalles bootstrap du papier, regroupés par grappes de tâches, étaient entièrement inférieurs à zéro pour les deux différences. AutoDroid est passé de 18,68 % à 16,38 %, mais son intervalle incluait zéro ; les deux versions ont achevé moins d’une tâche sur cinq. Ce sont les résultats des intégrations testées, pas des estimations pour tous les agents mobiles.

Une tentative moins coûteuse peut revenir plus cher par réussite

Dans les cinq familles, Jev a réduit de 66,1 % à 78,4 % le coût moyen de sélection des actions et de 73,9 % à 81,5 % le temps de décision. Le coût total moyen des tâches observées a également baissé dans chaque famille, mais moins. Le raisonnement supplémentaire, davantage d’actions et le temps passé à interagir avec l’environnement ont absorbé une partie de l’économie locale.

T3A illustre le plus clairement la différence entre payer pour une tentative et payer pour un résultat. Son coût moyen d’inférence par tentative de tâche a baissé de 17,1 %. Mais lorsque les chercheurs ont divisé le coût de toutes les tentatives, échecs compris, par le nombre de tâches achevées, la moyenne est passée de 68,70 à 73,97 millièmes de dollar par réussite. Cette hausse de 7,7 % a un intervalle d’incertitude qui traverse zéro ; l’étude n’établit donc pas une hausse sous-jacente précise. Elle montre bien qu’une dépense plus faible par tentative ne garantissait pas un coût de livraison observé moindre dans cette configuration.

Le temps moyen de tâche de FastAgent a presque pas changé malgré des décisions bien plus rapides. Comme moins de tâches ont été achevées, le temps par réussite livrée est passé de 239,4 à 377,8 secondes. La version Jev a pris 44,1 % de décisions en plus et, contrairement à la référence, a exécuté un outil par étape. Cette différence de conception fait partie de l’intégration testée et limite la part de l’écart que l’on peut attribuer à Jev seul.

Les auteurs ont examiné des traces sélectionnées pour comprendre ce qui s’est passé après un mauvais choix. Dans une tâche mobile, la version Jev a choisi un interrupteur Wi-Fi au libellé ambigu et déclaré la tâche terminée avant d’avoir atteint l’objectif. Dans les exécutions de Reflexion sur ALFWorld, Jev a réussi davantage de premières tentatives que la référence, mais a récupéré moins d’échecs initiaux : 11 sur 19, contre 25 sur 26. Ces fractions portent sur des ensembles différents de tentatives échouées. Elles illustrent pourquoi la capacité d’un agent à repérer et réparer une erreur compte au-delà du prix de sa première décision.

Le grand changement

Les économies de décision attribuées à Jev se sont maintenues le plus clairement au niveau de la tâche lorsque la sélection d’actions dominait le travail et que le taux d’achèvement restait élevé. ReAct coûtait moins et allait plus vite par réussite livrée. Dans les intégrations mobiles, les autres appels, le temps passé dans l’environnement et la baisse du taux d’achèvement ont réduit ou inversé une partie de l’avantage. Pour les concepteurs, l’article propose une mesure concrète : comparer les tâches achevées et les ressources sur toutes les tentatives, puis examiner la récupération et les décisions d’arrêt. Le prix ou la latence par appel ne permet pas de savoir si un flux de travail a livré davantage de travail utile.

L’étude s’appuyait sur des observations textuelles, des choix d’actions bornés, des instances de tâches fixes et trois répétitions avec une seed commune. Les coûts utilisent les prix des modèles indiqués et les règles comptables propres aux auteurs. Les agents fondés sur la vision, les flux plus longs et de nouvelles distributions de tâches restent hors du champ de ces éléments. L’article évalue Jev dans des flux de travail d’agents ; il ne teste ni ne valide SubQ Snap.

Sources et lectures complémentaires