Un nuevo estudio sobre Jev retoma una pregunta que quedó abierta tras la cobertura de BIG CHANGE de su lanzamiento en septiembre: ¿mejoran el trabajo completo unas elecciones de acciones más rápidas y baratas? En 4.500 ejecuciones, los investigadores encontraron una selección de acciones más barata en cada agente probado. En dos integraciones de agentes móviles, la finalización de tareas cayó lo suficiente como para cambiar la economía de un resultado entregado.

El preprint del 9 de octubre presenta un experimento informado por sus autores, no una réplica independiente ni una prueba de BIG CHANGE. Sus cinco familias de agentes trabajaron en dos entornos observados mediante texto: tareas domésticas de ALFWorld y tareas de aplicaciones móviles de AndroidWorld. Los investigadores ejecutaron cada configuración tres veces en instancias de tarea fijas. Sustituyeron por Jev el paso de selección de acciones y conservaron el flujo de trabajo general de cada agente, incluidas otras llamadas a modelos y la interacción con el entorno.

Dónde cambió la finalización

En ALFWorld, las variantes con Jev se mantuvieron cerca de sus configuraciones originales. ReAct completó el 96,02% de las tareas con Jev, frente al 97,51% de referencia; Reflexion completó el 98,01%, frente al 99,75%. Los investigadores también probaron un control que recibía las mismas acciones candidatas que Jev, pero utilizaba un LLM general para elegir entre ellas. Esto importa porque dar al agente una lista de candidatas cambia tanto la interfaz como el modelo de decisión.

Los resultados móviles fueron menos uniformes. La tasa de finalización de T3A cayó del 57,47% al 44,25% con Jev, una diferencia de 13,22 puntos porcentuales. FastAgent bajó del 50,00% al 31,90%, una diferencia de 18,10 puntos. Los intervalos bootstrap por clústeres de tareas del artículo para ambas diferencias quedaron completamente por debajo de cero. AutoDroid descendió del 18,68% al 16,38%, pero su intervalo incluía cero; ambas versiones completaron menos de una de cada cinco tareas. Son resultados de las integraciones probadas, no estimaciones para todos los agentes móviles.

Un intento más barato puede costar más por éxito

En las cinco familias, Jev redujo el coste medio de selección de acciones entre un 66,1% y un 78,4%, y el tiempo de decisión entre un 73,9% y un 81,5%. También cayó el coste total medio de las tareas observadas en cada familia, aunque menos. El razonamiento adicional, un mayor número de acciones y el tiempo dedicado a interactuar con el entorno absorbieron parte del ahorro local.

T3A ilustra con mayor claridad la diferencia entre pagar por un intento y pagar por un resultado. Su coste medio de inferencia por intento de tarea cayó un 17,1%. Pero cuando los investigadores dividieron el coste de todos los los intentos, incluidos los fallidos, entre el número de tareas completadas, la media subió de 68,70 a 73,97 milésimas de dólar por éxito. Ese aumento del 7,7% tiene un intervalo de incertidumbre que incluye cero, por lo que el estudio no establece un incremento subyacente preciso. Sí muestra que gastar menos por intento no garantizó un menor coste observado por resultado entregado en esta configuración.

El tiempo medio de tarea de FastAgent apenas cambió pese a que las decisiones fueron mucho más rápidas. Al completar menos tareas, el tiempo por éxito entregado subió de 239,4 a 377,8 segundos. La versión con Jev tomó un 44,1% más de decisiones y, a diferencia de la referencia, ejecutó una herramienta por paso. Esa diferencia de diseño forma parte de la integración probada y limita cuánto de la brecha puede atribuirse únicamente a Jev.

Los autores examinaron trazas seleccionadas para entender qué ocurrió después de una mala elección. En una tarea móvil, la versión con Jev eligió un interruptor Wi-Fi con una etiqueta ambigua y declaró la tarea completada antes de alcanzar el objetivo. En las ejecuciones de Reflexion en ALFWorld, Jev tuvo más éxito que la referencia en los primeros intentos, pero recuperó menos fallos iniciales: 11 de 19, frente a 25 de 26. Esas fracciones corresponden a conjuntos distintos de intentos fallidos. Ilustran por qué la capacidad de un agente para detectar y corregir un error importa más allá del precio de su primera decisión.

El gran cambio

El ahorro de decisión declarado por Jev se mantuvo con mayor claridad en el nivel de tarea cuando la selección de acciones dominaba el trabajo y la finalización seguía siendo alta. ReAct fue más barato y rápido por éxito entregado. En las integraciones móviles, otras llamadas, el tiempo en el entorno y una menor finalización redujeron o invirtieron parte del beneficio. Para quienes desarrollan agentes, el artículo propone una medición concreta: comparar las tareas completadas y los recursos en todos los intentos, y luego examinar la recuperación y las decisiones de parada. El precio o la latencia por llamada no revelan si un flujo de trabajo entregó más trabajo útil.

El estudio utilizó observaciones de texto, opciones de acción limitadas, instancias de tarea fijas y tres repeticiones con una semilla compartida. Sus cifras de coste emplean precios de modelos declarados y sus propias reglas contables. Los agentes basados en información visual, los flujos más largos y nuevas distribuciones de tareas quedan fuera de esta evidencia. El artículo evalúa Jev en flujos de trabajo de agentes; no prueba ni valida SubQ Snap.

Fuentes y lecturas adicionales