Edición en Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Estudio de Jev: decisiones más baratas, menos tareas móviles completadas

> Un estudio de Jev con 4.500 ejecuciones encontró decisiones de agente más baratas, pero dos integraciones móviles completaron menos tareas y una gastó más por éxito según la media observada.

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Un nuevo estudio sobre Jev retoma una pregunta que quedó abierta tras [la cobertura de BIG CHANGE de su lanzamiento en septiembre](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida): ¿mejoran el trabajo completo unas elecciones de acciones más rápidas y baratas? En 4.500 ejecuciones, los investigadores encontraron una selección de acciones más barata en cada agente probado. En dos integraciones de agentes móviles, la finalización de tareas cayó lo suficiente como para cambiar la economía de un resultado entregado.

El [preprint del 9 de octubre](https://arxiv.org/html/2610.13092v1) presenta un experimento informado por sus autores, no una réplica independiente ni una prueba de BIG CHANGE. Sus cinco familias de agentes trabajaron en dos entornos observados mediante texto: tareas domésticas de ALFWorld y tareas de aplicaciones móviles de AndroidWorld. Los investigadores ejecutaron cada configuración tres veces en instancias de tarea fijas. Sustituyeron por Jev el paso de selección de acciones y conservaron el flujo de trabajo general de cada agente, incluidas otras llamadas a modelos y la interacción con el entorno.

## Dónde cambió la finalización

En ALFWorld, las variantes con Jev se mantuvieron cerca de sus configuraciones originales. ReAct completó el 96,02% de las tareas con Jev, frente al 97,51% de referencia; Reflexion completó el 98,01%, frente al 99,75%. Los investigadores también probaron un control que recibía las mismas acciones candidatas que Jev, pero utilizaba un LLM general para elegir entre ellas. Esto importa porque dar al agente una lista de candidatas cambia tanto la interfaz como el modelo de decisión.

Los resultados móviles fueron menos uniformes. La tasa de finalización de T3A cayó del 57,47% al 44,25% con Jev, una diferencia de 13,22 puntos porcentuales. FastAgent bajó del 50,00% al 31,90%, una diferencia de 18,10 puntos. Los intervalos bootstrap por clústeres de tareas del artículo para ambas diferencias quedaron completamente por debajo de cero. AutoDroid descendió del 18,68% al 16,38%, pero su intervalo incluía cero; ambas versiones completaron menos de una de cada cinco tareas. Son resultados de las integraciones probadas, no estimaciones para todos los agentes móviles.

## Un intento más barato puede costar más por éxito

En las cinco familias, Jev redujo el coste medio de selección de acciones entre un 66,1% y un 78,4%, y el tiempo de decisión entre un 73,9% y un 81,5%. También cayó el coste total medio de las tareas observadas en cada familia, aunque menos. El razonamiento adicional, un mayor número de acciones y el tiempo dedicado a interactuar con el entorno absorbieron parte del ahorro local.

T3A ilustra con mayor claridad la diferencia entre pagar por un intento y pagar por un resultado. Su coste medio de inferencia por intento de tarea cayó un 17,1%. Pero cuando los investigadores dividieron el coste de *todos los* los intentos, incluidos los fallidos, entre el número de tareas completadas, la media subió de 68,70 a 73,97 milésimas de dólar por éxito. Ese aumento del 7,7% tiene un intervalo de incertidumbre que incluye cero, por lo que el estudio no establece un incremento subyacente preciso. Sí muestra que gastar menos por intento no garantizó un menor coste observado por resultado entregado en esta configuración.

El tiempo medio de tarea de FastAgent apenas cambió pese a que las decisiones fueron mucho más rápidas. Al completar menos tareas, el tiempo por éxito entregado subió de 239,4 a 377,8 segundos. La versión con Jev tomó un 44,1% más de decisiones y, a diferencia de la referencia, ejecutó una herramienta por paso. Esa diferencia de diseño forma parte de la integración probada y limita cuánto de la brecha puede atribuirse únicamente a Jev.

Los autores examinaron trazas seleccionadas para entender qué ocurrió después de una mala elección. En una tarea móvil, la versión con Jev eligió un interruptor Wi-Fi con una etiqueta ambigua y declaró la tarea completada antes de alcanzar el objetivo. En las ejecuciones de Reflexion en ALFWorld, Jev tuvo más éxito que la referencia en los primeros intentos, pero recuperó menos fallos iniciales: 11 de 19, frente a 25 de 26. Esas fracciones corresponden a conjuntos distintos de intentos fallidos. Ilustran por qué la capacidad de un agente para detectar y corregir un error importa más allá del precio de su primera decisión.

## El gran cambio

El ahorro de decisión declarado por Jev se mantuvo con mayor claridad en el nivel de tarea cuando la selección de acciones dominaba el trabajo y la finalización seguía siendo alta. ReAct fue más barato y rápido por éxito entregado. En las integraciones móviles, otras llamadas, el tiempo en el entorno y una menor finalización redujeron o invirtieron parte del beneficio. Para quienes desarrollan agentes, el artículo propone una medición concreta: comparar las tareas completadas y los recursos en *todos* los intentos, y luego examinar la recuperación y las decisiones de parada. El precio o la latencia por llamada no revelan si un flujo de trabajo entregó más trabajo útil.

El estudio utilizó observaciones de texto, opciones de acción limitadas, instancias de tarea fijas y tres repeticiones con una semilla compartida. Sus cifras de coste emplean precios de modelos declarados y sus propias reglas contables. Los agentes basados en información visual, los flujos más largos y nuevas distribuciones de tareas quedan fuera de esta evidencia. El artículo evalúa Jev en flujos de trabajo de agentes; no prueba ni valida SubQ Snap.

## Fuentes y lecturas adicionales

- [El preprint del 9 de octubre de Ling y sus colegas, «Cuando las decisiones más rápidas no hacen mejores a los agentes»](https://arxiv.org/html/2610.13092v1) presenta el experimento, las tablas completas, el análisis de trazas y las limitaciones. El [resumen con versión](https://arxiv.org/abs/2610.13092v1) lo identifica como v1, publicado el 9 de octubre de 2026. Los resultados aquí son los hallazgos informados por sus autores; BIG CHANGE no repitió el experimento.
- [El reportaje de BIG CHANGE sobre el lanzamiento de Jev](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) explica la propuesta inicial de TypeSafe AI sobre su modelo de decisión. El nuevo preprint amplía esa historia al medir tareas completas de agentes en lugar de las afirmaciones del lanzamiento.

## Sources

- [Ling et al., «Cuando las decisiones más rápidas no hacen mejores a los agentes: estudio empírico de Jev en flujos de trabajo de agentes»](https://arxiv.org/html/2610.13092v1) — Preprint v1 del 9 de octubre de 2026. Fuente principal para el diseño, todos los resultados declarados, el análisis de trazas y las limitaciones. Experimentos informados por sus autores; BIG CHANGE no los replicó.
- [Registro de versión de arXiv para 2610.13092v1](https://arxiv.org/abs/2610.13092v1) — El resumen con versión confirma la identidad v1 del 9 de octubre y el alcance general del estudio. El artículo HTML completo aporta los detalles numéricos.
- [BIG CHANGE, La apuesta mayor de Jev: decisiones de IA dentro del software que ya usamos](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — Artículo publicado #4 del 22 de septiembre de 2026. Antecedente directo fechado y contexto de la propuesta original de Jev de TypeSafe AI, no una verificación del nuevo estudio.