AI-translated from English; not yet reviewed by a fluent editor.

# Estudo de Jev: decisões mais baratas, menos tarefas móveis concluídas

> Um estudo de Jev com 4.500 execuções encontrou decisões mais baratas dos agentes, mas duas integrações móveis concluíram menos tarefas e uma gastou mais por sucesso, segundo a média observada.

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Um novo estudo sobre Jev retoma uma questão deixada em aberto por [a cobertura da BIG CHANGE sobre o seu lançamento em setembro](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida): escolhas de ações mais rápidas e baratas melhoram o trabalho completo? Em 4.500 execuções, os investigadores encontraram uma seleção de ações mais barata em todos os agentes testados. Em duas integrações de agentes móveis, a conclusão de tarefas caiu o suficiente para alterar a economia de um resultado entregue.

O [preprint de 9 de outubro](https://arxiv.org/html/2610.13092v1) apresenta uma experiência relatada pelos autores, não uma replicação independente nem um teste da BIG CHANGE. As cinco famílias de agentes trabalharam em dois ambientes observados por texto: tarefas domésticas do ALFWorld e tarefas de aplicações móveis do AndroidWorld. Os investigadores executaram cada configuração três vezes em instâncias fixas de tarefas. Substituíram por Jev a etapa de seleção de ações, mantendo o fluxo de trabalho envolvente de cada agente, incluindo outras chamadas a modelos e interação com o ambiente.

## Onde a conclusão mudou

No ALFWorld, as variantes com Jev mantiveram-se próximas das configurações originais. O ReAct concluiu 96,02% das tarefas com Jev, face a 97,51% na versão de referência; o Reflexion concluiu 98,01%, face a 99,75%. Os investigadores testaram também um controlo que recebeu as mesmas ações candidatas que o Jev, mas usou um LLM geral para escolher entre elas. Isto importa porque dar ao agente uma lista de ações candidatas altera tanto a interface como o modelo de decisão.

Os resultados móveis foram menos uniformes. A taxa de conclusão do T3A caiu de 57,47% para 44,25% com o Jev, uma diferença de 13,22 pontos percentuais. O FastAgent caiu de 50,00% para 31,90%, uma diferença de 18,10 pontos. Os intervalos bootstrap por agrupamento de tarefas do artigo para ambas as diferenças ficaram totalmente abaixo de zero. O AutoDroid desceu de 18,68% para 16,38%, mas o seu intervalo incluía zero; ambas as versões concluíram menos de uma em cada cinco tarefas. São resultados das integrações testadas, não estimativas para todos os agentes móveis.

## Uma tentativa mais barata pode custar mais por sucesso

Nas cinco famílias, Jev reduziu o custo médio de seleção de ações entre 66,1% e 78,4% e o tempo de decisão entre 73,9% e 81,5%. O custo total médio das tarefas também baixou em cada família observada, embora menos. O raciocínio adicional, mais ações e o tempo de interação com o ambiente absorveram parte da poupança local.

O T3A é o exemplo mais claro da diferença entre pagar por uma tentativa e pagar por um resultado. O seu custo médio de inferência por tentativa de tarefa caiu 17,1%. Mas quando os investigadores dividiram o custo de *todas as* tentativas, incluindo as falhadas, pelo número de tarefas concluídas, a média subiu de 68,70 para 73,97 milésimos de dólar por sucesso. Esse aumento de 7,7% tem um intervalo de incerteza que abrange zero, pelo que o estudo não estabelece um aumento subjacente preciso. Mostra, porém, que gastar menos por tentativa não garantiu um custo observado mais baixo por resultado entregue nesta configuração.

O tempo médio de tarefa do FastAgent quase não mudou apesar de as decisões serem muito mais rápidas. Com menos tarefas concluídas, o tempo por sucesso entregue subiu de 239,4 para 377,8 segundos. A versão Jev tomou mais 44,1% de decisões e, ao contrário da versão de referência, executou uma ferramenta por etapa. Essa diferença de conceção faz parte da integração testada e limita quanto da diferença pode ser atribuído apenas ao Jev.

Os autores analisaram alguns registos selecionados para perceber o que aconteceu depois de uma escolha errada. Numa tarefa móvel, a versão Jev escolheu um botão de Wi-Fi com rótulo ambíguo e declarou a conclusão antes de atingir o objetivo. Nas execuções de Reflexion no ALFWorld, o Jev teve mais sucesso nas primeiras tentativas do que a versão de referência, mas recuperou menos falhas iniciais: 11 em 19, face a 25 em 26. Essas frações dizem respeito a conjuntos diferentes de tentativas falhadas. Ilustram porque importa a capacidade de um agente detetar e corrigir um erro, para além do preço da primeira decisão.

## A grande mudança

A poupança de decisão atribuída ao Jev manteve-se mais claramente ao nível da tarefa quando a seleção de ações dominava o trabalho e a conclusão permanecia elevada. O ReAct foi mais barato e mais rápido por sucesso entregue. Nas integrações móveis, outras chamadas, o tempo no ambiente e a menor conclusão reduziram ou inverteram parte do benefício. Para quem constrói estes sistemas, o artigo propõe uma medição concreta: comparar tarefas concluídas e recursos ao longo de *todas* as tentativas e, depois, analisar a recuperação e as decisões de paragem. O preço ou a latência por chamada não permitem saber se um fluxo de trabalho entregou mais trabalho útil.

O estudo usou observações textuais, escolhas de ação limitadas, instâncias fixas de tarefas e três repetições com uma seed comum. Os valores de custo utilizam preços de modelos declarados e regras contabilísticas próprias. Agentes com base visual, fluxos de trabalho mais longos e novas distribuições de tarefas ficam fora desta evidência. O artigo avalia Jev em fluxos de trabalho de agentes; não testa nem valida o SubQ Snap.

## Fontes e leituras adicionais

- [O preprint de 9 de outubro de Ling e colegas, «Quando decisões mais rápidas não tornam os agentes melhores»](https://arxiv.org/html/2610.13092v1) relata a experiência, as tabelas completas, a análise dos registos e as limitações. O [resumo com versão](https://arxiv.org/abs/2610.13092v1) identifica-o como v1, publicado a 9 de outubro de 2026. Os resultados aqui são conclusões relatadas pelos autores; a BIG CHANGE não repetiu a experiência.
- [A reportagem da BIG CHANGE sobre o lançamento de Jev](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) explica a proposta inicial da TypeSafe AI para o modelo de decisão. O novo preprint prolonga essa história ao medir tarefas completas dos agentes em vez de afirmações feitas no lançamento.

## Sources

- [Ling et al., «Quando decisões mais rápidas não tornam os agentes melhores: um estudo empírico de Jev em fluxos de trabalho de agentes»](https://arxiv.org/html/2610.13092v1) — Preprint v1 de 9 de outubro de 2026. Fonte principal para o desenho, todos os resultados relatados, a análise dos registos e as limitações. Experiências relatadas pelos autores; não foram replicadas pela BIG CHANGE.
- [Registo da versão arXiv de 2610.13092v1](https://arxiv.org/abs/2610.13092v1) — O resumo com versão confirma a identidade v1 de 9 de outubro e o âmbito geral do estudo. O artigo HTML completo fornece os detalhes numéricos.
- [BIG CHANGE, A aposta maior de Jev: decisões de IA no software que já usamos](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — Artigo publicado n.º 4, de 22 de setembro de 2026. Antecedente direto datado e contexto para a proposta original da TypeSafe AI sobre Jev, não uma verificação do novo estudo.