Um novo estudo sobre Jev retoma uma questão deixada em aberto por a cobertura da BIG CHANGE sobre o seu lançamento em setembro: escolhas de ações mais rápidas e baratas melhoram o trabalho completo? Em 4.500 execuções, os investigadores encontraram uma seleção de ações mais barata em todos os agentes testados. Em duas integrações de agentes móveis, a conclusão de tarefas caiu o suficiente para alterar a economia de um resultado entregue.

O preprint de 9 de outubro apresenta uma experiência relatada pelos autores, não uma replicação independente nem um teste da BIG CHANGE. As cinco famílias de agentes trabalharam em dois ambientes observados por texto: tarefas domésticas do ALFWorld e tarefas de aplicações móveis do AndroidWorld. Os investigadores executaram cada configuração três vezes em instâncias fixas de tarefas. Substituíram por Jev a etapa de seleção de ações, mantendo o fluxo de trabalho envolvente de cada agente, incluindo outras chamadas a modelos e interação com o ambiente.

Onde a conclusão mudou

No ALFWorld, as variantes com Jev mantiveram-se próximas das configurações originais. O ReAct concluiu 96,02% das tarefas com Jev, face a 97,51% na versão de referência; o Reflexion concluiu 98,01%, face a 99,75%. Os investigadores testaram também um controlo que recebeu as mesmas ações candidatas que o Jev, mas usou um LLM geral para escolher entre elas. Isto importa porque dar ao agente uma lista de ações candidatas altera tanto a interface como o modelo de decisão.

Os resultados móveis foram menos uniformes. A taxa de conclusão do T3A caiu de 57,47% para 44,25% com o Jev, uma diferença de 13,22 pontos percentuais. O FastAgent caiu de 50,00% para 31,90%, uma diferença de 18,10 pontos. Os intervalos bootstrap por agrupamento de tarefas do artigo para ambas as diferenças ficaram totalmente abaixo de zero. O AutoDroid desceu de 18,68% para 16,38%, mas o seu intervalo incluía zero; ambas as versões concluíram menos de uma em cada cinco tarefas. São resultados das integrações testadas, não estimativas para todos os agentes móveis.

Uma tentativa mais barata pode custar mais por sucesso

Nas cinco famílias, Jev reduziu o custo médio de seleção de ações entre 66,1% e 78,4% e o tempo de decisão entre 73,9% e 81,5%. O custo total médio das tarefas também baixou em cada família observada, embora menos. O raciocínio adicional, mais ações e o tempo de interação com o ambiente absorveram parte da poupança local.

O T3A é o exemplo mais claro da diferença entre pagar por uma tentativa e pagar por um resultado. O seu custo médio de inferência por tentativa de tarefa caiu 17,1%. Mas quando os investigadores dividiram o custo de todas as tentativas, incluindo as falhadas, pelo número de tarefas concluídas, a média subiu de 68,70 para 73,97 milésimos de dólar por sucesso. Esse aumento de 7,7% tem um intervalo de incerteza que abrange zero, pelo que o estudo não estabelece um aumento subjacente preciso. Mostra, porém, que gastar menos por tentativa não garantiu um custo observado mais baixo por resultado entregue nesta configuração.

O tempo médio de tarefa do FastAgent quase não mudou apesar de as decisões serem muito mais rápidas. Com menos tarefas concluídas, o tempo por sucesso entregue subiu de 239,4 para 377,8 segundos. A versão Jev tomou mais 44,1% de decisões e, ao contrário da versão de referência, executou uma ferramenta por etapa. Essa diferença de conceção faz parte da integração testada e limita quanto da diferença pode ser atribuído apenas ao Jev.

Os autores analisaram alguns registos selecionados para perceber o que aconteceu depois de uma escolha errada. Numa tarefa móvel, a versão Jev escolheu um botão de Wi-Fi com rótulo ambíguo e declarou a conclusão antes de atingir o objetivo. Nas execuções de Reflexion no ALFWorld, o Jev teve mais sucesso nas primeiras tentativas do que a versão de referência, mas recuperou menos falhas iniciais: 11 em 19, face a 25 em 26. Essas frações dizem respeito a conjuntos diferentes de tentativas falhadas. Ilustram porque importa a capacidade de um agente detetar e corrigir um erro, para além do preço da primeira decisão.

A grande mudança

A poupança de decisão atribuída ao Jev manteve-se mais claramente ao nível da tarefa quando a seleção de ações dominava o trabalho e a conclusão permanecia elevada. O ReAct foi mais barato e mais rápido por sucesso entregue. Nas integrações móveis, outras chamadas, o tempo no ambiente e a menor conclusão reduziram ou inverteram parte do benefício. Para quem constrói estes sistemas, o artigo propõe uma medição concreta: comparar tarefas concluídas e recursos ao longo de todas as tentativas e, depois, analisar a recuperação e as decisões de paragem. O preço ou a latência por chamada não permitem saber se um fluxo de trabalho entregou mais trabalho útil.

O estudo usou observações textuais, escolhas de ação limitadas, instâncias fixas de tarefas e três repetições com uma seed comum. Os valores de custo utilizam preços de modelos declarados e regras contabilísticas próprias. Agentes com base visual, fluxos de trabalho mais longos e novas distribuições de tarefas ficam fora desta evidência. O artigo avalia Jev em fluxos de trabalho de agentes; não testa nem valida o SubQ Snap.

Fontes e leituras adicionais