Um novo estudo sobre Jev acompanha uma questão deixada em aberto por a cobertura da BIG CHANGE sobre o lançamento de setembro: se escolhas de ação mais rápidas e baratas melhoram o trabalho completo. Em 4.500 execuções, os pesquisadores encontraram seleção de ações mais barata em todos os agentes testados. Em duas integrações de agentes móveis, a conclusão de tarefas caiu o bastante para mudar a economia de um resultado entregue.

O O preprint de 9 de outubro é um experimento relatado pelos autores, não uma replicação independente nem um teste da BIG CHANGE. As cinco famílias de agentes trabalharam em dois ambientes observados por texto: tarefas domésticas do ALFWorld e tarefas de aplicativos móveis do AndroidWorld. Os pesquisadores executaram cada configuração três vezes em instâncias de tarefas fixas. Substituíram a etapa de seleção de ações pelo Jev, mantendo o fluxo de trabalho ao redor de cada agente, incluindo outras chamadas de modelo e interação com o ambiente.

Onde a conclusão mudou

No ALFWorld, o ReAct passou de 96,02% para 97,51% e o Reflexion de 98,01% para 99,75%. O controle usou as mesmas ações candidatas do Jev, mas um modelo de linguagem geral escolheu entre elas; a lista de candidatas muda a interface e o modelo.

Nos resultados móveis, o T3A caiu de 57,47% para 44,25% (13,22 pontos percentuais); o FastAgent, de 50,00% para 31,90% (18,10 pontos). Os intervalos de bootstrap por grupos de tarefas ficaram abaixo de zero. No AutoDroid, caiu de 18,68% para 16,38%, mas o intervalo inclui zero. Ambos os sistemas móveis concluíram menos de uma em cada cinco tarefas; são integrações testadas, não todos os agentes.

Uma tentativa mais barata pode custar mais por sucesso

O Jev reduziu em 66,1%–78,4% o custo médio da seleção de ações e em 73,9%–81,5% o tempo de decisão nas cinco famílias. As médias da tarefa completa também caíram, porém menos; raciocínio e ações adicionais e a interação com o ambiente absorveram parte da economia.

Para o T3A, o custo médio de inferência por tentativa caiu 17,1%; o trecho termina em “custo de todas as tentativas, inclusive as falhas, dividido pelo número de tarefas concluídas, a média subiu de 68,70 para 73,97 milésimos de dólar por sucesso. Esse aumento de 7,7% tem um intervalo de incerteza que inclui zero, portanto o estudo não estabelece um aumento subjacente preciso. Mostra que gastar menos por tentativa não garantiu menor custo observado por entrega nesta configuração.

O tempo médio do FastAgent quase não mudou apesar das decisões mais rápidas; com menos tarefas concluídas, segundos por sucesso subiram de 239,4 para 377,8. A versão Jev tomou 44,1% mais decisões e, ao contrário da linha de base, executa uma ferramenta por etapa; isso limita a atribuição causal.

A inspeção de rastros mostrou uma troca ambígua de Wi-Fi no agente móvel e uma conclusão antes do objetivo. No ALFWorld, o Reflexion teve mais sucessos na primeira tentativa, mas menos recuperações: 11/19 contra 25/26. Os conjuntos de falhas diferiram; detectar e corrigir erros importa.

A grande mudança

As economias relatadas sobreviveram no nível da tarefa quando a seleção dominou e a conclusão foi alta; ReAct ficou mais barato e rápido por sucesso. Nos demais agentes móveis, outras chamadas, o tempo no ambiente e a queda na conclusão reduziram ou inverteram o benefício; a medida deve comparar tarefas concluídas e recursos usados em todas as tentativas, depois inspecionar decisões de recuperação e parada. O preço ou a latência por chamada não respondem se um fluxo entregou mais trabalho útil.

O estudo apresenta a metodologia e limitações; ele não valida SubQ Snap.

O preprint de 9 de outubro de Ling e colegas, ‘When Faster Decisions Do Not Make Better Agents’