Eine neue Studie zu Jev greift eine Frage auf, die BIG CHANGEs Bericht über den Start im Septemberoffengelassen hatte: Verbessern schnellere und günstigere Aktionsentscheidungen die gesamte Aufgabe? Bei 4.500 Ausführungen fanden die Forschenden in jedem getesteten Agenten eine kostengünstigere Aktionsauswahl. Bei zwei mobilen Agentenintegrationen sank der Aufgabenabschluss so stark, dass sich die Wirtschaftlichkeit eines gelieferten Ergebnisses änderte.

Der Preprint vom 9. Oktober berichtet ein Experiment der Autoren, keine unabhängige Replikation und keinen Test von BIG CHANGE. Die fünf Agentenfamilien arbeiteten in zwei per Text beobachteten Umgebungen: Haushaltsaufgaben in ALFWorld und Aufgaben mobiler Apps in AndroidWorld. Die Forschenden führten jede Konfiguration dreimal mit festen Aufgabeninstanzen aus. Sie ersetzten den Schritt der Aktionsauswahl durch Jev und behielten den umgebenden Arbeitsablauf jedes Agenten bei, einschließlich weiterer Modellaufrufe und der Interaktion mit der Umgebung.

Wo sich der Abschluss änderte

In ALFWorld blieben die Jev-Varianten nahe an ihren ursprünglichen Konfigurationen. ReAct schloss mit Jev 96,02 % der Aufgaben ab, gegenüber 97,51 % in der Referenz; Reflexion erreichte 98,01 %, gegenüber 99,75 %. Die Forschenden testeten außerdem eine Kontrolle, die dieselben Aktionskandidaten wie Jev erhielt, aber ein allgemeines LLM zur Auswahl nutzte. Das ist wichtig, denn eine Kandidatenliste verändert sowohl die Schnittstelle als auch das Entscheidungsmodell.

Die mobilen Ergebnisse waren uneinheitlicher. Die Abschlussrate von T3A fiel mit Jev von 57,47 % auf 44,25 %, ein Abstand von 13,22 Prozentpunkten. FastAgent sank von 50,00 % auf 31,90 %, ein Abstand von 18,10 Punkten. Die nach Aufgabenclustern gruppierten Bootstrap-Intervalle im Paper lagen für beide Unterschiede vollständig unter null. AutoDroid sank von 18,68 % auf 16,38 %, sein Intervall schloss jedoch null ein; beide Varianten schlossen weniger als eine von fünf Aufgaben ab. Das sind Ergebnisse der getesteten Integrationen, keine Schätzungen für alle mobilen Agenten.

Ein günstigerer Versuch kann pro Erfolg mehr kosten

Über die fünf Familien senkte Jev die mittleren Kosten der Aktionsauswahl um 66,1 % bis 78,4 % und die Entscheidungszeit um 73,9 % bis 81,5 %. Auch die durchschnittlichen Gesamtkosten der beobachteten Aufgaben sanken in jeder Familie, allerdings weniger stark. Zusätzliches Schlussfolgern, mehr Aktionen und die Zeit für Interaktionen mit der Umgebung verbrauchten einen Teil der lokalen Einsparungen.

T3A zeigt den Unterschied zwischen der Bezahlung eines Versuchs und der eines Ergebnisses am deutlichsten. Seine mittleren Inferenzkosten pro Aufgabenversuch sanken um 17,1 %. Als die Forschenden jedoch die Kosten aller Versuche einschließlich der Fehlschläge durch die Zahl abgeschlossener Aufgaben teilten, stieg der Mittelwert pro Erfolg von 68,70 auf 73,97 Tausendstel Dollar. Das Plus von 7,7 % hat ein Unsicherheitsintervall, das null umfasst; die Studie belegt daher keinen präzisen zugrunde liegenden Anstieg. Sie zeigt aber, dass geringere Ausgaben pro Versuch in diesem Aufbau keine niedrigeren beobachteten Lieferkosten garantierten.

Die durchschnittliche Aufgabenzeit von FastAgent blieb trotz deutlich schnellerer Entscheidungen nahezu unverändert. Weil weniger Aufgaben abgeschlossen wurden, stieg die Zeit pro geliefertem Erfolg von 239,4 auf 377,8 Sekunden. Die Jev-Version traf 44,1 % mehr Entscheidungen und führte anders als die Referenz pro Schritt ein Werkzeug aus. Dieser Designunterschied ist Teil der getesteten Integration und schränkt ein, wie viel des Abstands allein Jev zugeschrieben werden kann.

Die Autoren untersuchten ausgewählte Traces, um zu verstehen, was nach einer schlechten Wahl geschah. Bei einer mobilen Aufgabe wählte die Jev-Version einen mehrdeutig beschrifteten WLAN-Schalter und erklärte die Aufgabe vor Erreichen des Ziels für abgeschlossen. In Reflexions ALFWorld-Läufen war Jev bei mehr ersten Versuchen erfolgreich als die Referenz, behob aber weniger anfängliche Fehlschläge: 11 von 19 gegenüber 25 von 26. Diese Brüche beziehen sich auf unterschiedliche Mengen fehlgeschlagener Versuche. Sie zeigen, warum die Fähigkeit eines Agenten, einen Fehler zu erkennen und zu beheben, über den Preis seiner ersten Entscheidung hinaus wichtig ist.

Die große Veränderung

Die von Jev berichteten Entscheidungseinsparungen blieben auf Aufgabenebene am deutlichsten erhalten, wenn die Aktionsauswahl den größten Teil der Arbeit ausmachte und die Abschlussrate hoch blieb. ReAct war pro geliefertem Erfolg günstiger und schneller. Bei mobilen Integrationen verringerten oder kehrten andere Aufrufe, die Zeit in der Umgebung und niedrigere Abschlussraten Teile des Nutzens um. Für Entwickler bietet das Paper eine konkrete Messmethode: abgeschlossene Aufgaben und Ressourcen über alle Versuche hinweg vergleichen und anschließend Wiederherstellung und Abbruchentscheidungen untersuchen. Ein Preis oder eine Latenz pro Aufruf beantwortet nicht, ob ein Arbeitsablauf mehr nützliche Arbeit geliefert hat.

Die Studie nutzte Textbeobachtungen, begrenzte Aktionsoptionen, feste Aufgabeninstanzen und drei Wiederholungen mit gemeinsamem Seed. Die Kostenangaben beruhen auf ausgewiesenen Modellpreisen und den eigenen Abrechnungsregeln der Autoren. Visuell fundierte Agenten, längere Arbeitsabläufe und neue Aufgabenverteilungen liegen außerhalb dieser Evidenz. Das Paper bewertet Jev in Agentenabläufen; SubQ Snap wird weder getestet noch validiert.

Quellen und weiterführende Informationen