Jevに関する新しい研究は、9月の発表を扱ったBIG CHANGEの記事が残した問いを引き継ぐ。より速く安価な行動選択は、仕事全体を改善するのか。4,500回の実行で、研究者はテストしたすべてのエージェントにおいて行動選択のコスト低下を確認した。2つのモバイルエージェント統合では、タスク完了率が大きく下がり、成果物を届ける経済性が変わった。

この10月9日のプレプリントは著者が報告した実験であり、独立した再現でもBIG CHANGEのテストでもない。5つのエージェント系列は、テキストで観察できる2つの環境、ALFWorldの家事タスクとAndroidWorldのモバイルアプリタスクで動作した。研究者は固定されたタスク事例で各構成を3回実行した。ほかのモデル呼び出しや環境とのやり取りを含む各エージェントの周辺ワークフローを維持し、行動選択の段階をJevに置き換えた。

完了率が変化した領域

ALFWorldでは、Jevを使ったバリアントは元の構成に近い結果だった。ReActはJevでタスクの96.02%を完了し、ベースラインは97.51%だった。Reflexionは98.01%を完了し、ベースラインは99.75%だった。研究者はJevと同じ候補行動を受け取りながら、汎用LLMで選択する対照群もテストした。候補リストを与えるとインターフェースと判断モデルの両方が変わるため、これは重要な比較だ。

モバイルの結果はよりばらついた。Jevを使ったT3Aの完了率は57.47%から44.25%へ下がり、差は13.22パーセントポイントだった。FastAgentは50.00%から31.90%へ下がり、差は18.10ポイントだった。論文のタスククラスター別ブートストラップ区間は、どちらの差も完全にゼロを下回った。AutoDroidは18.68%から16.38%へ低下したが、区間はゼロを含んだ。どちらのバージョンも5件に1件未満のタスクしか完了しなかった。これはテストした統合の結果であり、すべてのモバイルエージェントへの推定ではない。

試行は安価でも、成功あたりの費用は高くなることがある

5系列全体でJevは行動選択の平均コストを66.1〜78.4%、判断時間を73.9〜81.5%削減した。観測された各系列でタスク全体の平均コストも下がったが、低下幅は小さかった。追加の推論、より多くの行動、環境とのやり取りに費やす時間が局所的な節約の一部を吸収した。

試行に対する支払いと結果に対する支払いの違いを最も明確に示すのがT3Aだ。タスク試行あたりの平均推論コストは17.1%下がった。しかし研究者が、すべての試行（失敗を含む）のコストを完了タスク数で割ると、成功あたりの平均は1ドルの68.70千分の1から73.97千分の1へ上昇した。この7.7%増加の不確実性区間はゼロをまたぐため、研究は基礎的な増加幅を正確には確定していない。ただし、この設定では試行あたりの支出が減っても、観測された成果物の提供コストが下がるとは限らないことを示す。

判断が大幅に速くなったにもかかわらず、FastAgentの平均タスク時間はほぼ変わらなかった。完了タスクが減ったため、成果を1件届けるまでの時間は239.4秒から377.8秒に増えた。Jev版は判断回数が44.1%多く、ベースラインとは異なり各ステップで1つのツールを実行した。この設計差はテスト対象の統合の一部であり、差のどれだけをJev単独に帰属できるかを制限する。

著者は誤った選択の後に何が起きたかを理解するため、一部のトレースを調べた。あるモバイルタスクでJev版はラベルが曖昧なWi-Fiスイッチを選び、目標達成前に完了を宣言した。ReflexionのALFWorld実行では、Jevは初回試行でベースラインより多く成功した一方、初期失敗からの回復は少なかった。19件中11件で、ベースラインは26件中25件だった。この割合は異なる失敗試行群を対象にしている。最初の判断コストだけでなく、エージェントが誤りを認識して修正する能力も重要である理由を示している。

大きな変化

Jevが報告した判断コストの節約は、行動選択が作業の大部分を占め、完了率が高く保たれた場合に、タスク全体でも最も明確に維持された。ReActは成果1件あたりの費用が安く、速度も速かった。モバイル統合では、ほかの呼び出し、環境内の時間、低い完了率が利点の一部を縮小または逆転させた。開発者向けに論文は具体的な測定方法を示す。成果物の完了数とリソースをすべての試行で比較し、その後に失敗からの回復と停止判断を調べる。呼び出し単位の価格やレイテンシだけでは、ワークフローがより多くの有用な仕事を届けたかは分からない。

この研究では、テキスト観察、制約された行動選択、固定タスク事例、共通seedでの3回の反復を用いた。コスト数値には公表されたモデル価格と著者独自の会計規則を使用している。視覚情報に基づくエージェント、より長いワークフロー、新しいタスク分布は今回の証拠範囲外だ。論文はエージェントのワークフローにおけるJevを評価しており、SubQ Snapのテストや検証はしていない。

出典・関連資料