Jev 的新研究延續了 BIG CHANGE 對其 9 月推出所做報導留下的問題：更快、更便宜的行動選擇能改善整項工作嗎？在 4,500 次執行中，研究人員發現每個受測代理程式的行動選擇成本都降低。在兩個行動裝置代理程式整合中，任務完成率下滑幅度足以改變交付成果的經濟效益。

這份10 月 9 日預印本是作者報告的實驗，不是獨立重現，也不是 BIG CHANGE 的測試。五個代理程式系列在兩個以文字觀察的環境中執行：ALFWorld 的家務任務和 AndroidWorld 的行動應用程式任務。研究人員在固定任務實例上將每種配置執行三次。他們以 Jev 取代行動選擇步驟，同時保留各代理程式周邊的工作流程，包括其他模型呼叫和環境互動。

完成率改變之處

在 ALFWorld 中，Jev 變體與原始配置相近。ReAct 使用 Jev 完成 96.02% 的任務，基準值為 97.51%；Reflexion 完成 98.01%，基準值為 99.75%。研究人員也測試了一個對照組：它收到與 Jev 相同的候選行動，但使用通用 LLM 從中挑選。這一點很重要，因為提供候選清單會同時改變代理程式的介面和決策模型。

行動裝置結果較不一致。使用 Jev 後，T3A 的完成率從 57.47% 降至 44.25%，差距為 13.22 個百分點。FastAgent 從 50.00% 降至 31.90%，差距為 18.10 個百分點。論文按任務叢集進行 bootstrap 的兩個差異區間都完全低於零。AutoDroid 從 18.68% 降至 16.38%，但其區間包含零；兩個版本完成的任務都不到五分之一。這些是受測整合的結果，並非所有行動代理程式的估計值。

每次嘗試較便宜，每次成功的成本卻可能更高

在五個系列中，Jev 將平均行動選擇成本降低 66.1% 至 78.4%，並將決策時間降低 73.9% 至 81.5%。每個受觀察系列的平均總任務成本也下降，幅度較小。額外推理、更多行動，以及與環境互動所花的時間抵銷了部分局部節省。

T3A 最清楚地顯示為一次嘗試付費與為結果付費的差異。每次任務嘗試的平均推論成本下降 17.1%。但研究人員將所有嘗試（包括失敗）的成本除以完成任務數後，每次成功的平均成本從 68.70 上升到 73.97 千分之一美元。這項 7.7% 增幅的不確定性區間跨越零，因此研究無法確立精確的潛在增幅。研究顯示，在此設定中，每次嘗試支出較低，不保證觀察到的交付成本也較低。

儘管決策快得多，FastAgent 的平均任務時間幾乎沒有變化。完成的任務較少，使每次交付成功所花時間從 239.4 秒升至 377.8 秒。Jev 版本多做了 44.1% 的決策，而且與基準版本不同，每個步驟只執行一項工具。這項設計差異屬於受測整合的一部分，因此限制了能歸因於 Jev 本身的差距幅度。

作者檢視部分執行軌跡，以了解錯誤選擇後發生了什麼。在一項行動裝置任務中，Jev 版本選擇了標籤不明確的 Wi-Fi 開關，並在達成目標之前宣告完成。在 Reflexion 的 ALFWorld 執行中，Jev 首次嘗試成功的次數高於基準版本，但修復初始失敗的次數較少：19 次中 11 次，基準版本則是 26 次中 25 次。這些比例來自不同的失敗嘗試集合。它們說明，除了第一次決策的價格，代理程式察覺並修復錯誤的能力也很重要。

重大變化

當行動選擇占工作主要部分且完成率維持高水準時，Jev 所報告的決策節省最明顯地延伸到整體任務層級。ReAct 每次交付成功的成本更低、速度也更快。在行動裝置整合中，其他呼叫、環境耗時和較低的完成率削弱或扭轉了部分效益。對建構者而言，論文提出一種具體測量方式：比較所有嘗試中的完成任務與資源，再檢查錯誤恢復和停止決策。每次呼叫的價格或延遲，無法回答工作流程是否交付了更多有用工作。

研究使用文字觀察、受限的行動選項、固定任務實例，以及以共同 seed 進行的三次重複。成本數字採用所列模型價格及作者自己的會計規則。視覺接地代理程式、更長工作流程與新任務分布不在這些證據範圍內。論文評估 Jev 在代理程式工作流程中的表現；沒有測試或驗證 SubQ Snap。

來源與延伸閱讀