Markdown 版本

AI-translated from English; not yet reviewed by a fluent editor.

# Jev 研究：決策成本降低，完成的行動裝置任務減少

> 一項涵蓋 4,500 次執行的 Jev 研究發現，代理程式的決策成本較低，但兩個行動裝置整合完成的任務較少，其中一個依觀察到的平均值計算，每次成功的支出反而較高。

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Jev 的新研究延續了 [BIG CHANGE 對其 9 月推出所做報導](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida)留下的問題：更快、更便宜的行動選擇能改善整項工作嗎？在 4,500 次執行中，研究人員發現每個受測代理程式的行動選擇成本都降低。在兩個行動裝置代理程式整合中，任務完成率下滑幅度足以改變交付成果的經濟效益。

這份[10 月 9 日預印本](https://arxiv.org/html/2610.13092v1)是作者報告的實驗，不是獨立重現，也不是 BIG CHANGE 的測試。五個代理程式系列在兩個以文字觀察的環境中執行：ALFWorld 的家務任務和 AndroidWorld 的行動應用程式任務。研究人員在固定任務實例上將每種配置執行三次。他們以 Jev 取代行動選擇步驟，同時保留各代理程式周邊的工作流程，包括其他模型呼叫和環境互動。

## 完成率改變之處

在 ALFWorld 中，Jev 變體與原始配置相近。ReAct 使用 Jev 完成 96.02% 的任務，基準值為 97.51%；Reflexion 完成 98.01%，基準值為 99.75%。研究人員也測試了一個對照組：它收到與 Jev 相同的候選行動，但使用通用 LLM 從中挑選。這一點很重要，因為提供候選清單會同時改變代理程式的介面和決策模型。

行動裝置結果較不一致。使用 Jev 後，T3A 的完成率從 57.47% 降至 44.25%，差距為 13.22 個百分點。FastAgent 從 50.00% 降至 31.90%，差距為 18.10 個百分點。論文按任務叢集進行 bootstrap 的兩個差異區間都完全低於零。AutoDroid 從 18.68% 降至 16.38%，但其區間包含零；兩個版本完成的任務都不到五分之一。這些是受測整合的結果，並非所有行動代理程式的估計值。

## 每次嘗試較便宜，每次成功的成本卻可能更高

在五個系列中，Jev 將平均行動選擇成本降低 66.1% 至 78.4%，並將決策時間降低 73.9% 至 81.5%。每個受觀察系列的平均總任務成本也下降，幅度較小。額外推理、更多行動，以及與環境互動所花的時間抵銷了部分局部節省。

T3A 最清楚地顯示為一次嘗試付費與為結果付費的差異。每次任務嘗試的平均推論成本下降 17.1%。但研究人員將*所有*嘗試（包括失敗）的成本除以完成任務數後，每次成功的平均成本從 68.70 上升到 73.97 千分之一美元。這項 7.7% 增幅的不確定性區間跨越零，因此研究無法確立精確的潛在增幅。研究顯示，在此設定中，每次嘗試支出較低，不保證觀察到的交付成本也較低。

儘管決策快得多，FastAgent 的平均任務時間幾乎沒有變化。完成的任務較少，使每次交付成功所花時間從 239.4 秒升至 377.8 秒。Jev 版本多做了 44.1% 的決策，而且與基準版本不同，每個步驟只執行一項工具。這項設計差異屬於受測整合的一部分，因此限制了能歸因於 Jev 本身的差距幅度。

作者檢視部分執行軌跡，以了解錯誤選擇後發生了什麼。在一項行動裝置任務中，Jev 版本選擇了標籤不明確的 Wi-Fi 開關，並在達成目標之前宣告完成。在 Reflexion 的 ALFWorld 執行中，Jev 首次嘗試成功的次數高於基準版本，但修復初始失敗的次數較少：19 次中 11 次，基準版本則是 26 次中 25 次。這些比例來自不同的失敗嘗試集合。它們說明，除了第一次決策的價格，代理程式察覺並修復錯誤的能力也很重要。

## 重大變化

當行動選擇占工作主要部分且完成率維持高水準時，Jev 所報告的決策節省最明顯地延伸到整體任務層級。ReAct 每次交付成功的成本更低、速度也更快。在行動裝置整合中，其他呼叫、環境耗時和較低的完成率削弱或扭轉了部分效益。對建構者而言，論文提出一種具體測量方式：比較*所有*嘗試中的完成任務與資源，再檢查錯誤恢復和停止決策。每次呼叫的價格或延遲，無法回答工作流程是否交付了更多有用工作。

研究使用文字觀察、受限的行動選項、固定任務實例，以及以共同 seed 進行的三次重複。成本數字採用所列模型價格及作者自己的會計規則。視覺接地代理程式、更長工作流程與新任務分布不在這些證據範圍內。論文評估 Jev 在代理程式工作流程中的表現；沒有測試或驗證 SubQ Snap。

## 來源與延伸閱讀

- [Ling 等人 10 月 9 日的預印本〈更快的決策不會讓代理程式更好〉](https://arxiv.org/html/2610.13092v1)報告實驗、完整表格、軌跡分析及限制。這份[版本化摘要](https://arxiv.org/abs/2610.13092v1)將其標示為 2026 年 10 月 9 日發布的 v1。本文結果為作者報告的發現；BIG CHANGE 未重新執行實驗。
- [BIG CHANGE 對 Jev 推出的報導](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida)說明 TypeSafe AI 最初對決策模型的提案。新預印本透過測量完整代理程式任務，而非推出時的說法，延續了這段報導。

## Sources

- [Ling 等人，〈更快的決策不會讓代理程式更好：Jev 在代理程式工作流程中的實證研究〉](https://arxiv.org/html/2610.13092v1) — 2026 年 10 月 9 日 v1 預印本。設計、所有報告結果、軌跡分析和限制的主要來源。實驗由作者報告；BIG CHANGE 未重現。
- [2610.13092v1 的 arXiv 版本記錄](https://arxiv.org/abs/2610.13092v1) — 版本化摘要確認 10 月 9 日 v1 的身分和研究大致範圍。完整 HTML 論文提供數值細節。
- [BIG CHANGE，Jev 的更大賭注：AI 決策進入我們已在使用的軟體](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — 2026 年 9 月 22 日發布的文章 #4。它是有日期的直接前文，提供 TypeSafe AI 最初 Jev 提案的背景，但不是新研究的驗證。