AI-translated from English; not yet reviewed by a fluent editor.

# Jevの研究：判断は安価に、モバイルタスクの完了数は減少

> 4,500回の実行を対象にしたJevの研究では、エージェントの判断は安価になった一方、モバイル統合2件では完了タスクが減り、そのうち1件は観測平均で成功1件あたりの費用が増えた。

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Jevに関する新しい研究は、[9月の発表を扱ったBIG CHANGEの記事](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida)が残した問いを引き継ぐ。より速く安価な行動選択は、仕事全体を改善するのか。4,500回の実行で、研究者はテストしたすべてのエージェントにおいて行動選択のコスト低下を確認した。2つのモバイルエージェント統合では、タスク完了率が大きく下がり、成果物を届ける経済性が変わった。

この[10月9日のプレプリント](https://arxiv.org/html/2610.13092v1)は著者が報告した実験であり、独立した再現でもBIG CHANGEのテストでもない。5つのエージェント系列は、テキストで観察できる2つの環境、ALFWorldの家事タスクとAndroidWorldのモバイルアプリタスクで動作した。研究者は固定されたタスク事例で各構成を3回実行した。ほかのモデル呼び出しや環境とのやり取りを含む各エージェントの周辺ワークフローを維持し、行動選択の段階をJevに置き換えた。

## 完了率が変化した領域

ALFWorldでは、Jevを使ったバリアントは元の構成に近い結果だった。ReActはJevでタスクの96.02%を完了し、ベースラインは97.51%だった。Reflexionは98.01%を完了し、ベースラインは99.75%だった。研究者はJevと同じ候補行動を受け取りながら、汎用LLMで選択する対照群もテストした。候補リストを与えるとインターフェースと判断モデルの両方が変わるため、これは重要な比較だ。

モバイルの結果はよりばらついた。Jevを使ったT3Aの完了率は57.47%から44.25%へ下がり、差は13.22パーセントポイントだった。FastAgentは50.00%から31.90%へ下がり、差は18.10ポイントだった。論文のタスククラスター別ブートストラップ区間は、どちらの差も完全にゼロを下回った。AutoDroidは18.68%から16.38%へ低下したが、区間はゼロを含んだ。どちらのバージョンも5件に1件未満のタスクしか完了しなかった。これはテストした統合の結果であり、すべてのモバイルエージェントへの推定ではない。

## 試行は安価でも、成功あたりの費用は高くなることがある

5系列全体でJevは行動選択の平均コストを66.1〜78.4%、判断時間を73.9〜81.5%削減した。観測された各系列でタスク全体の平均コストも下がったが、低下幅は小さかった。追加の推論、より多くの行動、環境とのやり取りに費やす時間が局所的な節約の一部を吸収した。

試行に対する支払いと結果に対する支払いの違いを最も明確に示すのがT3Aだ。タスク試行あたりの平均推論コストは17.1%下がった。しかし研究者が、*すべての*試行（失敗を含む）のコストを完了タスク数で割ると、成功あたりの平均は1ドルの68.70千分の1から73.97千分の1へ上昇した。この7.7%増加の不確実性区間はゼロをまたぐため、研究は基礎的な増加幅を正確には確定していない。ただし、この設定では試行あたりの支出が減っても、観測された成果物の提供コストが下がるとは限らないことを示す。

判断が大幅に速くなったにもかかわらず、FastAgentの平均タスク時間はほぼ変わらなかった。完了タスクが減ったため、成果を1件届けるまでの時間は239.4秒から377.8秒に増えた。Jev版は判断回数が44.1%多く、ベースラインとは異なり各ステップで1つのツールを実行した。この設計差はテスト対象の統合の一部であり、差のどれだけをJev単独に帰属できるかを制限する。

著者は誤った選択の後に何が起きたかを理解するため、一部のトレースを調べた。あるモバイルタスクでJev版はラベルが曖昧なWi-Fiスイッチを選び、目標達成前に完了を宣言した。ReflexionのALFWorld実行では、Jevは初回試行でベースラインより多く成功した一方、初期失敗からの回復は少なかった。19件中11件で、ベースラインは26件中25件だった。この割合は異なる失敗試行群を対象にしている。最初の判断コストだけでなく、エージェントが誤りを認識して修正する能力も重要である理由を示している。

## 大きな変化

Jevが報告した判断コストの節約は、行動選択が作業の大部分を占め、完了率が高く保たれた場合に、タスク全体でも最も明確に維持された。ReActは成果1件あたりの費用が安く、速度も速かった。モバイル統合では、ほかの呼び出し、環境内の時間、低い完了率が利点の一部を縮小または逆転させた。開発者向けに論文は具体的な測定方法を示す。成果物の完了数とリソースを*すべての*試行で比較し、その後に失敗からの回復と停止判断を調べる。呼び出し単位の価格やレイテンシだけでは、ワークフローがより多くの有用な仕事を届けたかは分からない。

この研究では、テキスト観察、制約された行動選択、固定タスク事例、共通seedでの3回の反復を用いた。コスト数値には公表されたモデル価格と著者独自の会計規則を使用している。視覚情報に基づくエージェント、より長いワークフロー、新しいタスク分布は今回の証拠範囲外だ。論文はエージェントのワークフローにおけるJevを評価しており、SubQ Snapのテストや検証はしていない。

## 出典・関連資料

- [Lingらの10月9日付プレプリント「より速い判断はエージェントをより良くするとは限らない」](https://arxiv.org/html/2610.13092v1)は実験、全表、トレース分析、限界を報告している。 [バージョン付き要旨](https://arxiv.org/abs/2610.13092v1)は2026年10月9日公開のv1と確認している。ここで示した結果は著者の報告であり、BIG CHANGEは実験を再実行していない。
- [Jevの発表に関するBIG CHANGEの記事](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida)はTypeSafe AIの当初の判断モデルの提案を説明する。新しいプレプリントは発表時の主張ではなく、エージェントのタスク全体を測定することでその話を先へ進める。

## Sources

- [Lingほか「より速い判断はエージェントをより良くするとは限らない：エージェントワークフローにおけるJevの実証研究」](https://arxiv.org/html/2610.13092v1) — 2026年10月9日のv1プレプリント。設計、報告されたすべての結果、トレース分析、限界に関する主要資料。著者が報告した実験であり、BIG CHANGEは再現していない。
- [2610.13092v1のarXivバージョン記録](https://arxiv.org/abs/2610.13092v1) — バージョン付き要旨は10月9日付v1であることと研究の大まかな範囲を確認する。完全版HTML論文には数値の詳細がある。
- [BIG CHANGE、Jevの大きな賭け：すでに使っているソフトウェア内のAI判断](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — 2026年9月22日公開の記事#4。TypeSafe AIによるJevの当初提案を説明する日付上の直接的な前編であり、新研究の検証ではない。