AI-translated from English; not yet reviewed by a fluent editor.

# Jev 연구: 더 저렴한 의사결정, 줄어든 모바일 작업 완료

> 4,500회 실행을 살펴본 Jev 연구에서는 에이전트의 의사결정 비용이 낮아졌지만, 두 모바일 통합에서는 완료한 작업이 줄었고 한 통합은 관측 평균 기준으로 성공당 비용이 더 커졌다.

By BIG CHANGE Editorial

Published: 2026-10-13T05:25:18.815Z
Updated: 2026-10-13T05:25:18.815Z
Canonical: https://bigchange.ai/blog/jev-agent-workflow-study-task-completion-cost

![Conceptual charcoal illustration of one connected hand poised above a blank unbranded smartphone screen, with an orange reflection under the fingertip.](https://bigchange.ai/api/media/file/jev-mobile-decision-hero-v2.png)
AI-generated conceptual illustration by BIG CHANGE; generic phone and hand, no Jev interface, experiment, result or BIG CHANGE test depicted.

Jev에 관한 새 연구는 [9월 출시를 다룬 BIG CHANGE 보도](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida)가 남긴 질문을 이어 간다. 더 빠르고 저렴한 행동 선택이 전체 작업을 개선할까? 연구진은 4,500회 실행에서 시험한 모든 에이전트의 행동 선택 비용이 낮아졌음을 확인했다. 두 모바일 에이전트 통합에서는 작업 완료가 크게 줄어 결과 전달의 경제성이 달라졌다.

이 [10월 9일 프리프린트](https://arxiv.org/html/2610.13092v1) 는 저자들이 보고한 실험이며, 독립적인 재현이나 BIG CHANGE의 시험이 아니다. 5개 에이전트 계열은 텍스트 관측 환경 두 곳에서 작동했다. ALFWorld의 가사 작업과 AndroidWorld의 모바일 앱 작업이다. 연구진은 고정된 작업 인스턴스에서 각 구성을 세 번 실행했다. 각 에이전트의 주변 작업 흐름, 다른 모델 호출과 환경 상호작용은 유지하면서 행동 선택 단계를 Jev로 바꿨다.

## 완료율이 달라진 부분

ALFWorld에서 Jev 변형은 원래 구성과 비슷한 수준을 유지했다. ReAct는 Jev를 사용해 작업의 96.02%를 완료했고 기준 구성은 97.51%였다. Reflexion은 98.01%를 완료했고 기준은 99.75%였다. 연구진은 Jev와 같은 후보 행동을 받지만 범용 LLM으로 선택하는 대조군도 시험했다. 후보 목록을 주면 인터페이스와 의사결정 모델이 함께 바뀌므로 중요한 비교다.

모바일 결과는 덜 균일했다. Jev 적용 후 T3A 완료율은 57.47%에서 44.25%로 13.22%포인트 떨어졌다. FastAgent는 50.00%에서 31.90%로 18.10포인트 하락했다. 논문에서 작업 클러스터를 기준으로 부트스트랩한 두 차이의 구간은 모두 0 아래에 완전히 놓였다. AutoDroid는 18.68%에서 16.38%로 내려갔지만 구간에 0이 포함됐다. 두 버전 모두 작업 5개 중 1개 미만을 완료했다. 이는 시험한 통합의 결과이지 모든 모바일 에이전트에 대한 추정치가 아니다.

## 시도 비용은 낮아져도 성공당 비용은 높아질 수 있다

Jev는 다섯 계열에서 평균 행동 선택 비용을 66.1\~78.4%, 의사결정 시간을 73.9\~81.5% 줄였다. 관측된 각 계열의 평균 총 작업 비용도 더 작은 폭으로 감소했다. 추가 추론, 더 많은 행동, 환경과 상호작용하는 시간은 일부 국소 절감분을 상쇄했다.

시도 비용과 결과 비용의 차이를 가장 잘 보여주는 사례는 T3A다. 작업 시도당 평균 추론 비용은 17.1% 줄었다. 그러나 연구진이 *모든* 시도(실패 포함)의 비용을 완료한 작업 수로 나누자 성공당 평균 비용은 68.70에서 73.97천분의 1달러로 올랐다. 7.7% 증가의 불확실성 구간은 0을 가로지르므로 연구는 정확한 기저 증가를 확정하지 않는다. 다만 이 설정에서는 시도당 지출이 줄어도 관측된 결과 전달 비용이 낮아지리라고 보장할 수 없음을 보여준다.

의사결정이 훨씬 빨라졌지만 FastAgent의 평균 작업 시간은 거의 변하지 않았다. 완료 작업이 줄면서 전달된 성공 하나당 시간은 239.4초에서 377.8초로 늘었다. Jev 버전은 의사결정을 44.1% 더 많이 했으며, 기준과 달리 단계마다 도구 하나를 실행했다. 이 설계 차이는 시험된 통합의 일부라 격차를 Jev만의 효과로 돌릴 수 있는 범위를 제한한다.

저자들은 잘못된 선택 뒤에 무슨 일이 있었는지 파악하기 위해 선택된 실행 추적을 살펴봤다. 한 모바일 작업에서 Jev 버전은 라벨이 모호한 Wi-Fi 스위치를 고르고 목표를 달성하기 전에 완료를 선언했다. Reflexion의 ALFWorld 실행에서는 Jev가 첫 시도에서 기준보다 더 자주 성공했지만 초기 실패를 복구한 횟수는 더 적었다. 19번 중 11번으로, 기준의 26번 중 25번과 대비됐다. 이 비율은 서로 다른 실패 시도 집합에 해당한다. 첫 결정의 비용 외에도 에이전트가 오류를 알아차리고 고치는 능력이 중요한 이유를 보여준다.

## 핵심 변화

Jev의 보고된 의사결정 비용 절감은 행동 선택이 작업의 대부분을 차지하고 완료율이 높게 유지된 경우 작업 전체에서도 가장 뚜렷했다. ReAct는 전달된 성공당 비용과 시간이 더 낮았다. 모바일 통합에서는 다른 호출, 환경에 머무는 시간, 낮아진 완료율이 이점 일부를 줄이거나 뒤집었다. 개발자에게 논문은 구체적인 측정 기준을 제시한다. *모든* 시도에서 완료 작업과 자원 사용을 비교한 뒤 복구와 중단 결정을 살펴보라는 것이다. 호출당 가격이나 지연 시간만으로는 작업 흐름이 더 많은 유용한 일을 전달했는지 알 수 없다.

연구는 텍스트 관측, 제한된 행동 선택지, 고정된 작업 인스턴스, 공유 seed를 사용한 세 차례 반복으로 진행됐다. 비용 수치는 명시된 모델 가격과 저자 자체의 회계 규칙을 이용했다. 시각 정보에 기반한 에이전트, 더 긴 작업 흐름, 새로운 작업 분포는 이 증거 범위에 포함되지 않는다. 논문은 에이전트 작업 흐름에서 Jev를 평가했으며 SubQ Snap을 시험하거나 검증하지 않았다.

## 출처 및 추가 자료

- [Ling 연구진의 10월 9일 프리프린트 「더 빠른 결정이 더 나은 에이전트를 만들지는 않는다」](https://arxiv.org/html/2610.13092v1) 에는 실험, 전체 표, 추적 분석과 한계가 보고돼 있다. [버전 기록이 있는 초록](https://arxiv.org/abs/2610.13092v1) 은 이를 2026년 10월 9일 게시된 v1로 표시한다. 여기의 결과는 저자가 보고한 발견이며 BIG CHANGE는 재실행하지 않았다.
- [Jev 출시를 다룬 BIG CHANGE 기사](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) 는 TypeSafe AI의 초기 의사결정 모델 제안을 설명한다. 새 프리프린트는 출시 당시 주장 대신 에이전트의 전체 작업을 측정해 그 이야기를 확장한다.

## Sources

- [Ling 외, 「더 빠른 결정이 더 나은 에이전트를 만들지는 않는다: 에이전트 작업 흐름에서 Jev에 관한 실증 연구」](https://arxiv.org/html/2610.13092v1) — 2026년 10월 9일 v1 프리프린트. 설계, 보고된 모든 결과, 실행 추적 분석, 한계를 확인하는 주요 자료다. 저자가 보고한 실험이며 BIG CHANGE는 재현하지 않았다.
- [2610.13092v1의 arXiv 버전 기록](https://arxiv.org/abs/2610.13092v1) — 버전 기록 초록은 10월 9일 v1의 정체와 연구의 전반적인 범위를 확인해 준다. 전체 HTML 논문에는 수치 세부 정보가 있다.
- [BIG CHANGE, Jev의 더 큰 도박: 우리가 이미 쓰는 소프트웨어 안의 AI 의사결정](https://bigchange.ai/blog/jev-typesafe-ai-decisions-software-diogo-almeida) — 2026년 9월 22일에 게시된 기사 #4. TypeSafe AI의 Jev 초기 제안에 관한 직접적인 날짜상 선행 기사이자 맥락이며 새 연구의 검증 자료는 아니다.