Jev에 관한 새 연구는 9월 출시를 다룬 BIG CHANGE 보도가 남긴 질문을 이어 간다. 더 빠르고 저렴한 행동 선택이 전체 작업을 개선할까? 연구진은 4,500회 실행에서 시험한 모든 에이전트의 행동 선택 비용이 낮아졌음을 확인했다. 두 모바일 에이전트 통합에서는 작업 완료가 크게 줄어 결과 전달의 경제성이 달라졌다.

이 10월 9일 프리프린트 는 저자들이 보고한 실험이며, 독립적인 재현이나 BIG CHANGE의 시험이 아니다. 5개 에이전트 계열은 텍스트 관측 환경 두 곳에서 작동했다. ALFWorld의 가사 작업과 AndroidWorld의 모바일 앱 작업이다. 연구진은 고정된 작업 인스턴스에서 각 구성을 세 번 실행했다. 각 에이전트의 주변 작업 흐름, 다른 모델 호출과 환경 상호작용은 유지하면서 행동 선택 단계를 Jev로 바꿨다.

완료율이 달라진 부분

ALFWorld에서 Jev 변형은 원래 구성과 비슷한 수준을 유지했다. ReAct는 Jev를 사용해 작업의 96.02%를 완료했고 기준 구성은 97.51%였다. Reflexion은 98.01%를 완료했고 기준은 99.75%였다. 연구진은 Jev와 같은 후보 행동을 받지만 범용 LLM으로 선택하는 대조군도 시험했다. 후보 목록을 주면 인터페이스와 의사결정 모델이 함께 바뀌므로 중요한 비교다.

모바일 결과는 덜 균일했다. Jev 적용 후 T3A 완료율은 57.47%에서 44.25%로 13.22%포인트 떨어졌다. FastAgent는 50.00%에서 31.90%로 18.10포인트 하락했다. 논문에서 작업 클러스터를 기준으로 부트스트랩한 두 차이의 구간은 모두 0 아래에 완전히 놓였다. AutoDroid는 18.68%에서 16.38%로 내려갔지만 구간에 0이 포함됐다. 두 버전 모두 작업 5개 중 1개 미만을 완료했다. 이는 시험한 통합의 결과이지 모든 모바일 에이전트에 대한 추정치가 아니다.

시도 비용은 낮아져도 성공당 비용은 높아질 수 있다

Jev는 다섯 계열에서 평균 행동 선택 비용을 66.1~78.4%, 의사결정 시간을 73.9~81.5% 줄였다. 관측된 각 계열의 평균 총 작업 비용도 더 작은 폭으로 감소했다. 추가 추론, 더 많은 행동, 환경과 상호작용하는 시간은 일부 국소 절감분을 상쇄했다.

시도 비용과 결과 비용의 차이를 가장 잘 보여주는 사례는 T3A다. 작업 시도당 평균 추론 비용은 17.1% 줄었다. 그러나 연구진이 모든 시도(실패 포함)의 비용을 완료한 작업 수로 나누자 성공당 평균 비용은 68.70에서 73.97천분의 1달러로 올랐다. 7.7% 증가의 불확실성 구간은 0을 가로지르므로 연구는 정확한 기저 증가를 확정하지 않는다. 다만 이 설정에서는 시도당 지출이 줄어도 관측된 결과 전달 비용이 낮아지리라고 보장할 수 없음을 보여준다.

의사결정이 훨씬 빨라졌지만 FastAgent의 평균 작업 시간은 거의 변하지 않았다. 완료 작업이 줄면서 전달된 성공 하나당 시간은 239.4초에서 377.8초로 늘었다. Jev 버전은 의사결정을 44.1% 더 많이 했으며, 기준과 달리 단계마다 도구 하나를 실행했다. 이 설계 차이는 시험된 통합의 일부라 격차를 Jev만의 효과로 돌릴 수 있는 범위를 제한한다.

저자들은 잘못된 선택 뒤에 무슨 일이 있었는지 파악하기 위해 선택된 실행 추적을 살펴봤다. 한 모바일 작업에서 Jev 버전은 라벨이 모호한 Wi-Fi 스위치를 고르고 목표를 달성하기 전에 완료를 선언했다. Reflexion의 ALFWorld 실행에서는 Jev가 첫 시도에서 기준보다 더 자주 성공했지만 초기 실패를 복구한 횟수는 더 적었다. 19번 중 11번으로, 기준의 26번 중 25번과 대비됐다. 이 비율은 서로 다른 실패 시도 집합에 해당한다. 첫 결정의 비용 외에도 에이전트가 오류를 알아차리고 고치는 능력이 중요한 이유를 보여준다.

핵심 변화

Jev의 보고된 의사결정 비용 절감은 행동 선택이 작업의 대부분을 차지하고 완료율이 높게 유지된 경우 작업 전체에서도 가장 뚜렷했다. ReAct는 전달된 성공당 비용과 시간이 더 낮았다. 모바일 통합에서는 다른 호출, 환경에 머무는 시간, 낮아진 완료율이 이점 일부를 줄이거나 뒤집었다. 개발자에게 논문은 구체적인 측정 기준을 제시한다. 모든 시도에서 완료 작업과 자원 사용을 비교한 뒤 복구와 중단 결정을 살펴보라는 것이다. 호출당 가격이나 지연 시간만으로는 작업 흐름이 더 많은 유용한 일을 전달했는지 알 수 없다.

연구는 텍스트 관측, 제한된 행동 선택지, 고정된 작업 인스턴스, 공유 seed를 사용한 세 차례 반복으로 진행됐다. 비용 수치는 명시된 모델 가격과 저자 자체의 회계 규칙을 이용했다. 시각 정보에 기반한 에이전트, 더 긴 작업 흐름, 새로운 작업 분포는 이 증거 범위에 포함되지 않는다. 논문은 에이전트 작업 흐름에서 Jev를 평가했으며 SubQ Snap을 시험하거나 검증하지 않았다.

출처 및 추가 자료