AI-translated from English; not yet reviewed by a fluent editor.

# Vals AI 코딩 테스트에서 에이전트 팀 하나가 7.3포인트 향상됐지만 비용은 2.5배였다

> Vals AI는 앱 50개를 만든 실험에서 중간 노력 수준의 GPT 6 Sol만 팀의 통계적으로 유의한 향상을 보였다고 밝혔다. 이 설정의 비용은 앱당 $3.07로, 단일 에이전트의 $1.22보다 높았다.

By BIG CHANGE Editorial

Published: 2026-10-11T20:00:10.163Z
Updated: 2026-10-11T20:00:10.163Z
Canonical: https://bigchange.ai/blog/vals-ai-agent-team-coding-benchmark-cost-score

![Vals AI-reported results for GPT 6 Sol at medium effort across 50 web apps: single agent 77.6% mean UI test pass score at $1.22 mean model cost per app; team 84.9% at $3.07.](https://bigchange.ai/api/media/file/vals-sol-medium-score-cost-chart.png)
BIG CHANGE graphic; data: Vals AI, October 9, 2026.

Vals AI의 10월 9일 연구에서 짝지은 네 가지 비교 중 하나는 코딩 에이전트에 동료를 두었을 때 나아졌다 [Vals AI의 10월 9일 Vibe Code Bench 연구](https://www.vals.ai/blogs/multi-agent-vibe-code-bench). 중간 추론 노력의 GPT 6 Sol 팀은 벤치마크 앱 테스트의 84.9%를 통과해 단일 Sol 에이전트의 77.6%보다 높았다. 7.3퍼센트포인트 향상에는 앱당 평균 $1.22가 아닌 $3.07이 들었다. Vals가 보고한 향상의 95% 구간은 2.3\~12.4포인트였고 짝지은 검정의 p값은 0.005였다. 나머지 세 팀 대 단일 에이전트 비교에서는 점수 차이가 통계적으로 유의하지 않았다.

이 결과는 팀이 “더 나은가”라는 질문보다 개발자에게 구체적인 예산 질문을 던진다. 이 웹 앱 제작 과제에서 중간 노력의 Sol은 앱당 약 $1.85를 더 써서 측정 가능한 품질 향상을 얻었고 중앙 실행 시간은 거의 같았다. 더 높은 노력 수준이나 어느 노력 수준의 Claude Opus 5.5에서도 팀에 추가로 쓴 비용이 이 테스트의 점수 향상을 입증하지는 못했다.

## 주요 변화

- **무엇이 달라졌나:** Vals는 같은 웹 앱 과제 50개에서 두 가지 추론 수준으로 단일 코딩 에이전트와 팀을 비교했다. 중간 노력의 Sol만 팀 점수에서 통계적으로 유의한 향상을 보였다.
- **왜 중요한가:** 가장 좋은 팀 설정은 앱당 비용이 2.5배였다. 다른 팀은 점수에 유의한 이득이 없으면서 1.8\~5.1배의 비용이 들었다. 팀 설계와 모델 설정은 하나의 구매 결정에 함께 들어간다.
- **무엇을 지켜볼까:** 반복 실행과 다른 소프트웨어 과제의 테스트로 이 특정 앱을 넘어 향상이 재현되는지 확인할 수 있다. 이 연구는 각 설정을 한 번만 실행했다.

## 여덟 번의 실행에서 측정한 것

Vals는 GPT 6 Sol과 Claude Opus 5.5에 제품 명세로 완성된 웹 앱 50개를 만들도록 했다. 앱은 Docker Compose로 배포됐고 브라우저 에이전트가 사용자 인터페이스 테스트를 수행해 점수를 매겼다. 보고된 점수는 앱별 테스트 중 통과한 비율의 평균이다. [벤치마크 방법](https://www.vals.ai/benchmarks/vibe-code)에 따르면 앱 명세마다 자동 테스트가 20\~60개 있으며, 개별 테스트는 단계의 90% 이상이 성공해야 통과로 계산된다.

각 모델에서 Vals는 단일 에이전트와, 중간 및 최대 추론 노력에서 최대 다섯 개의 하위 에이전트에 동시에 맡길 수 있는 리드를 비교했다. 리드에는 작업을 나누고 위임하고 통합하고 확인하라는 지시도 추가됐다. 모델별 비교 안에서는 작업 프롬프트, 샌드박스, 평가기가 같았다. 여덟 설정은 각각 앱 50개를 한 번씩 만들었다.

| 모델과 노력 | 단일 점수 | 팀 점수 | 앱당 평균 비용: 단일 → 팀 | 중앙 실행 시간: 단일 → 팀 |
| --- | --- | --- | --- | --- |
| GPT 6 Sol, 중간 | 77.6% | 84.9% | $1.22 → $3.07 | 12.4 → 11.9분 |
| GPT 6 Sol, 최대 | 89.0% | 90.4% | $4.82 → $8.54 | 38.4 → 27.6분 |
| Claude Opus 5.5, 중간 | 91.5% | 91.2% | $4.08 → $9.10 | 20.3 → 26.6분 |
| Claude Opus 5.5, 최대 | 89.8% | 93.2% | $23.77 → $122 | 74.7 → 174.1분 |

이는 앱 하나를 만드는 데 든 Vals의 평균 모델 비용이지 구독료나 성공한 UI 테스트당 비용이 아니다. 실행 시간은 실제 경과 시간의 중앙값이므로 각 행의 비용과 시간은 50회 실행의 서로 다른 요약치다. 최대 노력 Opus 팀의 평균에는 시간 초과 실행 하나가 포함되며 Vals는 토큰 수를 바탕으로 비용을 약 $189로 추산했다.

## 설정에 따라 결과가 달라지는 이유

Vals는 짝지은 t검정을 사용해 각 팀과 같은 앱을 만든 대응 단일 에이전트를 비교했다. 최대 노력 Sol 팀은 1.4포인트 높았고 95% 구간은 −1.7\~4.5포인트였다. 중간 노력 Opus 팀은 0.3포인트 낮았으며 구간은 −3.2\~2.5였다. 최대 노력 팀은 3.4포인트 높았고 구간은 −1.4\~8.3이었다. 이 구간에는 향상 없음도 포함된다. 팀이 해당 설정에 절대 도움이 되지 않는다는 뜻은 아니지만, 이 실험에서는 향상이 입증되지 않았다.

Sol에서는 추론 노력 수준도 시험한 선택이었다. 단일 Sol 에이전트의 노력을 중간에서 최대로 높이자 점수가 77.6%에서 89.0%로 올랐고 Vals는 이를 통계적으로 유의하다고 보고했다. 최대 노력 단일 에이전트는 앱당 $4.82, 중앙 실행 시간 38.4분이었고 중간 노력 팀은 $3.07과 11.9분이었다. 두 설정 사이의 4.1포인트 점수 차이는 통계적으로 유의하지 않았다(p = 0.08). 이 수치로 개발자는 새 프로젝트에서 어느 설정이 이긴다고 가정하지 않고 측정된 비용과 시간의 맞교환을 볼 수 있다.

팀마다 시간 사용 방식도 달랐다. Vals에 따르면 Sol 리드는 일찍 작업을 맡기고 조립된 앱을 직접 테스트했다. 최대 노력 팀의 중앙 완료 시간은 27.6분으로 단일 에이전트의 38.4분보다 짧았다. Opus 리드는 공통 계약을 작성한 뒤 여러 차례에 나눠 위임하는 경향이 있었다. 최대 노력에서 팀은 중앙 174.1분이 걸려 단일 에이전트의 74.7분보다 오래 걸렸고 앱당 비용은 약 다섯 배였다. Vals는 추가 비용의 상당 부분을 하위 에이전트별 별도 컨텍스트에 캐시된 입력 토큰 탓으로 설명한다.

## 이 결과를 어디까지 적용할 수 있나

유의성 구간은 같은 앱의 반복 시도 간 변동이 아니라 앱 50개 간 차이를 반영한다. 다른 실행에서는 비교 결과가 달라질 수 있다. 팀 실행에는 위임하라는 추가 지시도 있었으므로 실험은 팀과 지시가 결합된 설정을 측정했다. Sol은 OpenAI Agents API, Opus는 Claude Code를 사용해 모델 간 점수 비교에는 서로 다른 하네스도 섞여 있다. Vals의 Sol 비용 추정은 보고된 토큰 사용량에 하위 에이전트가 포함된다고 가정하며 요청별 사용량을 구할 수 없어 긴 컨텍스트 임계값을 넘는 요청의 추가 비용은 반영하지 않는다.

이 연구가 뒷받침하는 결론은 제한적이다. 이 설정으로 비슷한 풀스택 앱을 만들 때 중간 노력 Sol 팀은 더 높은 비용으로 측정 가능한 이득을 보였고 다른 팀은 신뢰할 만한 점수 향상을 보이지 않았다. 다른 코드베이스나 모델, 작업 분할과 확인 방식이 다른 흐름에서도 팀이 이득인지 결론낼 수는 없다. BIG CHANGE는 Vals의 공개 게시물과 방법을 검토했으며 벤치마크를 실행하거나 재현하지 않았다.

## Sources

- [Vals AI, 에이전트 팀은 비용을 들일 만한가? Vibe Code Bench 사례 연구](https://www.vals.ai/blogs/multi-agent-vibe-code-bench) — 원 실험 보고서. 점수와 비용, 실행 시간, 짝지은 검정의 구간과 p값, 팀의 동작, 구현 세부 사항과 주의점이 기사의 근거다. 여덟 설정 각각은 앱 50개 각각에서 한 번씩 실행됐다. 보고된 불확실성은 앱 간 차이이지 반복 시도 간 차이가 아니다.
- [Vals AI, Vibe Code Bench v1.1 방법론](https://www.vals.ai/benchmarks/vibe-code) — 링크된 벤치마크의 설명과 방법: 앱 명세, 앱당 UI 테스트 20~60개, 채점 규칙. 일반 순위표는 다른 하네스 설정을 사용하므로 에이전트 팀 사례 연구 결과를 대신하지 않는다.
- [The Decoder, 연구: AI 에이전트 팀은 측정하기 어려운 품질 향상을 위해 엄청난 토큰을 낭비한다](https://the-decoder.com/ai-agent-teams-waste-massive-tokens-for-barely-measurable-quality-gains-research-finds/) — 발견과 맥락에 참고한 독립적인 동시대 보도다. 기사의 수치와 방법론 관련 주장은 Vals 원 보고서로 확인했으며 BIG CHANGE는 제목의 더 넓은 결론을 채택하지 않는다.