AI-translated from English; not yet reviewed by a fluent editor.

# Sa coding test ng Vals AI, tumaas nang 7.3 puntos ang score ng isang team ng mga ahente habang 2.5 beses ang naging gastos

> Nakakita ang Vals AI ng estadistikong makabuluhang pagtaas mula sa team sa GPT 6 Sol lamang, sa medium na antas ng pagsisikap sa 50 pagbuo ng app; $3.07 ang halaga ng setup na iyon kumpara sa $1.22 kada app.

By BIG CHANGE Editorial

Published: 2026-10-11T20:00:10.163Z
Updated: 2026-10-11T20:00:10.163Z
Canonical: https://bigchange.ai/blog/vals-ai-agent-team-coding-benchmark-cost-score

![Vals AI-reported results for GPT 6 Sol at medium effort across 50 web apps: single agent 77.6% mean UI test pass score at $1.22 mean model cost per app; team 84.9% at $3.07.](https://bigchange.ai/api/media/file/vals-sol-medium-score-cost-chart.png)
BIG CHANGE graphic; data: Vals AI, October 9, 2026.

Sa pag-aaral ng Vals AI noong Oktubre 9 tungkol sa [Vibe Code Bench](https://www.vals.ai/blogs/multi-agent-vibe-code-bench). Nakapasa sa 84.9% ng mga app test sa benchmark ang team ng GPT 6 Sol na may medium na antas ng pangangatwiran, kumpara sa 77.6% para sa nag-iisang Sol agent. Nagkakahalaga ng karaniwang $3.07 sa halip na $1.22 kada app ang pagtaas na 7.3 percentage point. Iniulat ng Vals ang 95% interval na 2.3 hanggang 12.4 puntos para sa pagtaas at p-value na 0.005 sa paired test. Walang estadistikong makabuluhang pagkakaiba sa score sa iba pang tatlong paghahambing ng team at nag-iisang agent.

Nagbibigay ang resulta sa mga developer ng mas tiyak na tanong sa pagbabadyet kaysa kung “mas mahusay” ba ang mga team. Sa mga web app build na ito, naghatid ang Sol na may medium na pagsisikap ng nasusukat na pagtaas sa kalidad sa dagdag na humigit-kumulang $1.85 kada app, na halos kapareho ang median na tagal. Sa mas mataas na pagsisikap, at sa Claude Opus 5.5 sa alinmang antas, hindi napatunayan sa test na ito na nagpataas ng score ang dagdag na gastos sa team.

## Ang malaking pagbabago

- **Ano ang nagbago:** Sinukat ng Vals ang nag-iisang coding agent laban sa mga team sa parehong 50 gawain sa web app at sa dalawang antas ng pangangatwiran. Sol na may medium na pagsisikap lamang ang nagkaroon ng estadistikong makabuluhang pagtaas sa score ng team.
- **Bakit ito mahalaga:** 2.5 beses ang gastos kada app ng nanalong team setup; 1.8 hanggang 5.1 beses naman ang gastos ng ibang team nang walang makabuluhang pagtaas sa score. Magkaugnay sa iisang desisyon sa pagbili ang disenyo ng team at mga setting ng modelo.
- **Ano ang dapat subaybayan:** Maaaring ipakita ng paulit-ulit na run at mga test sa ibang gawain sa software kung maaasahan ang pagtaas lampas sa mga app na ito. Isang beses lang pinatakbo ng pag-aaral na ito ang bawat setup.

## Ano ang sinukat ng walong run

Pinagawa ng Vals sa GPT 6 Sol at Claude Opus 5.5 ang 50 kumpletong web app mula sa mga detalye ng produkto. Inilunsad ang mga app gamit ang Docker Compose at binigyan ng score ng mga browser agent na nagsagawa ng mga test sa user interface. Ang iniulat na score ay ang karaniwang bahagdan ng mga test ng bawat app na pumasa. Sinasabi ng [metodo ng benchmark](https://www.vals.ai/benchmarks/vibe-code) na may 20 hanggang 60 automated test ang bawat detalye ng app at pumapasa ang isang test kapag matagumpay ang hindi bababa sa 90% ng mga hakbang nito.

Para sa bawat modelo, inihambing ng Vals ang nag-iisang agent sa isang lead na maaaring sabay na magtalaga ng gawain sa hanggang limang subagent, kapwa sa medium at maximum na antas ng pagsisikap sa pangangatwiran. Inutusan din ang mga lead na hatiin, italaga, pagsamahin at beripikahin ang gawain. Hindi binago ang task prompt, sandbox at grader sa bawat paghahambing ng modelo. Tig-iisang beses na binuo ng bawat isa sa walong configuration ang 50 app.

| Modelo at antas ng pagsisikap | Score ng nag-iisa | Score ng team | Karaniwang gastos kada app: nag-iisa → team | Median na tagal: nag-iisa → team |
| --- | --- | --- | --- | --- |
| GPT 6 Sol, medium | 77.6% | 84.9% | $1.22 → $3.07 | 12.4 → 11.9 min |
| GPT 6 Sol, maximum | 89.0% | 90.4% | $4.82 → $8.54 | 38.4 → 27.6 min |
| Claude Opus 5.5, medium | 91.5% | 91.2% | $4.08 → $9.10 | 20.3 → 26.6 min |
| Claude Opus 5.5, maximum | 89.8% | 93.2% | $23.77 → $122 | 74.7 → 174.1 min |

Karaniwang gastos ito ng mga modelo ayon sa Vals para gumawa ng isang app, hindi presyo ng subscription o gastos kada matagumpay na UI test. Median ng aktuwal na lumipas na oras ang mga runtime, kaya magkaibang buod ng 50 run ang gastos at oras sa bawat row. May isang naubusan ng oras na run sa average ng Opus team sa maximum na pagsisikap; tinaya ng Vals ang halagang humigit-kumulang $189 mula sa dami ng token.

## Bakit nakadepende sa setup ang resulta

Inihambing ng Vals ang bawat team sa katapat nitong nag-iisang agent sa parehong app gamit ang paired t-test. Nadagdagan ng 1.4 puntos ang team ng Sol sa maximum na pagsisikap, na may 95% interval na −1.7 hanggang 4.5 puntos. Bumaba nang 0.3 puntos ang score ng Opus team sa medium na pagsisikap, na may interval na −3.2 hanggang 2.5; tumaas naman nang 3.4 puntos ang team sa maximum, na may interval na −1.4 hanggang 8.3. Kasama sa mga interval na ito ang kawalan ng pagtaas. Hindi nito pinatutunayang hindi kailanman nakakatulong ang team sa mga setup na iyon, pero walang naitatag na pagtaas sa eksperimentong ito.

Isa pang sinubok na pagpili para sa Sol ang antas ng pagsisikap sa pangangatwiran. Nang itaas mula medium tungo sa maximum ang pagsisikap ng nag-iisang Sol agent, tumaas ang score nito mula 77.6% tungo sa 89.0%, na iniulat ng Vals bilang estadistikong makabuluhan. $4.82 kada app ang gastos ng nag-iisang agent na ito sa maximum na pagsisikap at 38.4 minuto ang median na runtime nito; $3.07 at 11.9 minuto naman para sa team na medium ang pagsisikap. Hindi estadistikong makabuluhan ang diperensiya na 4.1 puntos sa score ng dalawang setup na ito (p = 0.08). Ipinapakita ng mga bilang ang nasukat na palitan ng gastos at oras nang hindi ipinapalagay na mananalo ang isang setup sa bagong proyekto.

Magkaiba rin ang paggamit ng oras ng mga team. Ayon sa Vals, maagang nagtalaga ng gawain ang lead ng Sol at siya mismo ang sumubok sa pinagsama-samang app. Natapos ang team nito sa maximum na pagsisikap sa median na 27.6 minuto, mula sa 38.4 minuto para sa nag-iisang agent. Karaniwang gumawa muna ng iisang kontrata at nagtalaga nang sunod-sunod ang mga lead ng Opus. Sa maximum na pagsisikap, umabot sa median na 174.1 minuto ang team kumpara sa 74.7 minuto para sa nag-iisang agent, at halos limang beses ang gastos kada app. Iniugnay ng Vals ang malaking bahagi ng dagdag na singil sa mga naka-cache na input token sa magkakahiwalay na context ng mga subagent.

## Hanggang saan umaabot ang natuklasang ito

Ang mga interval ng significance ay sumasalamin sa pagkakaiba ng 50 app, hindi sa pagbabago sa paulit-ulit na pagsubok sa iisang app. Maaaring mag-iba ang paghahambing sa ibang run. May dagdag ding tagubilin tungkol sa pagtatalaga ng gawain ang mga team run, kaya pinagsamang setup ng team at tagubilin ang sinukat ng eksperimento. Ginamit ng Sol ang OpenAI Agents API at ng Opus ang Claude Code; magkahalong iba’t ibang harness din ang paghahambing ng score sa mga modelo. Ipinagpalagay sa pagtatantiya ng Vals sa gastos ng Sol na kasama sa iniulat na paggamit ng token ang mga subagent at hindi isinama ang posibleng mas mataas na presyo para sa mga request na lumampas sa long-context threshold, dahil walang datos ng paggamit sa antas ng request.

Sinusuportahan ng pag-aaral ang isang limitadong pasya: sa pagbuo ng kahalintulad na full-stack app gamit ang mga configuration na ito, nagpakita ng nasusukat na pagtaas ang team ng Sol na may medium na pagsisikap sa mas mataas na gastos, samantalang walang maaasahang pagtaas sa score ang ibang team. Hindi nito masasagot kung sulit ang mga team sa ibang codebase, ibang modelo o workflow na naiiba ang paghahati at pag-check ng gawain. Sinuri ng BIG CHANGE ang inilathalang post ng Vals at ang metodo nito; hindi nito pinatakbo o inulit ang benchmark.

## Sources

- [Vals AI, Sulit ba ang mga team ng ahente? Isang case study sa Vibe Code Bench](https://www.vals.ai/blogs/multi-agent-vibe-code-bench) — Ulat ng orihinal na eksperimento. Sinusuportahan ng mga score, gastos, runtime, interval at p-value ng paired test, gawi ng team, detalye ng implementasyon at mga limitasyon nito ang artikulo. Isang beses pinatakbo ang bawat isa sa walong setup sa bawat isa sa 50 app; pagkakaiba ng mga app, hindi paulit-ulit na pagsubok, ang pinagmumulan ng iniulat na kawalang-katiyakan.
- [Vals AI, Metodo ng Vibe Code Bench v1.1](https://www.vals.ai/benchmarks/vibe-code) — Paglalarawan at metodo ng naka-link na benchmark: mga detalye ng app, 20–60 UI test kada app at mga tuntunin sa pag-score. Iba ang configuration ng harness ng pangkalahatang leaderboard nito at hindi nito pinapalitan ang resulta ng case study tungkol sa mga team ng ahente.
- [The Decoder, Ayon sa pag-aaral, nagsasayang ng napakaraming token ang mga team ng AI agent para sa halos hindi masukat na pagtaas ng kalidad](https://the-decoder.com/ai-agent-teams-waste-massive-tokens-for-barely-measurable-quality-gains-research-finds/) — Independent na kontemporaryong ulat na ginamit para sa pagtuklas at konteksto. Sinuri laban sa orihinal na ulat ng Vals ang mga bilang at pahayag tungkol sa metodo sa artikulo; hindi ginagamit ng BIG CHANGE ang mas malawak na konklusyon ng headline.