AI-translated from English; not yet reviewed by a fluent editor.

# У Vals AI тесту програмирања један тим агената остварио је добитак од 7,3 поена уз 2,5 пута већи трошак

> Vals AI је утврдио статистички значајну предност тима само за GPT 6 Sol при средњем нивоу напора, на 50 израда апликација; та поставка коштала је 3,07 USD уместо 1,22 USD по апликацији.

By BIG CHANGE Editorial

Published: 2026-10-11T20:00:10.163Z
Updated: 2026-10-11T20:00:10.163Z
Canonical: https://bigchange.ai/blog/vals-ai-agent-team-coding-benchmark-cost-score

![Vals AI-reported results for GPT 6 Sol at medium effort across 50 web apps: single agent 77.6% mean UI test pass score at $1.22 mean model cost per app; team 84.9% at $3.07.](https://bigchange.ai/api/media/file/vals-sol-medium-score-cost-chart.png)
BIG CHANGE graphic; data: Vals AI, October 9, 2026.

Давање сарадника агенту за програмирање помогло је у једном од четири упарена поређења у Vals AI студији од 9. октобра [Vals AI студија Vibe Code Bench од 9. октобра](https://www.vals.ai/blogs/multi-agent-vibe-code-bench). Тим GPT 6 Sol са средњим напором резоновања прошао је 84,9% тестова апликација у бенцхмарку, наспрам 77,6% за самостални Sol агент. Добитак од 7,3 процентна поена коштао је просечно 3,07 USD уместо 1,22 USD по апликацији. Vals је пријавио интервал поузданости од 95% од 2,3 до 12,4 поена за тај добитак и п-вредност упареног теста од 0,005. Ниједно од преостала три поређења тима и самосталног агента није показало статистички значајну разлику у резултату.

Резултат програмерима даје конкретније буџетско питање од тога да ли су тимови „бољи“. У овом скупу израда веб-апликација, Sol са средњим напором донео је мерљиво побољшање квалитета за око 1,85 USD више по апликацији, уз готово исто медијално време. При већем напору, као и за Claude Opus 5.5 на оба нивоа напора, додатна потрошња на тим није доказала побољшање резултата у овом тесту.

## Велика промена

- **Шта се променило:** Vals је мерио самосталне агенте за програмирање наспрам тимова на истих 50 задатака за веб-апликације и при два нивоа резоновања. Само Sol са средњим напором остварио је статистички значајан тимски добитак у резултату.
- **Зашто је важно:** Победничка поставка тима коштала је 2,5 пута више по апликацији; остали тимови коштали су 1,8 до 5,1 пута више без значајног добитка у резултату. Дизајн тима и подешавања модела део су исте одлуке о куповини.
- **Шта пратити:** Понављања и тестови на другим софтверским задацима могли би да покажу да ли је добитак поуздан и ван ових конкретних апликација. У овој студији свака поставка покренута је једном.

## Шта је мерено у осам покретања

Vals је тражио од GPT 6 Sol и Claude Opus 5.5 да направе 50 комплетних веб-апликација на основу спецификација производа. Апликације су постављене помоћу Docker Compose, а оцењивали су их броwсер агенти кроз тестове корисничког интерфејса. Пријављени резултат је просечан удео тестова сваке апликације који су прошли. [Метод бенцхмарка ](https://www.vals.ai/benchmarks/vibe-code)наводи да свака спецификација апликације има 20 до 60 аутоматизованих тестова, а појединачни тест се рачуна као положен када успе најмање 90% његових корака.

За сваки модел Vals је упоредио самосталног агента са вођом који је могао истовремено да делегира посао на највише пет подагената, и при средњем и при максималном напору резоновања. Вође су добиле и додатно упутство да поделе, делегирају, интегришу и провере рад. Промпт задатка, сандбоx и оцењивач били су исти у сваком поређењу модела. Свака од осам конфигурација направила је сваку од 50 апликација једном.

| Модел и напор | Резултат самосталног агента | Резултат тима | Просечан трошак по апликацији: самостално → тим | Медијално трајање: самостално → тим |
| --- | --- | --- | --- | --- |
| GPT 6 Sol, средњи | 77,6% | 84,9% | 1,22 USD → 3,07 USD | 12,4 → 11,9 мин |
| GPT 6 Sol, максимални | 89,0% | 90,4% | 4,82 USD → 8,54 USD | 38,4 → 27,6 мин |
| Claude Opus 5.5, средњи | 91,5% | 91,2% | 4,08 USD → 9,10 USD | 20,3 → 26,6 мин |
| Claude Opus 5.5, максимални | 89,8% | 93,2% | 23,77 USD → 122 USD | 74,7 → 174,1 мин |

То су Valsови просечни трошкови модела за израду једне апликације, а не претплате нити трошкови по успешном UI тесту. Времена су медијане стварног трајања, па трошак и време у једном реду представљају различите сажетке 50 покретања. Просек тима Opus са максималним напором укључује једно покретање које је истекло; Vals је његов трошак проценио на око 189 USD на основу броја токена.

## Зашто резултат зависи од поставке

Vals је упоредио сваки тим са одговарајућим самосталним агентом на истим апликацијама користећи упарени т-тест. Тим Sol са максималним напором добио је 1,4 поена, уз интервал од 95% од −1,7 до 4,5 поена. Тим Opus са средњим напором постигао је резултат нижи за 0,3 поена, уз интервал од −3,2 до 2,5; тим са максималним напором добио је 3,4 поена, уз интервал од −1,4 до 8,3. Ти интервали обухватају и нулти добитак. Они не доказују да тимови никада не помажу тим конфигурацијама, али овај експеримент није утврдио добитак.

Код Sol-а је напор резоновања био још један тестирани избор. Повећање напора самосталног Sol агента са средњег на максимални подигло је резултат са 77,6% на 89,0%, што Vals наводи као статистички значајно. Тај самостални агент са максималним напором коштао је 4,82 USD по апликацији и имао медијално трајање од 38,4 минута, наспрам 3,07 USD и 11,9 минута за тим са средњим напором. Разлика од 4,1 поен између те две конфигурације није била статистички значајна (п = 0,08). Бројеви показују програмеру измерену размену трошка и времена без претпоставке да ће нека конфигурација победити на новом пројекту.

Тимови су различито распоређивали и своје време. Vals наводи да је Sol вођа рано делегирао посао и сам тестирао састављену апликацију. Тим са максималним напором завршио је за медијалних 27,6 минута, наспрам 38,4 за самосталног агента. Вође Opus-а углавном су писале заједнички уговор и делегирале у таласима. При максималном напору тиму је требало медијалних 174,1 минута, наспрам 74,7 за самосталног агента, а коштао је око пет пута више по апликацији. Vals велики део додатног рачуна приписује кешираним улазним токенима у одвојеним контекстима подагената.

## Колико далеко овај налаз важи

Интервали статистичке значајности одражавају разлике међу 50 апликација, а не варијације међу поновљеним покушајима на истој апликацији. Друго покретање могло би да промени поређење. Тимови су добили и додатно упутство за делегирање, па је експеримент мерио комбинацију тима и упутства. Sol је користио OpenAI Agents API, а Opus Claude Code; поређења резултата међу моделима зато укључују и различите харнесс-е. Valsове процене трошка за Sol претпостављају да пријављена употреба токена укључује подагенте и не рачунају евентуалну вишу цену захтева преко прага за дуги контекст, јер подаци о употреби по захтеву нису били доступни.

Студија подржава ограничен закључак: при изради сличних фулл-стацк апликација са овим конфигурацијама, тим Sol са средњим напором показао је мерљив добитак уз виши трошак, док остали тимови нису показали поуздан добитак у резултату. Не може да утврди да ли се тимови исплате на другој кодној бази, уз други модел или у току рада који другачије дели и проверава посао. BIG CHANGE је прегледао објављени текст Vals-а и његов метод; није изводио нити поновио бенцхмарк.

## Sources

- [Vals AI, Да ли се тимови агената исплате? Студија случаја Vibe Code Bench](https://www.vals.ai/blogs/multi-agent-vibe-code-bench) — Извештај о оригиналном експерименту. Његови резултати, трошкови, трајања, интервали и п-вредности упарених тестова, понашање тимова, детаљи имплементације и ограничења поткрепљују чланак. Свака од осам поставки покренута је једном на свакој од 50 апликација; пријављена неизвесност варира међу апликацијама, а не међу поновљеним покушајима.
- [Vals AI, Методологија Vibe Code Bench в1.1](https://www.vals.ai/benchmarks/vibe-code) — Опис и методологија повезаног бенцхмарка: спецификације апликација, 20–60 UI тестова по апликацији и правила оцењивања. Његова општа ранг-листа користи друге конфигурације харнесс-а и не замењује резултате студије случаја тимова агената.
- [The Decoder, Истраживање: АИ тимови агената троше огромно токена за једва мерљиве добитке у квалитету](https://the-decoder.com/ai-agent-teams-waste-massive-tokens-for-barely-measurable-quality-gains-research-finds/) — Независно савремено извештавање коришћено за откривање и контекст. Бројеви и методолошке тврдње у чланку проверени су према оригиналном извештају Vals-а; BIG CHANGE не прихвата шири закључак из наслова.