Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# В тесте Vals AI по программированию одна команда агентов прибавила 7,3 пункта, но обошлась в 2,5 раза дороже

> На 50 сборках приложений Vals AI обнаружила статистически значимый командный прирост только у GPT 6 Sol при среднем уровне усилий; такая конфигурация стоила $3,07 за приложение против $1,22.

By BIG CHANGE Editorial

Published: 2026-10-11T20:00:10.163Z
Updated: 2026-10-11T20:00:10.163Z
Canonical: https://bigchange.ai/blog/vals-ai-agent-team-coding-benchmark-cost-score

![Vals AI-reported results for GPT 6 Sol at medium effort across 50 web apps: single agent 77.6% mean UI test pass score at $1.22 mean model cost per app; team 84.9% at $3.07.](https://bigchange.ai/api/media/file/vals-sol-medium-score-cost-chart.png)
BIG CHANGE graphic; data: Vals AI, October 9, 2026.

В исследовании Vals AI от 9 октября команда помогла агенту-программисту в одном из четырёх парных сравнений [Исследование Vibe Code Bench от Vals AI, 9 октября](https://www.vals.ai/blogs/multi-agent-vibe-code-bench). Команда GPT 6 Sol со средним усилием рассуждения прошла 84,9% тестов приложений в бенчмарке против 77,6% у одиночного агента Sol. Прирост на 7,3 процентного пункта обходился в среднем в $3,07 вместо $1,22 за приложение. Vals сообщила 95%-й интервал от 2,3 до 12,4 пункта для этого прироста и p-значение парного теста 0,005. В остальных трёх сравнениях команды с одиночным агентом статистически значимой разницы в баллах не было.

Этот результат задаёт разработчикам более точный бюджетный вопрос, чем вопрос о том, «лучше» ли команды. В этой серии веб-приложений Sol со средним усилием обеспечил измеримый прирост качества примерно за дополнительные $1,85 на приложение при почти таком же медианном времени. При более высоком усилии, а также с Claude Opus 5.5 на обоих уровнях усилий, дополнительные расходы на команды не подтвердили улучшения баллов в этом тесте.

## Главное изменение

- **Что изменилось:** Vals сравнила одиночных агентов-программистов и команды на одних и тех же 50 задачах по созданию веб-приложений при двух уровнях рассуждения. Только Sol со средним усилием показал статистически значимый командный прирост баллов.
- **Почему это важно:** Победившая командная конфигурация стоила в 2,5 раза дороже на приложение; другие команды обходились в 1,8–5,1 раза дороже без значимого прироста баллов. Проектирование команды и настройки модели относятся к одному решению о покупке.
- **За чем следить:** Повторные запуски и тесты на других программных задачах могут показать, сохраняется ли прирост за пределами этих конкретных приложений. В этом исследовании каждую конфигурацию запускали один раз.

## Что измеряли восемь запусков

Vals попросила GPT 6 Sol и Claude Opus 5.5 создать 50 полноценных веб-приложений по спецификациям продукта. Приложения развернули с Docker Compose и оценили браузерные агенты, выполнявшие тесты интерфейса. Опубликованный балл — средняя доля тестов каждого приложения, завершившихся успешно. [Методика бенчмарка ](https://www.vals.ai/benchmarks/vibe-code)указывает, что спецификация каждого приложения включает от 20 до 60 автоматизированных тестов, а отдельный тест считается пройденным, если успешно выполнено не менее 90% его шагов.

Для каждой модели Vals сравнила одиночного агента с ведущим агентом, который мог одновременно делегировать работу максимум пяти субагентам при среднем и максимальном усилии рассуждения. Ведущим также добавили инструкцию разделять, делегировать, интегрировать и проверять работу. Внутри каждого сравнения модели промпт задачи, песочница и оценщик оставались одинаковыми. Каждая из восьми конфигураций по одному разу создала каждое из 50 приложений.

| Модель и усилие | Балл одиночного агента | Балл команды | Средняя стоимость приложения: один агент → команда | Медианное время: один агент → команда |
| --- | --- | --- | --- | --- |
| GPT 6 Sol, среднее | 77,6% | 84,9% | $1,22 → $3,07 | 12,4 → 11,9 мин |
| GPT 6 Sol, максимальное | 89,0% | 90,4% | $4,82 → $8,54 | 38,4 → 27,6 мин |
| Claude Opus 5.5, среднее | 91,5% | 91,2% | $4,08 → $9,10 | 20,3 → 26,6 мин |
| Claude Opus 5.5, максимальное | 89,8% | 93,2% | $23,77 → $122 | 74,7 → 174,1 мин |

Это средние расходы моделей Vals на одну сборку приложения, а не стоимость подписки или успешного UI-теста. Время — медиана по часам, поэтому стоимость и длительность в строке по-разному суммируют 50 запусков. Среднее команды Opus с максимальным усилием включает один запуск, превысивший лимит времени; Vals оценила его стоимость примерно в $189 по числу токенов.

## Почему результат зависит от конфигурации

Vals сравнила каждую команду с соответствующим одиночным агентом на тех же приложениях с помощью парного t-теста. Команда Sol с максимальным усилием прибавила 1,4 пункта; 95%-й интервал составил от −1,7 до 4,5. Команда Opus со средним усилием набрала на 0,3 пункта меньше при интервале от −3,2 до 2,5; с максимальным усилием она прибавила 3,4 пункта при интервале от −1,4 до 8,3. Эти интервалы включают отсутствие прироста. Они не доказывают, что команды никогда не помогают в этих конфигурациях, но эксперимент не подтвердил прироста.

Для Sol отдельно проверяли и уровень усилий рассуждения. При повышении усилия одиночного агента Sol со среднего до максимального балл вырос с 77,6% до 89,0%; Vals сообщает, что рост статистически значим. Такой одиночный агент с максимальным усилием стоил $4,82 за приложение и работал медианные 38,4 минуты против $3,07 и 11,9 минуты у команды со средним усилием. Разница в 4,1 пункта между этими конфигурациями не была статистически значимой (p = 0,08). Эти цифры показывают разработчику измеренный компромисс цены и времени, не предполагая, что одна конфигурация победит в новом проекте.

Команды по-разному распределяли и время. По словам Vals, ведущий агент Sol рано делегировал работу и сам тестировал собранное приложение. Команда с максимальным усилием завершала работу за медианные 27,6 минуты против 38,4 у одиночного агента. Ведущие Opus обычно писали общий контракт и делегировали этапами. При максимальном усилии команда тратила медианные 174,1 минуты против 74,7 у одиночного агента и обходилась примерно в пять раз дороже на приложение. Vals связывает значительную часть доплаты с закэшированными входными токенами в отдельных контекстах субагентов.

## Насколько далеко можно распространить вывод

Интервалы значимости отражают различия между 50 приложениями, а не разброс повторных попыток на одном приложении. Другой запуск может изменить сравнение. Командам также добавили инструкцию делегировать, поэтому эксперимент измерял сочетание команды и этой инструкции. Sol использовала OpenAI Agents API, а Opus — Claude Code; сравнение оценок моделей также смешивает разные среды исполнения. Оценки стоимости Sol от Vals предполагают, что заявленное использование токенов включает субагентов, и не учитывают возможное повышение цены запросов выше порога длинного контекста, поскольку данных по использованию на уровне запроса не было.

Исследование поддерживает ограниченное решение: при создании похожих full-stack приложений с этими конфигурациями команда Sol со средним усилием показала измеримый прирост за более высокую стоимость, а другие команды не показали надёжного прироста баллов. Оно не отвечает на вопрос, окупаются ли команды на другой кодовой базе, с другой моделью или в рабочем процессе с иным способом разделения и проверки задач. BIG CHANGE изучила опубликованный материал Vals и его методику, но не запускала и не воспроизводила бенчмарк.

## Sources

- [Vals AI, Окупается ли работа командами агентов? Исследование Vibe Code Bench](https://www.vals.ai/blogs/multi-agent-vibe-code-bench) — Отчёт об исходном эксперименте. Его оценки, расходы, длительность, интервалы и p-значения парных тестов, поведение команд, подробности реализации и оговорки служат основанием статьи. Каждую из восьми конфигураций один раз запускали на каждом из 50 приложений; заявленная неопределённость меняется между приложениями, а не между повторными попытками.
- [Vals AI, Методика Vibe Code Bench v1.1](https://www.vals.ai/benchmarks/vibe-code) — Описание и методика связанного бенчмарка: спецификации приложений, 20–60 UI-тестов на приложение и правила подсчёта баллов. В его общей таблице лидеров используются другие конфигурации среды; она не заменяет результаты исследования команд агентов.
- [The Decoder, Исследование: команды ИИ-агентов тратят массу токенов ради едва измеримого прироста качества](https://the-decoder.com/ai-agent-teams-waste-massive-tokens-for-barely-measurable-quality-gains-research-finds/) — Независимый современный материал для поиска и контекста. Числа и методологические утверждения статьи проверены по исходному отчёту Vals; BIG CHANGE не принимает более широкий вывод заголовка.