AI-translated from English; not yet reviewed by a fluent editor.

# Vals AI کے کوڈنگ ٹیسٹ میں ایجنٹوں کی ایک ٹیم نے 7.3 پوائنٹس کا اضافہ کیا، مگر لاگت 2.5 گنا تھی

> 50 ایپ بنانے کے تجربے میں Vals AI کو اعدادوشمار کے لحاظ سے اہم ٹیم اضافہ صرف درمیانی کوشش پر GPT 6 Sol کے لیے ملا؛ اس ترتیب کی لاگت فی ایپ $3.07 تھی جبکہ ایک ایجنٹ کی $1.22 تھی۔

By BIG CHANGE Editorial

Published: 2026-10-11T20:00:10.163Z
Updated: 2026-10-11T20:00:10.163Z
Canonical: https://bigchange.ai/blog/vals-ai-agent-team-coding-benchmark-cost-score

![Vals AI-reported results for GPT 6 Sol at medium effort across 50 web apps: single agent 77.6% mean UI test pass score at $1.22 mean model cost per app; team 84.9% at $3.07.](https://bigchange.ai/api/media/file/vals-sol-medium-score-cost-chart.png)
BIG CHANGE graphic; data: Vals AI, October 9, 2026.

Vals AI کی 9 اکتوبر کی تحقیق میں چار جوڑی دار موازنوں میں سے ایک میں کوڈنگ ایجنٹ کو ساتھی دینے سے فائدہ ہوا [Vals AI کی 9 اکتوبر کی Vibe Code Bench تحقیق](https://www.vals.ai/blogs/multi-agent-vibe-code-bench)۔ درمیانی استدلالی کوشش والی GPT 6 Sol ٹیم نے بینچ مارک کے 84.9% ایپ ٹیسٹ پاس کیے، جبکہ تنہا Sol ایجنٹ نے 77.6% پاس کیے۔ 7.3 فیصدی پوائنٹ کے اس اضافے کی اوسط لاگت فی ایپ $1.22 کے بجائے $3.07 تھی۔ Vals نے اس اضافے کے لیے 95% وقفہ 2.3 سے 12.4 پوائنٹس اور جوڑی دار ٹیسٹ کی p-value 0.005 بتائی۔ باقی تین ٹیم بمقابلہ تنہا ایجنٹ موازنوں میں اسکور کا فرق اعدادوشمار کے لحاظ سے اہم نہیں تھا۔

یہ نتیجہ ڈویلپرز کے سامنے اس سوال سے زیادہ واضح بجٹ سوال رکھتا ہے کہ ٹیمیں “بہتر” ہیں یا نہیں۔ ان ویب ایپ تیاریوں میں درمیانی کوشش کے Sol نے فی ایپ تقریباً $1.85 اضافی خرچ پر قابلِ پیمائش معیار میں بہتری دی، جبکہ درمیانی وقت تقریباً یکساں رہا۔ زیادہ کوشش پر، اور Claude Opus 5.5 کی دونوں کوشش سطحوں پر، ٹیم پر اضافی خرچ نے اس ٹیسٹ میں اسکور کی بہتری ثابت نہیں کی۔

## بڑی تبدیلی

- **کیا بدلا:** Vals نے استدلال کی دو سطحوں پر انہی 50 ویب ایپ کاموں میں تنہا کوڈنگ ایجنٹس کا ٹیموں سے موازنہ کیا۔ صرف درمیانی کوشش والے Sol کی ٹیم کے اسکور میں اعدادوشمار کے لحاظ سے اہم اضافہ ہوا۔
- **یہ اہم کیوں ہے:** جیتنے والی ٹیم ترتیب کی لاگت فی ایپ 2.5 گنا تھی؛ دوسری ٹیموں کی لاگت 1.8 سے 5.1 گنا زیادہ تھی مگر اسکور میں اہم اضافہ نہیں ہوا۔ ٹیم کی بناوٹ اور ماڈل کی ترتیبات ایک ہی خریداری کے فیصلے کا حصہ ہیں۔
- **کس بات پر نظر رکھیں:** بار بار چلانے اور دوسرے سافٹ ویئر کاموں پر ٹیسٹ سے پتا چل سکتا ہے کہ آیا یہ اضافہ ان مخصوص ایپس سے آگے بھی قابلِ اعتماد ہے۔ اس تحقیق میں ہر ترتیب صرف ایک بار چلائی گئی۔

## آٹھ رنز نے کیا ناپا

Vals نے GPT 6 Sol اور Claude Opus 5.5 سے مصنوعات کی وضاحتوں پر 50 مکمل ویب ایپس بنانے کو کہا۔ ایپس Docker Compose کے ذریعے تعینات ہوئیں اور براؤزر ایجنٹس نے صارف انٹرفیس ٹیسٹ چلا کر اسکور دیا۔ رپورٹ کردہ اسکور ہر ایپ کے پاس ہونے والے ٹیسٹوں کا اوسط تناسب ہے۔ [بینچ مارک کا طریقہ ](https://www.vals.ai/benchmarks/vibe-code)کے مطابق ہر ایپ کی وضاحت میں 20 سے 60 خودکار ٹیسٹ ہوتے ہیں، اور کوئی ٹیسٹ تبھی پاس سمجھا جاتا ہے جب اس کے کم از کم 90% مراحل کامیاب ہوں۔

ہر ماڈل کے لیے Vals نے تنہا ایجنٹ کا ایسے سربراہ سے موازنہ کیا جو درمیانی اور زیادہ سے زیادہ استدلالی کوشش، دونوں پر بیک وقت پانچ تک ذیلی ایجنٹس کو کام دے سکتا تھا۔ سربراہوں کو کام تقسیم کرنے، سونپنے، یکجا کرنے اور جانچنے کی اضافی ہدایت بھی ملی۔ ہر ماڈل کے موازنے میں کام کا پرامپٹ، سینڈ باکس اور جانچنے والا یکساں تھا۔ آٹھوں ترتیبات میں سے ہر ایک نے 50 میں سے ہر ایپ ایک بار بنائی۔

| ماڈل اور کوشش | تنہا اسکور | ٹیم اسکور | فی ایپ اوسط لاگت: تنہا → ٹیم | درمیانی دورانیہ: تنہا → ٹیم |
| --- | --- | --- | --- | --- |
| GPT 6 Sol، درمیانی | 77.6% | 84.9% | $1.22 → $3.07 | 12.4 → 11.9 منٹ |
| GPT 6 Sol، زیادہ سے زیادہ | 89.0% | 90.4% | $4.82 → $8.54 | 38.4 → 27.6 منٹ |
| Claude Opus 5.5، درمیانی | 91.5% | 91.2% | $4.08 → $9.10 | 20.3 → 26.6 منٹ |
| Claude Opus 5.5، زیادہ سے زیادہ | 89.8% | 93.2% | $23.77 → $122 | 74.7 → 174.1 منٹ |

یہ Vals کے مطابق ایک ایپ بنانے میں ماڈلز کی اوسط لاگت ہے، نہ کہ سبسکرپشن کی قیمت یا کامیاب UI ٹیسٹ کی لاگت۔ دورانیے حقیقی وقت کے درمیانی اعداد ہیں، اس لیے ہر قطار کی لاگت اور وقت 50 رنز کے مختلف خلاصے ہیں۔ زیادہ سے زیادہ کوشش والی Opus ٹیم کے اوسط میں ایک وقت ختم ہونے والا رن شامل ہے؛ Vals نے ٹوکن گنتی سے اس کی لاگت تقریباً $189 لگائی۔

## نتیجہ ترتیب پر کیوں منحصر ہے

Vals نے جوڑی دار t-test کے ذریعے ہر ٹیم کا انہی ایپس پر متعلقہ تنہا ایجنٹ سے موازنہ کیا۔ زیادہ سے زیادہ کوشش والی Sol ٹیم نے 1.4 پوائنٹس حاصل کیے؛ 95% وقفہ −1.7 سے 4.5 پوائنٹس تھا۔ درمیانی کوشش والی Opus ٹیم 0.3 پوائنٹس کم رہی، وقفہ −3.2 سے 2.5 تھا؛ زیادہ سے زیادہ کوشش والی ٹیم نے 3.4 پوائنٹس حاصل کیے، وقفہ −1.4 سے 8.3 تھا۔ ان وقفوں میں کوئی اضافہ نہ ہونا بھی شامل ہے۔ یہ ثابت نہیں کرتے کہ ٹیمیں ان ترتیبات میں کبھی مدد نہیں کرتیں، لیکن اس تجربے نے اضافہ ثابت نہیں کیا۔

Sol کے لیے استدلالی کوشش بھی ایک آزمودہ انتخاب تھا۔ تنہا Sol ایجنٹ کی کوشش درمیانی سے زیادہ سے زیادہ کرنے پر اسکور 77.6% سے 89.0% ہو گیا، جسے Vals نے اعدادوشمار کے لحاظ سے اہم قرار دیا۔ زیادہ سے زیادہ کوشش والے اس تنہا ایجنٹ کی لاگت فی ایپ $4.82 اور درمیانی دورانیہ 38.4 منٹ تھا، جبکہ درمیانی کوشش والی ٹیم کے لیے یہ $3.07 اور 11.9 منٹ تھے۔ ان دو ترتیبات کے درمیان 4.1 پوائنٹس کا فرق اعدادوشمار کے لحاظ سے اہم نہیں تھا (p = 0.08)۔ یہ اعداد ڈویلپر کو نئی پروجیکٹ میں کسی ترتیب کی جیت فرض کیے بغیر ناپا ہوا قیمت اور وقت کا سمجھوتا دکھاتے ہیں۔

ٹیموں نے وقت بھی مختلف طرح استعمال کیا۔ Vals کے مطابق Sol کے سربراہ نے جلد کام سونپا اور تیار ایپ خود آزمائی۔ زیادہ سے زیادہ کوشش والی ٹیم نے درمیانی 27.6 منٹ میں کام مکمل کیا، جبکہ تنہا ایجنٹ کو 38.4 منٹ لگے۔ Opus کے سربراہ مشترکہ معاہدہ لکھ کر مرحلوں میں کام سونپتے تھے۔ زیادہ سے زیادہ کوشش پر ٹیم کو درمیانی 174.1 منٹ لگے، تنہا ایجنٹ کو 74.7 منٹ، اور فی ایپ لاگت تقریباً پانچ گنا تھی۔ Vals اضافی بل کا بڑا حصہ ذیلی ایجنٹس کے الگ سیاق میں محفوظ شدہ ان پٹ ٹوکنوں کو قرار دیتا ہے۔

## اس نتیجے کو کہاں تک لے جا سکتے ہیں

اہمیت کے وقفے 50 ایپس کے درمیان فرق دکھاتے ہیں، نہ کہ ایک ہی ایپ پر بار بار کوشش کے اتار چڑھاؤ۔ دوسرا رن موازنہ بدل سکتا ہے۔ ٹیم رنز کو کام سونپنے کی اضافی ہدایت بھی ملی، اس لیے تجربے نے ٹیم اور ہدایت کی مشترکہ ترتیب ناپی۔ Sol نے OpenAI Agents API اور Opus نے Claude Code استعمال کیا؛ ماڈل اسکور کا موازنہ مختلف ہارنسز کو بھی ملاتا ہے۔ Sol کی لاگت کے Vals اندازے فرض کرتے ہیں کہ رپورٹ شدہ ٹوکن استعمال میں ذیلی ایجنٹس شامل ہیں اور طویل سیاق کی حد سے آگے درخواستوں کی ممکنہ زیادہ قیمت شامل نہیں کرتے، کیونکہ درخواست کی سطح کا استعمال دستیاب نہیں تھا۔

یہ مطالعہ ایک محدود فیصلے کی حمایت کرتا ہے: ان ترتیبات کے ساتھ ملتی جلتی فل اسٹیک ایپس بنانے میں درمیانی کوشش والی Sol ٹیم نے زیادہ لاگت پر قابلِ پیمائش اضافہ دکھایا، جبکہ دوسری ٹیموں نے قابلِ اعتماد اسکور اضافہ نہیں دکھایا۔ یہ طے نہیں کرتا کہ دوسری کوڈ بیس، دوسرے ماڈل یا کام تقسیم اور جانچنے کے مختلف طریقے والے ورک فلو میں ٹیمیں فائدہ دیتی ہیں یا نہیں۔ BIG CHANGE نے Vals کی شائع شدہ پوسٹ اور طریقہ دیکھا؛ اس نے بینچ مارک چلایا یا دہرایا نہیں۔

## Sources

- [Vals AI، کیا ایجنٹ ٹیمیں فائدہ مند ہیں؟ Vibe Code Bench کا کیس اسٹڈی](https://www.vals.ai/blogs/multi-agent-vibe-code-bench) — اصل تجربے کی رپورٹ۔ اس کے اسکور، لاگت، دورانیے، جوڑی دار ٹیسٹ کے وقفے اور p-values، ٹیموں کا طرزِ عمل، نفاذ کی تفصیل اور احتیاطیں مضمون کی بنیاد ہیں۔ آٹھوں ترتیبات میں سے ہر ایک 50 ایپس میں ہر ایپ پر ایک بار چلائی گئی؛ رپورٹ شدہ غیر یقینی ایپس کے درمیان بدلتی ہے، دہرائی گئی کوششوں کے درمیان نہیں۔
- [Vals AI، Vibe Code Bench v1.1 کا طریقہ](https://www.vals.ai/benchmarks/vibe-code) — منسلک بینچ مارک کی وضاحت اور طریقہ: ایپ کی تفصیلات، فی ایپ 20–60 UI ٹیسٹ اور اسکورنگ قواعد۔ اس کی عمومی درجہ بندی دوسری ہارنس ترتیبات استعمال کرتی ہے اور ایجنٹ ٹیم کیس اسٹڈی کے نتائج کی جگہ نہیں لیتی۔
- [The Decoder، تحقیق: AI ایجنٹ ٹیمیں بمشکل قابلِ پیمائش معیار کے فائدے کے لیے بہت سے ٹوکن خرچ کرتی ہیں](https://the-decoder.com/ai-agent-teams-waste-massive-tokens-for-barely-measurable-quality-gains-research-finds/) — دریافت اور سیاق کے لیے استعمال ہونے والی آزاد ہم عصر رپورٹنگ۔ مضمون کے عددی اور طریقہ جاتی دعوے Vals کی اصل رپورٹ سے جانچے گئے ہیں؛ BIG CHANGE عنوان کا وسیع تر نتیجہ نہیں اپناتا۔