Markdown সংস্করণ

AI-translated from English; not yet reviewed by a fluent editor.

# Vals AI-এর কোডিং পরীক্ষায় একটি এজেন্ট দল 7.3 পয়েন্ট এগিয়েছে, তবে খরচ হয়েছে 2.5 গুণ

> 50টি অ্যাপ তৈরির পরীক্ষায় Vals AI কেবল মাঝারি প্রচেষ্টায় GPT 6 Sol-এর দলের জন্য পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ উন্নতি পেয়েছে; সেটির খরচ ছিল প্রতি অ্যাপে $3.07, যেখানে একক এজেন্টের খরচ $1.22।

By BIG CHANGE Editorial

Published: 2026-10-11T20:00:10.163Z
Updated: 2026-10-11T20:00:10.163Z
Canonical: https://bigchange.ai/blog/vals-ai-agent-team-coding-benchmark-cost-score

![Vals AI-reported results for GPT 6 Sol at medium effort across 50 web apps: single agent 77.6% mean UI test pass score at $1.22 mean model cost per app; team 84.9% at $3.07.](https://bigchange.ai/api/media/file/vals-sol-medium-score-cost-chart.png)
BIG CHANGE graphic; data: Vals AI, October 9, 2026.

Vals AI-এর 9 অক্টোবরের গবেষণায় চারটি জোড়া তুলনার একটিতে কোডিং এজেন্টকে সতীর্থ দেওয়া সহায়ক হয়েছিল [Vals AI-এর 9 অক্টোবরের Vibe Code Bench গবেষণা](https://www.vals.ai/blogs/multi-agent-vibe-code-bench)। মাঝারি যুক্তি-প্রচেষ্টার GPT 6 Sol দল বেঞ্চমার্কের 84.9% অ্যাপ পরীক্ষা পাস করেছে, যেখানে একক Sol এজেন্ট পাস করেছে 77.6%। 7.3 শতাংশ-পয়েন্টের এই উন্নতিতে প্রতি অ্যাপে গড়ে $1.22-এর বদলে $3.07 খরচ হয়েছে। Vals এই উন্নতির 95% ব্যবধান 2.3 থেকে 12.4 পয়েন্ট এবং জোড়া পরীক্ষার p-value 0.005 জানিয়েছে। বাকি তিনটি দল-বনাম-একক-এজেন্ট তুলনায় স্কোরের পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ পার্থক্য দেখা যায়নি।

দল “ভালো” কি না—এমন প্রশ্নের চেয়ে ফলটি ডেভেলপারদের আরও নির্দিষ্ট বাজেটের প্রশ্ন দেয়। এই ওয়েব-অ্যাপ নির্মাণগুলিতে মাঝারি প্রচেষ্টার Sol প্রতি অ্যাপে প্রায় $1.85 বেশি খরচে পরিমাপযোগ্য মানোন্নয়ন এনেছে, অথচ মধ্যম সময় প্রায় একই ছিল। বেশি প্রচেষ্টায়, এবং Claude Opus 5.5-এর উভয় প্রচেষ্টা-স্তরেই, এই পরীক্ষায় দলের অতিরিক্ত খরচে স্কোর বাড়ে—এমন প্রমাণ মেলেনি।

## বড় পরিবর্তন

- **কী বদলেছে:** Vals একই 50টি ওয়েব-অ্যাপ কাজ এবং যুক্তির দুটি স্তরে একক কোডিং এজেন্টের সঙ্গে দলকে তুলনা করেছে। মাঝারি প্রচেষ্টার Sol-ই দলের স্কোরে পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ উন্নতি পেয়েছে।
- **কেন গুরুত্বপূর্ণ:** বিজয়ী দল-সেটআপে প্রতি অ্যাপে খরচ ছিল 2.5 গুণ; অন্য দলগুলিতে খরচ 1.8 থেকে 5.1 গুণ হলেও স্কোরে তাৎপর্যপূর্ণ উন্নতি হয়নি। দলের নকশা এবং মডেলের সেটিং একই ক্রয়-সিদ্ধান্তের অংশ।
- **কী লক্ষ্য রাখবেন:** বারবার চালানো এবং অন্য সফটওয়্যার কাজে পরীক্ষা করলে এই নির্দিষ্ট অ্যাপগুলির বাইরেও উন্নতিটি নির্ভরযোগ্য কি না বোঝা যেতে পারে। এই গবেষণায় প্রতিটি সেটআপ একবারই চালানো হয়েছিল।

## আটটি রান কী মেপেছিল

Vals GPT 6 Sol ও Claude Opus 5.5-কে পণ্যের স্পেসিফিকেশন থেকে 50টি সম্পূর্ণ ওয়েব অ্যাপ বানাতে বলেছিল। অ্যাপগুলি Docker Compose দিয়ে স্থাপন করা হয় এবং ব্রাউজার এজেন্ট ব্যবহারকারী-ইন্টারফেস পরীক্ষা চালিয়ে সেগুলিকে স্কোর দেয়। প্রকাশিত স্কোর হলো প্রতিটি অ্যাপের পরীক্ষাগুলির পাসের গড় অনুপাত। [বেঞ্চমার্কের পদ্ধতি ](https://www.vals.ai/benchmarks/vibe-code)বলছে, প্রতিটি অ্যাপ স্পেসিফিকেশনে 20 থেকে 60টি স্বয়ংক্রিয় পরীক্ষা থাকে, আর কোনো পরীক্ষা পাস বলে গণ্য হয় যখন তার অন্তত 90% ধাপ সফল হয়।

প্রতিটি মডেলের ক্ষেত্রে Vals একক এজেন্টের সঙ্গে এমন এক লিডকে তুলনা করেছে, যে মাঝারি ও সর্বোচ্চ যুক্তি-প্রচেষ্টা—দুই ক্ষেত্রেই একসঙ্গে সর্বোচ্চ পাঁচটি সাবএজেন্টকে কাজ দিতে পারত। লিডদের কাজ ভাগ করা, অর্পণ করা, একত্র করা ও যাচাই করার অতিরিক্ত নির্দেশও দেওয়া হয়েছিল। প্রতিটি মডেল-তুলনায় কাজের প্রম্পট, স্যান্ডবক্স এবং মূল্যায়নকারী একই রাখা হয়। আটটি কনফিগারেশনের প্রতিটি 50টি অ্যাপ একবার করে তৈরি করেছে।

| মডেল ও প্রচেষ্টা | একক স্কোর | দলের স্কোর | প্রতি অ্যাপে গড় খরচ: একক → দল | মধ্যম রানটাইম: একক → দল |
| --- | --- | --- | --- | --- |
| GPT 6 Sol, মাঝারি | 77.6% | 84.9% | $1.22 → $3.07 | 12.4 → 11.9 মিনিট |
| GPT 6 Sol, সর্বোচ্চ | 89.0% | 90.4% | $4.82 → $8.54 | 38.4 → 27.6 মিনিট |
| Claude Opus 5.5, মাঝারি | 91.5% | 91.2% | $4.08 → $9.10 | 20.3 → 26.6 মিনিট |
| Claude Opus 5.5, সর্বোচ্চ | 89.8% | 93.2% | $23.77 → $122 | 74.7 → 174.1 মিনিট |

এগুলি একটি অ্যাপ তৈরিতে মডেলের গড় খরচ—সাবস্ক্রিপশনের মূল্য বা সফল UI পরীক্ষাপ্রতি খরচ নয়। রানটাইম হলো দেয়াল-ঘড়ির সময়ের মধ্যক, তাই প্রতিটি সারির খরচ ও সময় 50টি রানের আলাদা সারাংশ। সর্বোচ্চ প্রচেষ্টার Opus দলের গড়ে একটি সময়সীমা-পেরোনো রান রয়েছে; Vals টোকেনের সংখ্যা থেকে সেটির খরচ প্রায় $189 ধরেছে।

## সেটআপের ওপর ফল নির্ভর করে কেন

Vals জোড়া t-পরীক্ষা ব্যবহার করে প্রতিটি দলকে একই অ্যাপে তার উপযুক্ত একক এজেন্টের সঙ্গে তুলনা করেছে। সর্বোচ্চ প্রচেষ্টার Sol দল 1.4 পয়েন্ট এগিয়েছে, 95% ব্যবধান −1.7 থেকে 4.5 পয়েন্ট। মাঝারি প্রচেষ্টার Opus দলের স্কোর 0.3 পয়েন্ট কম ছিল, ব্যবধান −3.2 থেকে 2.5; সর্বোচ্চ প্রচেষ্টার দল 3.4 পয়েন্ট এগিয়েছে, ব্যবধান −1.4 থেকে 8.3। এসব ব্যবধানে কোনো উন্নতি না হওয়ার সম্ভাবনাও রয়েছে। এগুলি প্রমাণ করে না যে ওই কনফিগারেশনে দল কখনো সাহায্য করে না, তবে এই পরীক্ষায় উন্নতি প্রতিষ্ঠিত হয়নি।

Sol-এর ক্ষেত্রে যুক্তি-প্রচেষ্টাও ছিল পরীক্ষিত আরেকটি পছন্দ। একক Sol এজেন্টের প্রচেষ্টা মাঝারি থেকে সর্বোচ্চে বাড়ালে স্কোর 77.6% থেকে 89.0% হয়; Vals এটিকে পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ বলেছে। সর্বোচ্চ প্রচেষ্টার সেই একক এজেন্টে প্রতি অ্যাপে $4.82 খরচ এবং 38.4 মিনিট মধ্যম রানটাইম ছিল; মাঝারি প্রচেষ্টার দলে তা ছিল $3.07 ও 11.9 মিনিট। এই দুই কনফিগারেশনের 4.1 পয়েন্ট স্কোর-পার্থক্য পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ ছিল না (p = 0.08)। নতুন প্রকল্পে কোনো সেটআপ জিতবেই ধরে না নিয়ে এই সংখ্যা ডেভেলপারদের মাপা মূল্য-সময়ের বিনিময় দেখতে দেয়।

দলগুলি সময়ও আলাদাভাবে ব্যবহার করেছে। Vals জানায়, Sol-এর লিড শুরুতেই কাজ অর্পণ করে এবং জোড়া লাগানো অ্যাপটি নিজে পরীক্ষা করেছিল। সর্বোচ্চ প্রচেষ্টার দলটি 27.6 মিনিট মধ্যম সময়ে শেষ করে, একক এজেন্টের 38.4 মিনিটের তুলনায়। Opus-এর লিডরা সাধারণত একটি যৌথ চুক্তি লিখে ধাপে ধাপে কাজ দিত। সর্বোচ্চ প্রচেষ্টায় দলের মধ্যম সময় ছিল 174.1 মিনিট, একক এজেন্টের 74.7 মিনিট; প্রতি অ্যাপে খরচ ছিল প্রায় পাঁচ গুণ। Vals অতিরিক্ত বিলের বড় অংশ সাবএজেন্টদের পৃথক প্রসঙ্গে ক্যাশ করা ইনপুট টোকেনের কারণে বলে মনে করে।

## এই ফল কত দূর পর্যন্ত প্রযোজ্য

তাৎপর্য-সংক্রান্ত ব্যবধান 50টি অ্যাপের পার্থক্য দেখায়, একই অ্যাপে পুনরাবৃত্ত চেষ্টার ওঠানামা নয়। আরেকটি রান তুলনাটি বদলে দিতে পারে। দলগুলিকে কাজ অর্পণের অতিরিক্ত নির্দেশও দেওয়া হয়েছিল, তাই পরীক্ষায় দল ও নির্দেশের সম্মিলিত সেটআপ মাপা হয়েছে। Sol OpenAI Agents API এবং Opus Claude Code ব্যবহার করেছে; মডেলগুলির স্কোর তুলনায় আলাদা harness-ও মিশেছে। Sol-এর খরচের Vals-অনুমান ধরে নেয় যে জানানো টোকেন ব্যবহারে সাবএজেন্ট অন্তর্ভুক্ত, এবং দীর্ঘ-প্রসঙ্গ সীমা পেরোনো অনুরোধের সম্ভাব্য বেশি মূল্য ধরে না, কারণ অনুরোধ-স্তরের ব্যবহার-তথ্য ছিল না।

গবেষণাটি একটি সীমিত সিদ্ধান্তকে সমর্থন করে: এই কনফিগারেশনে একই ধরনের ফুল-স্ট্যাক অ্যাপ বানালে বেশি খরচে মাঝারি প্রচেষ্টার Sol দল পরিমাপযোগ্য উন্নতি দেখিয়েছে, অন্য দলগুলি নির্ভরযোগ্য স্কোর-উন্নতি দেখায়নি। অন্য কোডবেস, অন্য মডেল বা কাজ ভাগ ও যাচাইয়ের ভিন্ন পদ্ধতির কর্মপ্রবাহে দলগুলি লাভজনক কি না, তা এটি মীমাংসা করে না। BIG CHANGE Vals-এর প্রকাশিত পোস্ট ও পদ্ধতি পর্যালোচনা করেছে; বেঞ্চমার্ক চালায়নি বা পুনরাবৃত্তি করেনি।

## Sources

- [Vals AI, এজেন্ট দল কি সার্থক? Vibe Code Bench-এর একটি কেস স্টাডি](https://www.vals.ai/blogs/multi-agent-vibe-code-bench) — মূল পরীক্ষার প্রতিবেদন। স্কোর, খরচ, রানটাইম, জোড়া পরীক্ষার ব্যবধান ও p-value, দলের আচরণ, বাস্তবায়নের বিবরণ এবং সতর্কতাগুলি নিবন্ধটিকে সমর্থন করে। আটটি সেটআপের প্রতিটি 50টি অ্যাপের প্রতিটিতে একবার চালানো হয়েছিল; প্রকাশিত অনিশ্চয়তা অ্যাপভেদে বদলায়, পুনরাবৃত্ত চেষ্টাভেদে নয়।
- [Vals AI, Vibe Code Bench v1.1 পদ্ধতি](https://www.vals.ai/benchmarks/vibe-code) — সংযুক্ত বেঞ্চমার্কের বর্ণনা ও পদ্ধতি: অ্যাপের স্পেসিফিকেশন, প্রতি অ্যাপে 20–60টি UI পরীক্ষা এবং স্কোরিং নিয়ম। এর সাধারণ লিডারবোর্ডে অন্য harness কনফিগারেশন ব্যবহৃত হয়; তা এজেন্ট-দল কেস স্টাডির ফলের বিকল্প নয়।
- [The Decoder, গবেষণায় বলা হয়েছে, সামান্যই মাপা যায় এমন মানোন্নয়নের জন্য AI এজেন্ট দল বিপুল টোকেন নষ্ট করে](https://the-decoder.com/ai-agent-teams-waste-massive-tokens-for-barely-measurable-quality-gains-research-finds/) — আবিষ্কার ও প্রেক্ষাপটের জন্য ব্যবহৃত স্বাধীন সমসাময়িক প্রতিবেদন। নিবন্ধের সংখ্যা ও পদ্ধতিগত দাবিগুলি Vals-এর মূল প্রতিবেদন দিয়ে যাচাই করা হয়েছে; BIG CHANGE শিরোনামের বিস্তৃত সিদ্ধান্ত গ্রহণ করে না।