AI-translated from English; not yet reviewed by a fluent editor.
# AI agent প্রয়োজনীয় skill বাদ দিতে পারে—স্কোরেও তার চিহ্ন নাও থাকে
> নতুন skill evaluator-গুলো লোড, নির্বাচন ও নির্দেশ মেনে চলাকে আলাদা করে। মূল্যায়নের ফল না-থাকলে কী ঘটে, তা দেখায় কেন coverage-ও নিজস্ব প্রমাণ হিসেবে দেখা দরকার।
By BIG CHANGE Editorial
Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.
AI agent সাবলীল উত্তর দিলেই প্রয়োজনীয় পদ্ধতি মেনেছে—তা বোঝা যায় না। [AWS-এর ২২ সেপ্টেম্বরের নির্দেশিকায়](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) Strands Evals ও Amazon Bedrock AgentCore কীভাবে রেকর্ড করা run থেকে skill নির্বাচন এবং নির্দেশ মেনে চলা যাচাই করে তা ব্যাখ্যা করা হয়েছে। মূল্যায়নের ফল না-এলে দুই ব্যবস্থা ভিন্ন আচরণ করে; তাদের pass flag পড়ার সময় এর প্রভাব আছে।
## বড় পরিবর্তন
- **কী বদলেছে:** এই সরঞ্জামগুলো আলাদা করে দেখে—পদ্ধতিটি লোড হয়েছিল কি না, কাজটির উপযোগী ছিল কি না, এবং তার ধাপগুলো অনুসরণ করা হয়েছিল কি না।
- **কেন গুরুত্বপূর্ণ:** Strands-এর পর্যালোচিত code-এ বিচার না-হওয়া ঘটনাকেও pass দেখানো সম্ভব। শুধু ওই flag ধরে release-এর সিদ্ধান্ত নিলে প্রয়োজনীয় skill কখনো লোডই হয়নি—এ বিষয়টি চোখ এড়াতে পারে।
- **কী লক্ষ করবেন:** স্কোরের পাশাপাশি মূল্যায়নের coverage দেখুন: কোন প্রত্যাশিত load ধরা পড়েছে, আর কোন invocation-এ রায় দেওয়ার মতো যথেষ্ট evidence রেকর্ড হয়েছে।
## তিনটি পরীক্ষা, তিনটি আলাদা প্রশ্ন
এই [Agent Skills specification](https://agentskills.io/specification) একটি skill-কে `SKILL.md` file-কে ঘিরে সংজ্ঞায়িত করে। এর নাম ও বর্ণনা agent-কে কখন সেটি ব্যবহার করতে হবে ঠিক করতে সাহায্য করে; সক্রিয় হওয়ার পর নির্দেশনার মূল অংশটি লোড হয়। এই বিভাজনে সফল load, উপযুক্ত নির্বাচন ও নির্দেশমতো কাজ—প্রতিটিই আলাদা প্রশ্ন।
| পরীক্ষা | প্রমাণ ও ফল | সীমা |
| --- | --- | --- |
| Strands `SkillInvoked` | নির্দিষ্ট skill সফলভাবে লোড হওয়ার রেকর্ড; নির্ধারিত নিয়মে pass বা fail | উপযোগিতা বা বাস্তব প্রয়োগ যাচাই করে না |
| AgentCore-এর নির্বাচন-নির্ভুলতা | চালু করা skill, অনুরোধ, আগের প্রসঙ্গ এবং থাকলে তালিকা; model-এর Yes বা No বিচার | কোনো skill চালু না করার সিদ্ধান্ত বিচার করে না |
| AgentCore-এর নির্দেশ-অনুসরণ | লোড করা নির্দেশনা ও পূর্ণ session; পুরোপুরি অনুসরণ থেকে একেবারেই না-মানা পর্যন্ত পাঁচটি স্তর | রেকর্ডে ধাপগুলো মানা হয়েছে কি না দেখে; মূল কাজটি ঠিক ছিল কি না নয় |
নির্দিষ্ট [`SkillInvoked` বাস্তবায়ন](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) মিলে যাওয়া load event-এ status `loaded` থাকলে তবেই এই assertion সফল হয়। সফল load না-হলে অনুপস্থিত, ব্যর্থ বা নিষ্পত্তি না-হওয়া চেষ্টা—সবই এই assertion-এ fail করে। কোনো judge model ডাকা হয় না। test case-এ নির্দিষ্ট skill থাকা বাধ্যতামূলক হলে এটি সরাসরি যাচাই দেয়।
## AgentCore-এ ফল শূন্য হতে পারে
AgentCore-এর [নথি অনুযায়ী](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) invocation বা skill-এর নির্দেশনা—কোনোটিরই সংকেত না থাকলে দুই judge-ই tool call বাদ দেয়। শনাক্ত skill invocation না-থাকা session-এ কোনো ফল আসে না।
তালিকা না-থাকলেও নির্বাচন বিচার থামে না: evaluator অনুরোধ ও কথোপকথনের প্রসঙ্গ ব্যবহার করে। নির্দেশ মেনে চলা যাচাইয়ে চালু করা skill এবং তার লোড হওয়া নির্দেশনা—দুটিই লাগে; পরের ধাপের প্রমাণ দেয় পুরো session।
## Strands pass-সহ N/A সারি ফেরাতে পারে
Strands Evals-এর commit `9ea55c9`-এ source code দেখে Strands Evals-এ ভিন্ন উপস্থাপনা পাওয়া গেছে; এটি ২৩ সেপ্টেম্বর পর্যালোচনা করা সেই implementation-এর বিবরণ, ইনস্টল করা সব SDK version-এর নয়।
trajectory আছে, কিন্তু কোনো invocation নেই—এমন ক্ষেত্রে [নির্বাচন evaluator](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) not-applicable সারি ফেরায়: placeholder score `0.0`, `test_pass=true`। skill ব্যবহার না করার সিদ্ধান্ত সঠিক ছিল কি না, ওই judge-এর আওতায় পড়ে না।
অন্যদিকে [নির্দেশ-অনুসরণ evaluator](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py)-ও invocation না-থাকা, load প্রত্যাখ্যাত হওয়া বা নির্দেশনার body না-পাওয়ার ক্ষেত্রে pass-যুক্ত N/A সারি ফেরায়। trajectory না-থাকলে দুই evaluator-ই false pass flag-সহ N/A দেয়।
তাদের [সমষ্টি নির্ণয়ের function](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) N/A সারিকে গড় হিসাব থেকে বাদ দেয়। সব সারিই N/A হলে placeholder শূন্য ধরে রাখে এবং সারিগুলোর pass flag একত্র করে। তাই সংখ্যাটি ও flag-টি কী বোঝায়, তা বুঝতে তাদের label ও কারণ জানতে হয়।
কোনো নির্দিষ্ট skill চালানো বাধ্যতামূলক হলে judge-গুলোর সঙ্গে নাম-উল্লেখ করা load assertion ব্যবহার করুন। নির্দেশ মানা হয়েছে কি না দেখতে pass flag-কে রায় হিসেবে ধরার আগে যাচাই করুন নির্দেশনা ও কাজের evidence রেকর্ডে ছিল কি না। BIG CHANGE documentation ও source code পর্যালোচনা করেছে; evaluator-গুলো চালায়নি।
## Sources
- [AWS: skill-সম্বলিত agent-এর মূল্যায়নে Strands Evals ও Amazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — ২২ সেপ্টেম্বরের নির্দেশিকায় evaluator-গুলোর বিভাজন ও রেকর্ড করা run-ভিত্তিক পদ্ধতি পরিচয় করানো হয়েছে। এর উদাহরণগুলো বানানো tutorial, বাস্তব ঘটনার প্রতিবেদন নয়।
- [Amazon Bedrock AgentCore: skill evaluator](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — AgentCore-এ প্রয়োজনীয় সংকেত, catalog না-থাকলে বিকল্প, পূর্ণ session-ভিত্তিক instruction evidence এবং ফল শূন্য হওয়ার আচরণ বর্ণনা করে।
- [Strands Evals: নির্দিষ্ট commit-এ skill selection accuracy evaluator](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — নির্দিষ্ট code-এ invocation না-থাকলে বিচার করা নির্বাচনের বদলে pass-সহ N/A placeholder ফেরে। এ বর্ণনা কেবল পর্যালোচিত commit-এর জন্য।
- [Strands Evals: নির্দিষ্ট commit-এ skill instruction following evaluator](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — নির্দিষ্ট code-এ invocation না-থাকা, load ব্যর্থ হওয়া এবং নির্দেশনার body না-পাওয়া—সব ক্ষেত্রেই pass-সহ N/A সারি আসে; trajectory অনুপস্থিত থাকলে fail করে। এই flag নির্দেশনা মানার প্রমাণ নয়।
- [Strands Evals: নির্দিষ্ট commit-এ SkillInvoked deterministic evaluator](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — নির্দিষ্ট skill সফলভাবে লোড হওয়ার রেকর্ড থাকলেই named-skill assertion মেলে। model judge ছাড়াই অনুপস্থিত, ব্যর্থ ও নিষ্পত্তি না-হওয়া চেষ্টাকে আলাদা করে—এমন source code দেখানো হয়েছে।
- [Agent Skills specification](https://agentskills.io/specification) — SKILL.md-এর কাঠামো ও ধাপে ধাপে নির্দেশনা প্রকাশের খোলা specification: routing-এর জন্য metadata পাওয়া যায়, আর সক্রিয় হওয়ার পর নির্দেশনার মূল অংশ লোড হয়।
- [Strands Evals: নির্দিষ্ট commit-এ N/A aggregation](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — সমষ্টি নির্ণয়ের implementation গড়ে N/A সারি বাদ দেয়; তবে সব সারি N/A হলে placeholder শূন্য ও সম্মিলিত pass flag রেখে দেয়।
BIG CHANGE নিউজলেটার
বড় ছবিটা। আপনার গতিতে।
এআই ও রোবোটিক্স নিয়ে সাম্প্রতিক খবর, নজর রাখার মতো পরিবর্তন এবং কাজে লাগানোর ব্যবহারিক ধারণা। দৈনিক ব্রিফিং, সাপ্তাহিক সংকলন বা মাসিক দৃষ্টিভঙ্গি বেছে নিন।
পরবর্তী নির্ধারিত প্রেরণ (UTC): . আপনি নিশ্চিত করার পরে পরবর্তী নির্ধারিত প্রেরণের সময় প্রথম সংখ্যাটি পাবেন।
আপনার গোপনীয়তা, আপনার পছন্দ।
প্রয়োজনীয় স্টোরেজ সাইটের নিরাপত্তায় সাহায্য করে এবং আপনার পছন্দ মনে রাখে। আপনি অনুমতি না দেওয়া পর্যন্ত ঐচ্ছিক Google Analytics বন্ধ থাকবে। প্রয়োজনীয় স্টোরেজ ব্যবহার করেই প্রতিটি গল্প পড়তে পারেন। গোপনীয়তার বিবরণ