AI-translated from English; not yet reviewed by a fluent editor.

# AI agent প্রয়োজনীয় skill বাদ দিতে পারে—স্কোরেও তার চিহ্ন নাও থাকে

> নতুন skill evaluator-গুলো লোড, নির্বাচন ও নির্দেশ মেনে চলাকে আলাদা করে। মূল্যায়নের ফল না-থাকলে কী ঘটে, তা দেখায় কেন coverage-ও নিজস্ব প্রমাণ হিসেবে দেখা দরকার।

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

AI agent সাবলীল উত্তর দিলেই প্রয়োজনীয় পদ্ধতি মেনেছে—তা বোঝা যায় না। [AWS-এর ২২ সেপ্টেম্বরের নির্দেশিকায়](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) Strands Evals ও Amazon Bedrock AgentCore কীভাবে রেকর্ড করা run থেকে skill নির্বাচন এবং নির্দেশ মেনে চলা যাচাই করে তা ব্যাখ্যা করা হয়েছে। মূল্যায়নের ফল না-এলে দুই ব্যবস্থা ভিন্ন আচরণ করে; তাদের pass flag পড়ার সময় এর প্রভাব আছে।

## বড় পরিবর্তন

- **কী বদলেছে:** এই সরঞ্জামগুলো আলাদা করে দেখে—পদ্ধতিটি লোড হয়েছিল কি না, কাজটির উপযোগী ছিল কি না, এবং তার ধাপগুলো অনুসরণ করা হয়েছিল কি না।
- **কেন গুরুত্বপূর্ণ:** Strands-এর পর্যালোচিত code-এ বিচার না-হওয়া ঘটনাকেও pass দেখানো সম্ভব। শুধু ওই flag ধরে release-এর সিদ্ধান্ত নিলে প্রয়োজনীয় skill কখনো লোডই হয়নি—এ বিষয়টি চোখ এড়াতে পারে।
- **কী লক্ষ করবেন:** স্কোরের পাশাপাশি মূল্যায়নের coverage দেখুন: কোন প্রত্যাশিত load ধরা পড়েছে, আর কোন invocation-এ রায় দেওয়ার মতো যথেষ্ট evidence রেকর্ড হয়েছে।

## তিনটি পরীক্ষা, তিনটি আলাদা প্রশ্ন

এই [Agent Skills specification](https://agentskills.io/specification) একটি skill-কে `SKILL.md` file-কে ঘিরে সংজ্ঞায়িত করে। এর নাম ও বর্ণনা agent-কে কখন সেটি ব্যবহার করতে হবে ঠিক করতে সাহায্য করে; সক্রিয় হওয়ার পর নির্দেশনার মূল অংশটি লোড হয়। এই বিভাজনে সফল load, উপযুক্ত নির্বাচন ও নির্দেশমতো কাজ—প্রতিটিই আলাদা প্রশ্ন।

| পরীক্ষা | প্রমাণ ও ফল | সীমা |
| --- | --- | --- |
| Strands `SkillInvoked` | নির্দিষ্ট skill সফলভাবে লোড হওয়ার রেকর্ড; নির্ধারিত নিয়মে pass বা fail | উপযোগিতা বা বাস্তব প্রয়োগ যাচাই করে না |
| AgentCore-এর নির্বাচন-নির্ভুলতা | চালু করা skill, অনুরোধ, আগের প্রসঙ্গ এবং থাকলে তালিকা; model-এর Yes বা No বিচার | কোনো skill চালু না করার সিদ্ধান্ত বিচার করে না |
| AgentCore-এর নির্দেশ-অনুসরণ | লোড করা নির্দেশনা ও পূর্ণ session; পুরোপুরি অনুসরণ থেকে একেবারেই না-মানা পর্যন্ত পাঁচটি স্তর | রেকর্ডে ধাপগুলো মানা হয়েছে কি না দেখে; মূল কাজটি ঠিক ছিল কি না নয় |

নির্দিষ্ট [`SkillInvoked` বাস্তবায়ন](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) মিলে যাওয়া load event-এ status `loaded` থাকলে তবেই এই assertion সফল হয়। সফল load না-হলে অনুপস্থিত, ব্যর্থ বা নিষ্পত্তি না-হওয়া চেষ্টা—সবই এই assertion-এ fail করে। কোনো judge model ডাকা হয় না। test case-এ নির্দিষ্ট skill থাকা বাধ্যতামূলক হলে এটি সরাসরি যাচাই দেয়।

## AgentCore-এ ফল শূন্য হতে পারে

AgentCore-এর [নথি অনুযায়ী](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) invocation বা skill-এর নির্দেশনা—কোনোটিরই সংকেত না থাকলে দুই judge-ই tool call বাদ দেয়। শনাক্ত skill invocation না-থাকা session-এ কোনো ফল আসে না।

তালিকা না-থাকলেও নির্বাচন বিচার থামে না: evaluator অনুরোধ ও কথোপকথনের প্রসঙ্গ ব্যবহার করে। নির্দেশ মেনে চলা যাচাইয়ে চালু করা skill এবং তার লোড হওয়া নির্দেশনা—দুটিই লাগে; পরের ধাপের প্রমাণ দেয় পুরো session।

## Strands pass-সহ N/A সারি ফেরাতে পারে

Strands Evals-এর commit `9ea55c9`-এ source code দেখে Strands Evals-এ ভিন্ন উপস্থাপনা পাওয়া গেছে; এটি ২৩ সেপ্টেম্বর পর্যালোচনা করা সেই implementation-এর বিবরণ, ইনস্টল করা সব SDK version-এর নয়।

trajectory আছে, কিন্তু কোনো invocation নেই—এমন ক্ষেত্রে [নির্বাচন evaluator](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) not-applicable সারি ফেরায়: placeholder score `0.0`, `test_pass=true`। skill ব্যবহার না করার সিদ্ধান্ত সঠিক ছিল কি না, ওই judge-এর আওতায় পড়ে না।

অন্যদিকে [নির্দেশ-অনুসরণ evaluator](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py)-ও invocation না-থাকা, load প্রত্যাখ্যাত হওয়া বা নির্দেশনার body না-পাওয়ার ক্ষেত্রে pass-যুক্ত N/A সারি ফেরায়। trajectory না-থাকলে দুই evaluator-ই false pass flag-সহ N/A দেয়।

তাদের [সমষ্টি নির্ণয়ের function](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) N/A সারিকে গড় হিসাব থেকে বাদ দেয়। সব সারিই N/A হলে placeholder শূন্য ধরে রাখে এবং সারিগুলোর pass flag একত্র করে। তাই সংখ্যাটি ও flag-টি কী বোঝায়, তা বুঝতে তাদের label ও কারণ জানতে হয়।

কোনো নির্দিষ্ট skill চালানো বাধ্যতামূলক হলে judge-গুলোর সঙ্গে নাম-উল্লেখ করা load assertion ব্যবহার করুন। নির্দেশ মানা হয়েছে কি না দেখতে pass flag-কে রায় হিসেবে ধরার আগে যাচাই করুন নির্দেশনা ও কাজের evidence রেকর্ডে ছিল কি না। BIG CHANGE documentation ও source code পর্যালোচনা করেছে; evaluator-গুলো চালায়নি।

## Sources

- [AWS: skill-সম্বলিত agent-এর মূল্যায়নে Strands Evals ও Amazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — ২২ সেপ্টেম্বরের নির্দেশিকায় evaluator-গুলোর বিভাজন ও রেকর্ড করা run-ভিত্তিক পদ্ধতি পরিচয় করানো হয়েছে। এর উদাহরণগুলো বানানো tutorial, বাস্তব ঘটনার প্রতিবেদন নয়।
- [Amazon Bedrock AgentCore: skill evaluator](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — AgentCore-এ প্রয়োজনীয় সংকেত, catalog না-থাকলে বিকল্প, পূর্ণ session-ভিত্তিক instruction evidence এবং ফল শূন্য হওয়ার আচরণ বর্ণনা করে।
- [Strands Evals: নির্দিষ্ট commit-এ skill selection accuracy evaluator](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — নির্দিষ্ট code-এ invocation না-থাকলে বিচার করা নির্বাচনের বদলে pass-সহ N/A placeholder ফেরে। এ বর্ণনা কেবল পর্যালোচিত commit-এর জন্য।
- [Strands Evals: নির্দিষ্ট commit-এ skill instruction following evaluator](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — নির্দিষ্ট code-এ invocation না-থাকা, load ব্যর্থ হওয়া এবং নির্দেশনার body না-পাওয়া—সব ক্ষেত্রেই pass-সহ N/A সারি আসে; trajectory অনুপস্থিত থাকলে fail করে। এই flag নির্দেশনা মানার প্রমাণ নয়।
- [Strands Evals: নির্দিষ্ট commit-এ SkillInvoked deterministic evaluator](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — নির্দিষ্ট skill সফলভাবে লোড হওয়ার রেকর্ড থাকলেই named-skill assertion মেলে। model judge ছাড়াই অনুপস্থিত, ব্যর্থ ও নিষ্পত্তি না-হওয়া চেষ্টাকে আলাদা করে—এমন source code দেখানো হয়েছে।
- [Agent Skills specification](https://agentskills.io/specification) — SKILL.md-এর কাঠামো ও ধাপে ধাপে নির্দেশনা প্রকাশের খোলা specification: routing-এর জন্য metadata পাওয়া যায়, আর সক্রিয় হওয়ার পর নির্দেশনার মূল অংশ লোড হয়।
- [Strands Evals: নির্দিষ্ট commit-এ N/A aggregation](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — সমষ্টি নির্ণয়ের implementation গড়ে N/A সারি বাদ দেয়; তবে সব সারি N/A হলে placeholder শূন্য ও সম্মিলিত pass flag রেখে দেয়।