Markdown ایڈیشن

AI-translated from English; not yet reviewed by a fluent editor.

# AI ایجنٹ مطلوبہ مہارت چھوڑ سکتا ہے اور اسکور بھی نہیں ملتا

> نئے اسکل جانچنے والے نظام لوڈنگ، انتخاب اور ہدایات پر عمل کو الگ الگ دیکھتے ہیں۔ نتیجہ نہ آنے کی صورت میں ان کا رویہ بتاتا ہے کہ ٹیموں کو جانچ کے دائرے کو بھی الگ ثبوت سمجھنا چاہیے۔

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

روانی سے دیا گیا جواب یہ نہیں دکھاتا کہ AI ایجنٹ نے مطلوبہ طریقۂ کار استعمال کیا یا نہیں۔ [AWS کی 22 ستمبر کی گائیڈ](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) بتاتی ہے کہ Strands Evals اور Amazon Bedrock AgentCore ریکارڈ شدہ کام سے اسکل کے انتخاب اور ہدایات پر عمل کو کیسے جانچتے ہیں۔ دونوں نظام جانچ کا نتیجہ غائب ہونے پر مختلف طریقے اپناتے ہیں، جس سے ان کے کامیابی کے جھنڈے پڑھنے والوں کے لیے فرق پڑتا ہے۔

## بڑی تبدیلی

- **کیا بدلا:** یہ ٹولز الگ الگ پوچھتے ہیں کہ آیا کوئی طریقۂ کار لوڈ ہوا، کیا وہ کام کے لیے موزوں تھا، اور آیا اس کے مراحل پر عمل کیا گیا۔
- **یہ کیوں اہم ہے:** زیرِجائزہ Strands کوڈ، جس کیس پر فیصلہ نہیں ہوا اسے کامیاب قرار دے سکتا ہے۔ صرف اسی جھنڈے کی بنیاد پر ریلیز کا فیصلہ کرنے سے مطلوبہ اسکل کا لوڈ نہ ہونا نظرانداز ہوسکتا ہے۔
- **کس بات پر نظر رکھیں:** اسکور کے ساتھ جانچ کے دائرے کی بھی پڑتال کریں: کون سی متوقع لوڈنگ دیکھی گئی، اور کن کالز کے پاس فیصلہ کرنے کے لیے کافی ریکارڈ شدہ ثبوت تھا؟

## تین جانچیں، تین الگ سوال

Agent Skills کی [تفصیلات](https://agentskills.io/specification) کسی مہارت کی تعریف ایک `SKILL.md` فائل کی بنیاد پر کرتی ہیں۔ اس کا نام اور تفصیل ایجنٹ کو طے کرنے میں مدد دیتے ہیں کہ اسے کب استعمال کیا جائے؛ فعال ہونے کے بعد ہدایات کا متن لوڈ ہوتا ہے۔ اس جدائی سے کامیابی سے لوڈ ہونا، مناسب انتخاب یا عمل درآمد سے الگ سوال بنتا ہے۔

| جانچ | ثبوت اور نتیجہ | حد |
| --- | --- | --- |
| Strands `SkillInvoked` | نامزد اسکل کے کامیاب لوڈ ہونے کا ریکارڈ؛ کامیابی یا ناکامی کا قطعی نتیجہ | موزونیت یا عمل درآمد نہیں جانچتا |
| AgentCore میں انتخاب کی درستی | استعمال کیا گیا اسکل، درخواست، پہلے کا سیاق اور دستیاب ہونے پر فہرست؛ ماڈل کا Yes یا No فیصلہ | کچھ بھی استعمال نہ کرنے کے فیصلے کو نہیں جانچتا |
| AgentCore میں ہدایات پر عمل | لوڈ شدہ ہدایات اور مکمل سیشن؛ مکمل طور پر عمل سے لے کر بالکل عمل نہ کرنے تک پانچ درجے | ریکارڈ شدہ مراحل پر عمل کو جانچتا ہے، بنیادی کام کی درستی کو نہیں |

متعین [`SkillInvoked` عمل درآمد](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) کے لیے درج حالت کے مطابق اسکل کے لوڈ ہونے کا ریکارڈڈ واقعہ درکار ہے `loaded` ہو۔ کامیاب لوڈ کے بغیر موجود نہ ہونے والی، ناکام یا غیر حل شدہ کوششیں اس شرط میں ناکام شمار ہوتی ہیں۔ کسی جانچنے والے ماڈل کو نہیں بلایا جاتا۔ جب کسی ٹیسٹ کیس میں مخصوص اسکل لازمی ہو تو یہ براہِ راست جانچ فراہم کرتا ہے۔

## AgentCore صفر نتائج دے سکتا ہے

مزید تفصیل کے لیے [AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) کی دستاویزات کے مطابق، دونوں جانچنے والے اس وقت ٹول کال چھوڑ دیتے ہیں جب نہ اسکل استعمال کرنے کا اشارہ ہو اور نہ ہی اس کے متن میں ایسا کوئی اشارہ ملے۔ ایسے سیشن میں جہاں اسکل کا استعمال نہیں ملا، نتیجہ صفر ہوتا ہے۔

فہرست نہ ہو تب بھی انتخاب کی جانچ رکتی نہیں: جانچنے والا درخواست اور گفتگو کا سیاق استعمال کرتا ہے۔ ہدایات پر عمل کی جانچ کے لیے استعمال کیا گیا اسکل اور اس کا لوڈ شدہ متن دونوں درکار ہیں؛ اس کے بعد کے مراحل کا ثبوت پورا سیشن فراہم کرتا ہے۔

## Strands کامیاب N/A قطار دے سکتا ہے

ماخذ کے جائزے سے 23 ستمبر کو معائنہ کردہ Strands Evals کمٹ `9ea55c9` کے نفاذ میں ایک مختلف صورت سامنے آئی۔ یہ اسی نفاذ کی وضاحت ہے، ہر انسٹال شدہ SDK ورژن کی نہیں۔

اگر کام کا ریکارڈ موجود ہو مگر اسکل استعمال نہ ہوا ہو تو [انتخاب جانچنے والا نظام](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) قابلِ اطلاق نہیں کی قطار لوٹاتا ہے: عارضی اسکور `0.0`، `test_pass=true`۔ اسکل استعمال نہ کرنے کا فیصلہ درست تھا یا نہیں، اس جانچنے والے نظام کے دائرے سے باہر ہے۔

یہ [اسکل کی ہدایات پر عمل جانچنے والا نظام](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) بھی اسکل استعمال نہ ہونے، لوڈ ناکام ہونے یا متن دستیاب نہ ہونے پر کامیاب N/A قطاریں لوٹاتا ہے۔ اس کے برعکس، کام کا ریکارڈ ہی نہ ہو تو دونوں جانچنے والے غلط کامیابی کے جھنڈے کے ساتھ N/A لوٹاتے ہیں۔

ان کا [مجموعی نتیجہ نکالنے والا فنکشن](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) اوسط اسکور سے N/A قطاریں خارج کرتا ہے۔ اگر تمام قطاریں N/A ہوں تو عارضی صفر برقرار رہتا ہے اور قطاروں کے کامیابی کے جھنڈے یکجا کیے جاتے ہیں۔ اس لیے عدد اور جھنڈے کو ان کے لیبل اور وجہ کے ساتھ سمجھنا ضروری ہے۔

اگر کسی خاص اسکل کا استعمال لازم ہو تو جانچنے والے نظاموں کے ساتھ نامزد اسکل کے لوڈ ہونے کی لازمی جانچ بھی کریں۔ عمل کی پابندی جانچنے سے پہلے دیکھیں کہ ہدایات اور عمل درآمد کے ثبوت ریکارڈ ہوئے تھے یا نہیں۔ BIG CHANGE نے دستاویزات اور ماخذی کوڈ کا جائزہ لیا؛ اس نے یہ جانچنے والے نظام خود نہیں چلائے۔

## Sources

- [AWS: Strands Evals اور Amazon Bedrock AgentCore سے اسکل استعمال کرنے والے ایجنٹوں کا جائزہ](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — 22 ستمبر کی گائیڈ، جس میں جانچنے والوں کی علیحدہ اقسام اور ریکارڈ شدہ کام کا طریقۂ کار متعارف ہے۔ اس کے مثال کے طور پر بنائے گئے سبق آموز منظرناموں کو حقیقی واقعات کے طور پر رپورٹ نہیں کیا گیا۔
- [Amazon Bedrock AgentCore: اسکل جانچنے والے نظام](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — AgentCore کے اشاروں کی شرائط، فہرست کا متبادل، ہدایات کے مکمل سیشن والے ثبوت اور صفر نتیجے کے رویے کی دستاویز۔
- [Strands Evals: اسکل انتخاب کی درستی جانچنے والا نظام، معائنہ کردہ کمٹ پر](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — متعین کمٹ کا کوڈ: اسکل استعمال نہ ہونے پر فیصلہ شدہ انتخاب کے بجائے کامیاب N/A عارضی قطار آتی ہے۔ یہ بات اسی معائنہ کردہ کمٹ تک محدود ہے۔
- [Strands Evals: اسکل کی ہدایات پر عمل جانچنے والا نظام، معائنہ کردہ کمٹ پر](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — متعین کمٹ کا کوڈ: اسکل استعمال نہ ہونے، لوڈ ناکام ہونے یا متن غائب ہونے پر کامیاب N/A قطاریں؛ کام کا ریکارڈ غائب ہو تو ناکامی۔ ان جھنڈوں سے ہدایات پر عمل ثابت نہیں ہوتا۔
- [Strands Evals: قطعی SkillInvoked جانچنے والا نظام، معائنہ کردہ کمٹ پر](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — متعین ماخذی کوڈ دکھاتا ہے کہ نامزد اسکل کی لازمی جانچ کے لیے اس کے کامیاب لوڈ کا ریکارڈ ہونا چاہیے؛ ماڈل جانچ کے بغیر غیر موجود، ناکام اور غیر حل شدہ کوششوں میں فرق رکھا جاتا ہے۔
- [Agent Skills کی تفصیلات](https://agentskills.io/specification) — SKILL.md کی ساخت اور بتدریج معلومات ظاہر کرنے سے متعلق اوپن تفصیلات: نام اور وضاحت رُوٹنگ کے لیے دستیاب ہوتے ہیں، جبکہ ہدایت کا متن فعال ہونے کے بعد لوڈ ہوتا ہے۔
- [Strands Evals: N/A قطاروں کا مجموعی حساب، معائنہ کردہ کمٹ پر](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — مجموعی حساب کا نفاذ N/A کو اسکور کی اوسط سے خارج کرتا ہے، مگر جب تمام قطاریں N/A ہوں تو عارضی صفر اور یکجا کردہ کامیابی کے جھنڈے برقرار رکھتا ہے۔