AI-translated from English; not yet reviewed by a fluent editor.

# एआई एजेंट ज़रूरी कौशल को छोड़ सकता है और उसका कोई स्कोर भी नहीं आएगा

> नए कौशल मूल्यांकन उपकरण लोड होना, चयन और निर्देशों का पालन अलग-अलग जांचते हैं। नतीजा न मिलने पर उनका व्यवहार दिखाता है कि टीमों को मूल्यांकन का दायरा भी अपने आप में साक्ष्य मानना चाहिए।

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

सुगठित जवाब से यह साबित नहीं होता कि एआई एजेंट ने ज़रूरी प्रक्रिया अपनाई। [22 सितंबर की AWS मार्गदर्शिका](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) बताती है कि Strands Evals और Amazon Bedrock AgentCore दर्ज किए गए सत्रों के आधार पर कौशल चुनने और निर्देशों का पालन करने का मूल्यांकन कैसे करते हैं। मूल्यांकन न हो पाने पर दोनों प्रणालियां अलग व्यवहार करती हैं, जिसका असर उनके पास-फ़्लैग पढ़ने वालों पर पड़ता है।

## बड़ा बदलाव

- **क्या बदला:** ये उपकरण अलग-अलग जांचते हैं कि प्रक्रिया लोड हुई या नहीं, क्या वह काम के लिए उपयुक्त थी और उसके कदमों का पालन हुआ या नहीं।
- **यह क्यों मायने रखता है:** Strands के निरीक्षित कोड में बिना निर्णय वाले मामले को पास माना जा सकता है। केवल इस फ़्लैग के आधार पर रिलीज़ का फैसला करने पर यह अनदेखा रह सकता है कि ज़रूरी कौशल कभी लोड ही नहीं हुआ।
- **क्या देखना है:** स्कोर के साथ मूल्यांकन का दायरा भी जांचें: अपेक्षित लोड में से किनकी पुष्टि हुई और किन आह्वानों के साथ निर्णय लेने लायक रिकॉर्डेड साक्ष्य था।

## तीन जांच, तीन अलग सवालों के जवाब

यह [Agent Skills विनिर्देश](https://agentskills.io/specification) किसी कौशल को `SKILL.md` फ़ाइल के आधार पर परिभाषित करता है। उसका नाम और विवरण एजेंट को यह तय करने में मदद करते हैं कि उसे कब इस्तेमाल करना है; सक्रिय होने के बाद निर्देशों का पूरा पाठ लोड होता है। इसलिए सफल लोडिंग, सही चयन और अमल से अलग सवाल है।

| जांच | साक्ष्य और नतीजा | सीमा |
| --- | --- | --- |
| Strands `SkillInvoked` | किसी नामित कौशल के सफल लोड का रिकॉर्ड; नियत नियम से पास या फेल | यह उपयुक्तता या अमल की जांच नहीं करता |
| AgentCore में चयन की सटीकता | उपयोग किया गया कौशल, अनुरोध, पहले का संदर्भ और उपलब्ध होने पर कैटलॉग; मॉडल का हां या नहीं संबंधी निर्णय | कुछ भी इस्तेमाल न करने के फैसले का मूल्यांकन नहीं करता |
| AgentCore में निर्देशों का पालन | लोड किए गए निर्देश और पूरा सत्र; पूरी तरह पालन से लेकर पालन न करने तक पांच स्तर | दर्ज किए गए कदमों के पालन का आकलन करता है, मूल काम की शुद्धता का नहीं |

पिन किया गया [`SkillInvoked` कार्यान्वयन](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) में status `loaded`. सफल लोड के बिना, लोड न होने, विफल होने या नतीजा अनिर्णीत रहने के प्रयास इस जांच में फेल होते हैं। इसमें कोई जज मॉडल नहीं बुलाया जाता। जब किसी परीक्षण मामले में खास कौशल ज़रूरी हो, तो यह सीधी जांच देता है।

## AgentCore में नतीजे शून्य भी हो सकते हैं

AgentCore के [दस्तावेज़](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) के अनुसार, जब न तो कौशल का इस्तेमाल और न ही उसके निर्देश-पाठ का संकेत मिले, तो दोनों जज टूल कॉल छोड़ देते हैं। ऐसे सत्र में, जिसमें कौशल का इस्तेमाल दर्ज न हो, नतीजा शून्य मिलता है।

कैटलॉग न मिलने पर चयन का मूल्यांकन नहीं रुकता: मूल्यांकनकर्ता अनुरोध और बातचीत के संदर्भ का उपयोग करता है। निर्देशों का पालन जांचने के लिए इस्तेमाल किया गया कौशल और उसका लोड किया हुआ निर्देश-पाठ, दोनों चाहिए; आगे के कदमों के साक्ष्य के लिए पूरा सत्र भी जरूरी है।

## Strands पास वाला N/A नतीजा लौटा सकता है

स्रोत की समीक्षा में Strands Evals के जिस निरीक्षित कमिट `9ea55c9` की 23 सितंबर को जांच की गई थी, उसमें इसका अलग निरूपण दिखता है। यह उसी कार्यान्वयन के बारे में है, हर इंस्टॉल किए गए SDK संस्करण के बारे में नहीं।

जब रिकॉर्ड किया गया सत्र मौजूद हो लेकिन कौशल का इस्तेमाल न हुआ हो, तो [चयन मूल्यांकनकर्ता](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) लागू न होने वाला नतीजा देता है: नमूना स्कोर `0.0`, `test_pass=true`. क्या कौशल का इस्तेमाल न करने का फैसला सही था, यह इस जज के दायरे से बाहर है।

यह [निर्देश-पालन मूल्यांकनकर्ता](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) भी इस्तेमाल न होने, लोड से इनकार किए जाने या निर्देश-पाठ उपलब्ध न होने पर पास वाला N/A नतीजा देता है। दोनों मूल्यांकनकर्ताओं में रिकॉर्ड किया गया सत्र ही न हो, तो पास फ़्लैग false के साथ N/A मिलता है।

उनका [समेकन फ़ंक्शन](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) औसत स्कोर से N/A नतीजे हटा देता है। जब हर नतीजा N/A हो, तो वह नमूना शून्य को बनाए रखता है और नतीजों के पास-फ़्लैग जोड़ देता है। इसलिए संख्या और फ़्लैग को सही लेबल और कारण के साथ पढ़ना ज़रूरी है।

अगर कौशल का इस्तेमाल अनिवार्य है, तो इन जजों के साथ नामित कौशल के सफल लोड की जांच भी करें। निर्देश-पालन के लिए, पास फ़्लैग को निर्णय मानने से पहले देखें कि निर्देश और अमल के साक्ष्य रिकॉर्ड हुए थे या नहीं। BIG CHANGE ने दस्तावेज़ों और स्रोत कोड की समीक्षा की; उसने इन मूल्यांकन उपकरणों को चलाकर नहीं देखा।

## Sources

- [AWS: Strands Evals और Amazon Bedrock AgentCore से कौशल-सक्षम एजेंटों का मूल्यांकन](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — 22 सितंबर की मार्गदर्शिका, जिसमें मूल्यांकनकर्ताओं का विभाजन और दर्ज सत्रों का कार्यप्रवाह बताया गया है। उदाहरण समझाने के लिए बनाए गए हैं; वे घटनाओं की रिपोर्ट नहीं हैं।
- [Amazon Bedrock AgentCore: कौशल मूल्यांकनकर्ता](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — AgentCore के संकेतों की ज़रूरत, कैटलॉग न मिलने पर विकल्प, निर्देशों के लिए पूरे सत्र के साक्ष्य और शून्य नतीजे का व्यवहार बताता है।
- [Strands Evals: निरीक्षित कमिट का कौशल-चयन सटीकता मूल्यांकनकर्ता](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — पिन किया गया कोड: कौशल का इस्तेमाल न होने पर निर्णय के बजाय पास वाला N/A नमूना लौटता है। यह केवल निरीक्षित कमिट पर लागू है।
- [Strands Evals: निरीक्षित कमिट का कौशल-निर्देश पालन मूल्यांकनकर्ता](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — पिन किया गया कोड: इस्तेमाल न होने, लोड विफल होने और निर्देश-पाठ न मिलने पर पास वाले N/A नतीजे आते हैं; रिकॉर्डेड सत्र न हो तो जांच फेल होती है। ये फ़्लैग निर्देश-पालन साबित नहीं करते।
- [Strands Evals: निरीक्षित कमिट का नियत SkillInvoked मूल्यांकनकर्ता](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — पिन किया गया स्रोत कोड दिखाता है कि नामित कौशल की जांच सफल लोड का रिकॉर्ड मांगती है और मॉडल जज के बिना अनुपस्थित, विफल या अनिर्णीत प्रयासों में फर्क करती है।
- [Agent Skills विनिर्देश](https://agentskills.io/specification) — SKILL.md की संरचना और क्रमिक जानकारी-प्रकटीकरण का खुला विनिर्देश: मार्ग तय करने के लिए मेटाडेटा उपलब्ध रहता है, जबकि निर्देश-पाठ कौशल सक्रिय होने पर लोड होता है।
- [Strands Evals: निरीक्षित कमिट में N/A नतीजों का समेकन](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — समेकन कार्यान्वयन औसत स्कोर से N/A हटाता है, लेकिन जब सभी नतीजे N/A हों तो नमूना शून्य और संयुक्त पास फ़्लैग बनाए रखता है।