Markdown आवृत्ती

AI-translated from English; not yet reviewed by a fluent editor.

# AI एजंट आवश्यक कौशल्य वापरणे टाळू शकतो आणि तरीही कोणताही गुण मागे राहत नाही

> नवीन कौशल्य-मूल्यमापक लोडिंग, निवड आणि सूचनांचे पालन हे वेगवेगळे तपासतात. निकाल नसल्यास ते कसे वागतात, यावरून मूल्यमापनाची व्याप्ती स्वतः पुरावा म्हणून पाहणे टीम्ससाठी का आवश्यक आहे, हे दिसते.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

एखादे उत्तर अस्खलित असले तरी AI एजंटने आवश्यक प्रक्रिया वापरली की नाही हे कळत नाही. [AWS च्या २२ सप्टेंबरच्या मार्गदर्शकात](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) नोंदवलेल्या रनमधून Strands Evals आणि Amazon Bedrock AgentCore कौशल्याची निवड व सूचनांचे पालन कसे तपासतात, हे स्पष्ट केले आहे. मूल्यमापनच अनुपस्थित असल्यास दोन्ही प्रणाली वेगवेगळे वागतात; त्यामुळे त्यांचे पास फ्लॅग वाचणाऱ्यांवर परिणाम होतो.

## मोठा बदल

- **काय बदलले:** या साधनांमुळे प्रक्रिया लोड झाली का, ती कामासाठी योग्य होती का आणि तिचे टप्पे पाळले गेले का, हे वेगवेगळे तपासता येते.
- **हे का महत्त्वाचे:** तपासलेल्या Strands कोडमध्ये न तपासलेल्या प्रकरणालाही पास म्हणून चिन्हित केले जाऊ शकते. केवळ त्या फ्लॅगवर आधारित रिलीझचा निर्णय आवश्यक कौशल्य कधीच लोड झाले नाही, हे दुर्लक्षित करू शकतो.
- **कशाकडे लक्ष द्यावे:** गुणांसोबत मूल्यमापनाची व्याप्ती तपासा: अपेक्षित लोडपैकी कोणते नोंदले गेले आणि कोणत्या invocation मध्ये निर्णयासाठी पुरावा नोंदला होता.

## तीन तपासण्या, तीन वेगवेगळे प्रश्न

हा [Agent Skills विनिर्देश](https://agentskills.io/specification) मध्ये कौशल्याची व्याख्या `SKILL.md` फाइलच्या आधारे केली आहे. एजंटने ते कधी वापरावे हे ठरवण्यासाठी त्याचे नाव आणि वर्णन मदत करतात; सक्रिय केल्यानंतर सूचना-मजकूर लोड होतो. त्यामुळे फाइल यशस्वीरीत्या लोड झाली का हा प्रश्न, योग्य कौशल्य निवडले का किंवा ते योग्य रितीने वापरले का या प्रश्नांपासून वेगळा ठरतो.

| तपासणी | पुरावा आणि निकाल | मर्यादा |
| --- | --- | --- |
| Strands `SkillInvoked` | विशिष्ट नावाचे कौशल्य यशस्वीरीत्या लोड झाल्याची नोंद; नियमाधारित पास किंवा फेल निकाल | कौशल्य योग्य होते का किंवा अंमलबजावणी कशी झाली हे तपासत नाही |
| AgentCore निवड-अचूकता | उपलब्ध असल्यास सुरू केलेले कौशल्य, विनंती, आधीचा संदर्भ आणि सूची; मॉडेलकडून Yes किंवा No निर्णय | काहीच सुरू न करण्याचा निर्णय योग्य होता का हे तपासत नाही |
| AgentCore सूचनांचे पालन | लोड केलेल्या सूचना आणि पूर्ण सत्र; पूर्ण पालन ते पालन नाही अशा पाच पातळ्या | नोंदवलेल्या टप्प्यांचे पालन तपासते; मूळ काम योग्य होते का हे नाही |

पिन केलेल्या [`SkillInvoked` अंमलबजावणीत](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) जुळणारी लोड-नोंद आणि स्थिती `loaded` आवश्यक आहे. यशस्वी लोड नसल्यास अनुपस्थित, अयशस्वी किंवा अनिर्णित प्रयत्न ही तपासणी फेल करतात. कोणतेही न्यायाधीश मॉडेल चालवले जात नाही. चाचणी प्रकरणात विशिष्ट कौशल्य आवश्यक असल्यास ही थेट तपासणी उपयुक्त ठरते.

## AgentCore शून्य निकाल देऊ शकते

AgentCore च्या [दस्तऐवजीकरणानुसार](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), invocation किंवा कौशल्य-मजकुराचे संकेत दोन्ही नसतील तर दोन्ही न्यायाधीश टूल कॉल वगळतात. कौशल्य invocation आढळले नाही, तर सत्रातून शून्य निकाल मिळतात.

कौशल्यांची सूची उपलब्ध नसली तरी निवड तपासणे थांबत नाही: मूल्यमापक विनंती आणि संभाषणाचा संदर्भ वापरतो. सूचनांचे पालन तपासण्यासाठी सुरू केलेले कौशल्य आणि त्याचा लोड झालेला मजकूर दोन्ही आवश्यक आहेत; पुढील टप्प्यांचा पुरावा पूर्ण सत्रातून मिळतो.

## Strands मध्ये पास ठरू शकणारी N/A नोंद मिळू शकते

स्रोत-परीक्षणात Strands Evals च्या `9ea55c9` तपासलेल्या commit मधील वेगळी मांडणी दिसते. हे त्या अंमलबजावणीचे वर्णन आहे; इन्स्टॉल केलेल्या प्रत्येक SDK आवृत्तीचे नाही.

ट्रॅजेक्टरी उपलब्ध असून invocation नसल्यास, [निवड-मूल्यमापक](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) लागू नाही अशी नोंद देतो: गुणाचा पर्यायी आकडा `0.0` , `test_pass=true`. कौशल्य न वापरणे योग्य होते का, हा त्या न्यायाधीशाच्या तपासणीबाहेरील प्रश्न आहे.

सूचनांचे पालन तपासणारा [मूल्यमापक](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) देखील invocation नसताना, लोड अयशस्वी झाल्यावर किंवा सूचनांचा मजकूर उपलब्ध नसताना पास N/A नोंदी देतो. ट्रॅजेक्टरीच अनुपस्थित असल्यास दोन्ही मूल्यमापक पास फ्लॅग खोटा असलेली N/A नोंद देतात.

त्यांचे [एकत्रित करणारे फंक्शन](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) N/A नोंदी सरासरीतून वगळते. सर्व नोंदी N/A असतील, तर ते पर्यायी शून्य गुण ठेवते आणि नोंदींचे पास फ्लॅग एकत्र करते. म्हणून संख्या आणि फ्लॅगचा अर्थ लावताना त्यांचे लेबल व कारणही पाहावे.

आवश्यक रूटिंगसाठी न्यायाधीशांसोबत विशिष्ट कौशल्य लोड झाल्याची तपासणी जोडा. पालनाबाबत निर्णय घेण्यापूर्वी सूचना आणि अंमलबजावणीचा पुरावा नोंदला गेला आहे का ते पाहा. BIG CHANGE ने दस्तऐवज आणि स्रोत कोड तपासले; या मूल्यमापकांना चालवले नाही.

## Sources

- [AWS: Strands Evals आणि Amazon Bedrock AgentCore ने कौशल्य-सक्षम एजंटचे मूल्यमापन](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — मूल्यमापनांचे विभाजन आणि नोंदवलेल्या रनची कार्यपद्धती सांगणारे २२ सप्टेंबरचे मार्गदर्शन. त्यातील तयार केलेली शिकवणीची उदाहरणे प्रत्यक्ष घटना म्हणून मांडलेली नाहीत.
- [Amazon Bedrock AgentCore: कौशल्य-मूल्यमापक](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — AgentCore ला आवश्यक संकेत, सूचीचा पर्यायी वापर, सूचनांचे पालन तपासताना पूर्ण सत्राचा पुरावा आणि शून्य-निकाल वर्तन यांचे दस्तऐवजीकरण.
- [Strands Evals: तपासलेल्या commit मधील कौशल्य निवड-अचूकता मूल्यमापक](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — पिन केलेला कोड: invocation नसल्यास निवड तपासून दिलेला निकाल नव्हे, तर पास N/A पर्यायी नोंद मिळते. हे या तपासलेल्या commit ला लागू आहे.
- [Strands Evals: तपासलेल्या commit मधील कौशल्य-सूचना पालन मूल्यमापक](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — पिन केलेला कोड: invocation नसणे, लोड अयशस्वी होणे किंवा मजकूर उपलब्ध नसणे यामुळे पास N/A नोंदी मिळतात; ट्रॅजेक्टरी नसल्यास फेल होते. हे फ्लॅग पालन सिद्ध करत नाहीत.
- [Strands Evals: तपासलेल्या commit मधील नियमाधारित SkillInvoked मूल्यमापक](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — विशिष्ट कौशल्याची अट यशस्वीरीत्या लोड झाल्याची नोंद मागते आणि मॉडेलचा निर्णय न वापरता अनुपस्थित, अयशस्वी व अनिर्णित प्रयत्नांमधील फरक दाखवते, हे दर्शवणारा पिन केलेला स्रोत-कोड.
- [Agent Skills विनिर्देश](https://agentskills.io/specification) — SKILL.md ची रचना आणि टप्प्याटप्प्याने सूचना उघडण्याबाबतचा खुला विनिर्देश: रूटिंगसाठी मेटाडेटा उपलब्ध असतो; सक्रिय केल्यानंतर सूचना-मजकूर लोड होतो.
- [Strands Evals: तपासलेल्या commit मधील N/A एकत्रीकरण](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — एकत्रीकरणाची अंमलबजावणी N/A नोंदी गुणांच्या सरासरीतून वगळते; पण सर्व नोंदी N/A असतील, तर पर्यायी शून्य गुण आणि एकत्रित पास फ्लॅग ठेवते.