Markdown సంచిక

AI-translated from English; not yet reviewed by a fluent editor.

# ఏఐ ఏజెంట్ తప్పనిసరి నైపుణ్యాన్ని దాటవేసినా, స్కోరు ఏదీ చూపించకపోవచ్చు

> కొత్త నైపుణ్య మూల్యాంకన పద్ధతులు లోడింగ్, ఎంపిక, సూచనల అనుసరణలను వేర్వేరుగా పరిశీలిస్తాయి. ఫలితం రాకపోవడం, అవసరమైన విధానం అసలు అమలుకాలేదని ఎందుకు సూచించవచ్చో ఇది చూపిస్తుంది; అందుకే మూల్యాంకన కవరేజీని ప్రత్యేక ఆధారంగా చూడాలి.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

సరళంగా, సమంజసంగా ఉన్న సమాధానం ఇచ్చిందని మాత్రమే ఏఐ ఏజెంట్ అవసరమైన విధానాన్ని ఉపయోగించిందని నిరూపించదు. [సెప్టెంబర్ 22న AWS ప్రచురించిన మార్గదర్శకం](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) రికార్డు చేసిన రన్‌ల ఆధారంగా Strands Evals, Amazon Bedrock AgentCore నైపుణ్య ఎంపికను, సూచనల అనుసరణను ఎలా మూల్యాంకనం చేస్తాయో వివరిస్తుంది. మూల్యాంకనం లేని సందర్భాన్ని ఈ రెండు వ్యవస్థలు వేర్వేరుగా నిర్వహిస్తాయి; వాటి పాస్ సూచికలను చదివేవారికి దీనివల్ల ప్రభావం ఉంటుంది.

## పెద్ద మార్పు

- **ఏం మారింది:** ఒక విధానం లోడ్ అయిందా, అది పనికి సరిపోయిందా, దాని దశలను అనుసరించారా అనే విషయాలను ఈ సాధనాలు వేరుగా గుర్తిస్తాయి.
- **ఇది ఎందుకు ముఖ్యం:** పరిశీలించిన Strands కోడ్‌లో మూల్యాంకనం చేయని సందర్భాన్ని కూడా పాస్‌గా గుర్తించవచ్చు. ఆ సూచిక ఒక్కటినే ఆధారంగా చేసుకుని విడుదల నిర్ణయం తీసుకుంటే, అవసరమైన నైపుణ్యం లోడ్ కాని విషయాన్ని గుర్తించకపోవచ్చు.
- **ఏమి గమనించాలి:** స్కోర్లతో పాటు మూల్యాంకన కవరేజీని కూడా పరిశీలించండి: ఆశించిన లోడ్‌లలో ఏవి నమోదయ్యాయి, ఏ అమలుల్లో తీర్పు ఇవ్వడానికి సరిపడ ఆధారాలు లేవు?

## మూడు తనిఖీలు మూడు వేర్వేరు ప్రశ్నలకు సమాధానమిస్తాయి

ది [ఏజెంట్ స్కిల్స్ స్పెసిఫికేషన్](https://agentskills.io/specification) నైపుణ్యాన్ని ఒక `SKILL.md` ఫైల్ ఆధారంగా నిర్వచిస్తుంది. దాని పేరు, వివరణ ఏజెంట్ ఎప్పుడు దాన్ని ఉపయోగించాలో నిర్ణయించడంలో తోడ్పడతాయి; సక్రియం చేసిన తర్వాతే సూచనల భాగం లోడ్ అవుతుంది. ఈ విభజన వల్ల విజయవంతమైన లోడింగ్ అనేది సరైన ఎంపిక లేదా అమలుకు వేరే ప్రశ్నగా మారుతుంది.

| తనిఖీ | ఆధారం, ఫలితం | పరిమితి |
| --- | --- | --- |
| Strands `SkillInvoked` | పేర్కొన్న నైపుణ్యం విజయవంతంగా లోడ్ అయినట్లు నమోదు; నిర్ణీత పాస్ లేదా ఫెయిల్ ఫలితం | ఎంపిక పనికి సరిపోయిందా లేదా అమలైందా అని అంచనా వేయదు |
| AgentCore ఎంపిక ఖచ్చితత్వం | పిలిచిన నైపుణ్యం, అభ్యర్థన, ముందరి సందర్భం, అందుబాటులో ఉంటే కేటలాగ్; మోడల్ ఇచ్చే అవును లేదా కాదు తీర్పు | ఏ నైపుణ్యాన్నీ పిలవకూడదనే నిర్ణయాన్ని అంచనా వేయదు |
| AgentCore సూచనల అనుసరణ | లోడ్ చేసిన సూచనలు, పూర్తి సెషన్; పూర్తిగా అనుసరించారు నుంచి అనుసరించలేదు వరకు ఐదు స్థాయిలు | నమోదైన దశల అనుసరణను అంచనా వేస్తుంది; అసలు పని సరైందో కాదో కాదు |

పిన్ చేసిన [`SkillInvoked` అమలు](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) సరిపోలే లోడ్ ఈవెంట్‌ను, దాని స్థితి `loaded`. విజయవంతమైన లోడ్ లేకపోతే, లేని లేదా విఫలమైన లేదా పరిష్కారం కాని ప్రయత్నాలన్నీ ఈ తనిఖీలో ఫెయిల్ అవుతాయి. ఇందులో జడ్జి మోడల్‌ను పిలవరు. పరీక్ష సందర్భంలో నిర్దిష్ట నైపుణ్యం తప్పనిసరి అయినప్పుడు ఇది ప్రత్యక్ష తనిఖీని అందిస్తుంది.

## AgentCoreలో ఫలితాలు సున్నా రావచ్చు

దాని ప్రకారం [AgentCore డాక్యుమెంటేషన్](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) ప్రకారం, నైపుణ్యం పిలవబడినట్లు లేదా దాని బాడీ ఉన్నట్లు సూచనలు ఏవీ కనిపించకపోతే రెండు జడ్జీలూ టూల్ కాల్‌ను దాటవేస్తాయి. నైపుణ్య వినియోగం గుర్తించని సెషన్‌లో ఫలితాలు సున్నా వస్తాయి.

కేటలాగ్ అందుబాటులో లేకపోయినా ఎంపిక మూల్యాంకనం ఆగదు: జడ్జి అభ్యర్థనను, సంభాషణ సందర్భాన్ని ఉపయోగిస్తుంది. సూచనల అనుసరణను అంచనా వేయాలంటే పిలిచిన నైపుణ్యంతో పాటు దాని లోడ్ చేసిన బాడీ కూడా అవసరం; తర్వాతి దశలకు ఆధారం పూర్తి సెషన్ నుంచే వస్తుంది.

## Strandsలో పాస్ అయిన N/A వరుస రావచ్చు

సోర్స్ పరిశీలనలో సెప్టెంబర్ 23న చూసిన Strands Evals కమిట్ `9ea55c9`లో వేరొక రూపకల్పన కనిపించింది. ఇది ఆ అమలుకు సంబంధించిన వివరణ మాత్రమే; ఇన్‌స్టాల్ చేసిన ప్రతి SDK వెర్షన్‌కీ వర్తిస్తుందని కాదు.

ట్రాజెక్టరీ ఉన్నా నైపుణ్యాన్ని పిలవనప్పుడు, [ఎంపిక మూల్యాంకనం](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) వర్తించదు అనే వరుసను ఇస్తుంది: ప్లేస్‌హోల్డర్ స్కోరు `0.0`, `test_pass=true`. నైపుణ్యాన్ని ఉపయోగించకూడదనే నిర్ణయం సరైందా అనేది ఆ జడ్జి పరిధిలోకి రాదు.

ది [సూచనల అనుసరణ మూల్యాంకనం](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) కూడా నైపుణ్యాన్ని పిలవకపోయినా, లోడ్ విఫలమైనా లేదా బాడీ అందుబాటులో లేకపోయినా పాస్ అయిన N/A వరుసలను ఇస్తుంది. ట్రాజెక్టరీ లేకపోతే మాత్రం రెండు మూల్యాంకనాల్లోనూ పాస్ సూచిక తప్పుగా ఉండే N/A ఫలితం వస్తుంది.

వాటి [సమగ్ర ఫంక్షన్](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) సగటు లెక్కలో N/A వరుసలను మినహాయిస్తుంది. అన్ని వరుసలూ N/A అయినప్పుడు, ప్లేస్‌హోల్డర్ సున్నాను అలాగే ఉంచి వాటి పాస్ సూచికలను కలుపుతుంది. కాబట్టి సంఖ్యను, సూచికను వాటి లేబుల్‌, కారణంతో కలిపి అర్థం చేసుకోవాలి.

తప్పనిసరి రూటింగ్ కోసం ఈ జడ్జీలను పేరుతో చేసే లోడ్ తనిఖీతో జతచేయండి. అనుసరణను అంచనా వేయాలంటే, పాస్ సూచికను తీర్పుగా భావించే ముందు సూచనలు, అమలు ఆధారాలు నమోదయ్యాయో లేదో చూడండి. BIG CHANGE డాక్యుమెంటేషన్‌, సోర్స్ కోడ్‌ను పరిశీలించింది; ఈ మూల్యాంకనాలను అమలు చేయలేదు.

## Sources

- [AWS: Strands Evals, Amazon Bedrock AgentCoreతో నైపుణ్యాలు కలిగిన ఏజెంట్లను మూల్యాంకనం చేయడం](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — సెప్టెంబర్ 22 మార్గదర్శకం: మూల్యాంకనాల విభజనను, రికార్డు చేసిన రన్‌ల విధానాన్ని పరిచయం చేస్తుంది. అందులోని నిర్మిత ట్యుటోరియల్ ఉదాహరణలు సంఘటనల నివేదికలు కావు.
- [Amazon Bedrock AgentCore: నైపుణ్య మూల్యాంకనాలు](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — AgentCore సంకేతాల అవసరాలు, కేటలాగ్ ప్రత్యామ్నాయం, సూచనలకు పూర్తి సెషన్ ఆధారం, ఫలితాలు సున్నా వచ్చే ప్రవర్తనను వివరిస్తుంది.
- [Strands Evals: పరిశీలించిన కమిట్‌లో నైపుణ్య ఎంపిక ఖచ్చితత్వ మూల్యాంకనం](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — పిన్ చేసిన కోడ్: నైపుణ్యాన్ని పిలవకపోతే, తీర్పు ఇచ్చిన ఎంపికగా కాకుండా పాస్ అయిన N/A ప్లేస్‌హోల్డర్ వస్తుంది. ఈ విషయం పరిశీలించిన కమిట్‌కే వర్తిస్తుంది.
- [Strands Evals: పరిశీలించిన కమిట్‌లో నైపుణ్య సూచనల అనుసరణ మూల్యాంకనం](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — పిన్ చేసిన కోడ్: నైపుణ్యాన్ని పిలవకపోవడం, లోడ్ విఫలమవడం, బాడీ లేకపోవడం పాస్ అయిన N/A వరుసలను ఇస్తాయి; ట్రాజెక్టరీ లేకపోతే ఫెయిల్ అవుతుంది. ఈ సూచికలు అనుసరణ జరిగిందని నిరూపించవు.
- [Strands Evals: పరిశీలించిన కమిట్‌లో నిర్ణీత SkillInvoked మూల్యాంకనం](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — పేరు పేర్కొన్న నైపుణ్య తనిఖీకి విజయవంతమైన లోడ్ నమోదు కావాలని, మోడల్ జడ్జి లేకుండానే లేని, విఫలమైన, పరిష్కారం కాని ప్రయత్నాలను వేరు చేయాలని చూపించే పిన్ చేసిన సోర్స్ కోడ్.
- [Agent Skills స్పెసిఫికేషన్](https://agentskills.io/specification) — SKILL.md నిర్మాణం, దశలవారీ వివరాల బహిర్గతం గురించి బహిరంగ స్పెసిఫికేషన్: రూటింగ్‌కు మెటాడేటా అందుబాటులో ఉంటుంది; సూచనల బాడీ మాత్రం సక్రియం చేసిన తర్వాత లోడ్ అవుతుంది.
- [Strands Evals: పరిశీలించిన కమిట్‌లో N/A సమీకరణం](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — N/Aని స్కోరు సగటుల నుంచి మినహాయించినా, అన్నీ N/A అయినప్పుడు ప్లేస్‌హోల్డర్ సున్నాను, కలిపిన పాస్ సూచికలను అలాగే ఉంచే సమీకరణ అమలు.