Markdown பதிப்பு

AI-translated from English; not yet reviewed by a fluent editor.

# AI முகவர் தேவையான திறனைத் தவிர்த்தாலும் மதிப்பெண் ஏதும் பதிவாகாமல் போகலாம்

> புதிய திறன் மதிப்பீட்டுக் கருவிகள் ஏற்றுதல், தேர்வு செய்தல், வழிமுறைகளைப் பின்பற்றுதல் ஆகியவற்றைத் தனித்தனியாகச் சரிபார்க்கின்றன. முடிவு இல்லாதபோது அவை காட்டும் நடத்தை, மதிப்பீட்டில் உள்ளடக்கம் என்பதையும் தனி ஆதாரமாகக் குழுக்கள் ஏன் கருத வேண்டும் என்பதையும் விளக்குகிறது.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

செம்மையான பதில் கிடைத்தது மட்டும், AI முகவர் கட்டாய நடைமுறையைப் பயன்படுத்தியதைக் காட்டாது. [செப்டம்பர் 22-ஆம் தேதியிட்ட AWS வழிகாட்டி ](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/)பதிவுசெய்யப்பட்ட இயக்கங்களை வைத்து Strands Evals மற்றும் Amazon Bedrock AgentCore திறன் தேர்வையும் வழிமுறைப் பின்பற்றுதலையும் எவ்வாறு மதிப்பிடுகின்றன என்பதை விளக்குகிறது. மதிப்பீடு இல்லாதபோது இந்த இரு அமைப்புகளும் வெவ்வேறாகக் கையாள்கின்றன; அவற்றின் தேர்ச்சி குறிகளைப் படிப்பவர்களுக்கு இது முக்கியம்.

## முக்கிய மாற்றம்

- **என்ன மாறியது:** இந்தக் கருவிகள், ஒரு நடைமுறை ஏற்றப்பட்டதா, அது பணிக்குப் பொருத்தமானதா, அதன் படிகள் பின்பற்றப்பட்டனவா என்பதைத் தனித்தனியாகச் சரிபார்க்கின்றன.
- **இது ஏன் முக்கியம்:** ஆய்வு செய்த Strands குறியீடு, மதிப்பிடப்படாத ஒரு நிகழ்வையும் தேர்ச்சி பெற்றதாகக் குறிக்கலாம். அந்தக் குறியை மட்டுமே வைத்து வெளியீட்டு முடிவு எடுத்தால், கட்டாயத் திறன் ஏற்றப்படாததை கவனிக்காமல் போகலாம்.
- **எதைக் கவனிக்க வேண்டும்:** மதிப்பெண்களுடன் மதிப்பீட்டு உள்ளடக்கத்தையும் சரிபார்க்கவும்: எதிர்பார்க்கப்பட்ட ஏற்றுதல்களில் எவை பதிவாகின, எவை மதிப்பிடப் போதுமான சான்றுகளுடன் அழைக்கப்பட்டன?

## மூன்று சோதனைகள் மூன்று வெவ்வேறு கேள்விகளுக்குப் பதிலளிக்கின்றன

ஒரு [Agent Skills விவரக்குறிப்பு ](https://agentskills.io/specification) ஒரு திறனை `SKILL.md` கோப்பை அடிப்படையாகக் கொண்டு வரையறுக்கிறது. அதன் பெயரும் விளக்கமும் எப்போது அதைப் பயன்படுத்த வேண்டும் என முகவர் தீர்மானிக்க உதவுகின்றன; செயல்படுத்தப்பட்ட பிறகு அதன் வழிமுறைப் பகுதி ஏற்றப்படும். இதனால் திறன் ஏற்றப்பட்டதா என்பது, சரியாகத் தேர்ந்தெடுக்கப்பட்டதா அல்லது நடைமுறைப்படுத்தப்பட்டதா என்பதிலிருந்து தனியான கேள்வியாகிறது.

| சரிபார்ப்பு | ஆதாரமும் முடிவும் | வரம்பு |
| --- | --- | --- |
| Strands `SkillInvoked` | பெயரிடப்பட்ட திறன் வெற்றிகரமாக ஏற்றப்பட்டதற்கான பதிவு; நிர்ணயிக்கப்பட்ட தேர்ச்சி அல்லது தோல்வி | பொருத்தத்தையோ செயலாக்கத்தையோ மதிப்பிடாது |
| AgentCore தேர்வுத் துல்லியம் | அழைக்கப்பட்ட திறன், கோரிக்கை, முந்தைய சூழல், கிடைத்தால் பட்டியல்; Yes அல்லது No என்ற மாடல் தீர்ப்பு | எதையும் அழைக்க வேண்டாம் என்ற முடிவை மதிப்பிடாது |
| AgentCore வழிமுறைப் பின்பற்றுதல் | ஏற்றப்பட்ட வழிமுறைகளும் முழு அமர்வும்; முழுமையாகப் பின்பற்றப்பட்டது முதல் பின்பற்றப்படவில்லை வரை ஐந்து நிலைகள் | பதிவான படிப் பின்பற்றுதலை மதிப்பிடும்; அடிப்படைப் பணி சரியாகச் செய்யப்பட்டதா என்பதை அல்ல |

குறிப்பிட்ட commit-இல் உள்ள [`SkillInvoked` செயலாக்கம் ](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) பொருந்தும் ஏற்ற நிகழ்வு, அதன் நிலை ஆகியவற்றைக் கட்டாயப்படுத்துகிறது `loaded`. வெற்றிகரமான ஏற்றுதல் இல்லாவிட்டால், பதிவு இல்லாத, தோல்வியுற்ற அல்லது தீர்மானிக்கப்படாத முயற்சிகள் இந்தச் சரிபார்ப்பில் தோல்வியடையும். தீர்ப்பு வழங்கும் மாடல் அழைக்கப்படாது. சோதனைக்கே ஒரு குறிப்பிட்ட திறன் தேவைப்படும் போது இது நேரடிச் சரிபார்ப்பை வழங்குகிறது.

## AgentCore சில நேரங்களில் முடிவுகளையே வழங்காது

AgentCore-இன் [ஆவணத்தின்படி](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), அழைப்போ திறன் உட்பகுதி குறியீடோ கண்டறியப்படாவிட்டால் இரு மதிப்பீட்டாளர்களும் கருவி அழைப்பைத் தவிர்க்கின்றனர். திறன் அழைப்புகள் எதுவும் கண்டறியப்படாத அமர்வில் முடிவுகள் பூஜ்யமாக இருக்கும்.

பட்டியல் இல்லாதது தேர்வு மதிப்பீட்டை நிறுத்தாது: மதிப்பீட்டாளர் கோரிக்கையையும் உரையாடல் சூழலையும் பயன்படுத்துகிறார். வழிமுறைப் பின்பற்றுதலை மதிப்பிட அழைக்கப்பட்ட திறனும் அது ஏற்றிய உட்பகுதியும் தேவை; அதன் பிறகான படிகளுக்கான சான்றை முழு அமர்வு வழங்குகிறது.

## Strands தேர்ச்சி பெற்ற N/A வரியை வழங்கக்கூடும்

Strands Evals commit `9ea55c9`, செப்டம்பர் 23 அன்று ஆய்வு செய்த மூலக் குறியீடு வேறொரு விதமான பதிவைக் காட்டுகிறது. இந்த விளக்கம் அந்தச் செயலாக்கத்திற்கே பொருந்தும்; நிறுவப்பட்ட எல்லா SDK பதிப்புகளுக்கும் அல்ல.

இயக்கப் பாதை இருந்தும் திறன் அழைக்கப்படாதபோது, [தேர்வு மதிப்பீட்டாளர் ](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py)பொருந்தாது என்ற வரியைத் திருப்புகிறது: இடநிரப்பி மதிப்பெண் `0.0`, `test_pass=true`. திறனைப் பயன்படுத்த வேண்டாம் என்ற முடிவு சரியா என்பதை அந்த மதிப்பீட்டாளர் கையாளாது.

அந்த [வழிமுறைப் பின்பற்றுதல் மதிப்பீட்டாளர் ](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) திறன் அழைக்கப்படாதபோது, ஏற்றுதல் மறுக்கப்பட்டபோது அல்லது உட்பகுதி கிடைக்காதபோது தேர்ச்சி பெற்ற N/A வரிகளைத் திருப்புகிறது. இயக்கப் பாதை இல்லாதபோது, இரு மதிப்பீட்டாளர்களும் தேர்ச்சி குறி பொய்யான N/A-ஐத் திருப்புகின்றனர்.

அவற்றின் [ஒட்டுமொத்தக் கணக்கீட்டுச் செயல்பாடு ](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) N/A வரிகளை சராசரியிலிருந்து விலக்குகிறது. எல்லா வரிகளும் N/A ஆக இருக்கும்போது, இடநிரப்பி பூஜ்யத்தை அப்படியே வைத்துக் கொண்டு, வரிகளின் தேர்ச்சி குறிகளை இணைக்கிறது. எனவே எண்ணையும் குறியையும் அவற்றின் லேபிளும் காரணமும் சேர்த்தே சரியாகப் புரிந்துகொள்ள வேண்டும்.

கட்டாய வழிமுறைத் தேர்வுக்கு, மதிப்பீட்டாளர்களுடன் பெயரிட்ட ஏற்றுதல் சரிபார்ப்பையும் இணைக்கவும். வழிமுறைகள் மற்றும் செயலாக்கச் சான்றுகள் பதிவாகியுள்ளனவா என்பதைப் பார்த்த பிறகே தேர்ச்சி குறியை மதிப்பீடாகக் கருதவும். BIG CHANGE ஆவணங்களையும் மூலக் குறியீட்டையும் ஆய்வு செய்தது; இந்த மதிப்பீட்டாளர்களை இயக்கவில்லை.

## Sources

- [AWS: Strands Evals மற்றும் Amazon Bedrock AgentCore மூலம் திறன் கொண்ட முகவர்களை மதிப்பிடுதல்](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — மதிப்பீட்டாளர்களின் வேறுபாட்டையும் பதிவுசெய்யப்பட்ட இயக்கங்களின் பணிமுறையையும் அறிமுகப்படுத்தும் செப்டம்பர் 22 வழிகாட்டி. அதில் உருவாக்கப்பட்ட பயிற்சி எடுத்துக்காட்டுகள் உண்மைச் சம்பவங்களாகப் பதிவாகவில்லை.
- [Amazon Bedrock AgentCore: திறன் மதிப்பீட்டாளர்கள்](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — AgentCore-இன் சான்றுத் தேவைகள், பட்டியல் மாற்றுவழி, முழு அமர்வு வழிமுறைச் சான்று, முடிவுகள் பூஜ்யமாகும் நடத்தை ஆகியவற்றை ஆவணப்படுத்துகிறது.
- [Strands Evals: ஆய்வு செய்த commit-இல் திறன் தேர்வுத் துல்லிய மதிப்பீட்டாளர்](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — குறிப்பிட்ட commit-இன் குறியீடு: திறன் அழைப்பு இல்லாதபோது, மதிப்பிடப்பட்ட தேர்வுக்குப் பதிலாக தேர்ச்சி பெற்ற N/A இடநிரப்பி வழங்கப்படுகிறது. இந்த ஆய்வு செய்த commit-க்கே பொருந்தும்.
- [Strands Evals: ஆய்வு செய்த commit-இல் திறன் வழிமுறைப் பின்பற்றுதல் மதிப்பீட்டாளர்](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — குறிப்பிட்ட commit-இன் குறியீடு: திறன் அழைப்பு இல்லாமை, தோல்வியுற்ற ஏற்றுதல், உட்பகுதி இல்லாமை ஆகியவை தேர்ச்சி பெற்ற N/A வரிகளைத் தருகின்றன; இயக்கப் பாதை இல்லாமை தோல்வியைக் குறிக்கிறது. இந்தக் குறிகள் வழிமுறைப் பின்பற்றுதலை நிறுவுவதில்லை.
- [Strands Evals: ஆய்வு செய்த commit-இல் நிர்ணயிக்கப்பட்ட SkillInvoked மதிப்பீட்டாளர்](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — பெயரிடப்பட்ட திறன் வெற்றிகரமாக ஏற்றப்பட்டதற்கான பதிவு தேவை என்பதையும், மாடல் தீர்ப்பின்றி ஏற்றுதல் இல்லாமை, தோல்வி, தீர்மானிக்கப்படாத முயற்சி ஆகியவற்றை வேறுபடுத்துவதையும் காட்டும் குறிப்பிட்ட மூலக் குறியீடு.
- [Agent Skills விவரக்குறிப்பு](https://agentskills.io/specification) — SKILL.md கோப்பு அமைப்பையும் படிப்படியான வெளிப்பாட்டையும் விளக்கும் திறந்த விவரக்குறிப்பு: வழிமாற்றுக்கு metadata கிடைக்கும்; செயல்படுத்திய பிறகு வழிமுறைப் பகுதி ஏற்றப்படும்.
- [Strands Evals: ஆய்வு செய்த commit-இல் N/A வரிகளின் ஒருங்கிணைப்பு](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — N/A வரிகளை மதிப்பெண் சராசரியிலிருந்து விலக்கும்; எல்லா வரிகளும் N/A ஆக இருக்கும்போது இடநிரப்பி பூஜ்யத்தையும் இணைக்கப்பட்ட தேர்ச்சி குறிகளையும் வைத்திருக்கும் ஒருங்கிணைப்பு செயலாக்கம்.