AI-translated from English; not yet reviewed by a fluent editor.

# Агент вештачке интелигенције може да прескочи обавезну вештину, а да не остави оцену

> Нови евалуатори вештина раздвајају учитавање, избор и праћење упутстава. Начин на који обрађују недостајуће резултате показује зашто тимови морају да посматрају покривеност евалуацијом као засебан доказ.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

Течан одговор не показује да ли је агент вештачке интелигенције применио обавезан поступак. [Водич AWS-а од 22. септембра](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) објашњава како Strands Evals и Amazon Bedrock AgentCore оцењују избор вештина и праћење упутстава на основу забележених покретања. Два система различито поступају када евалуација изостане, што утиче на то како треба тумачити њихове ознаке успешности.

## Суштинска промена

- **Шта се променило:** Ови алати разликују да ли је поступак учитан, да ли је одговарао задатку и да ли су његови кораци испоштовани.
- **Зашто је важно:** Прегледани код за Strands може да означи случај без оцене као успешан. Одлука о објављивању заснована само на тој ознаци може да превиди обавезну вештину која никада није учитана.
- **На шта обратити пажњу:** Проверите покривеност евалуацијом уз оцене: који су очекивани случајеви учитавања забележени, а за која покретања има довољно података да се донесе оцена.

## Три провере дају одговоре на различита питања

Према документу [Спецификација Agent Skills](https://agentskills.io/specification) вештина се дефинише преко датотеке `SKILL.md`. Њен назив и опис помажу агенту да одлучи када да је употреби; тело упутстава учитава се након активирања. Зато је успешно учитавање засебно питање од прикладности избора или извршења.

| Провера | Доказ и резултат | Ограничење |
| --- | --- | --- |
| Strands `SkillInvoked` | Забележено успешно учитавање именоване вештине; детерминистичка оцена „успешно“ или „неуспешно“ | Не процењује прикладност нити извршење |
| Тачност избора у AgentCore-у | Позвана вештина, захтев, претходни контекст и каталог ако су доступни; модел процењује одговором „да“ или „не“ | Не процењује одлуку да се не позове ниједна вештина |
| Праћење упутстава у AgentCore-у | Учитавају се упутства и цела сесија; пет нивоа од потпуног праћења до непраћења | Процењује забележено праћење корака, а не исправност самог посла |

Закачена [`SkillInvoked` имплементација ](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) захтева догађај учитавања који се подудара и има статус `loaded`. Без успешног учитавања, одсуство покушаја, неуспело учитавање или неразрешен покушај не пролазе ову проверу. Не позива се модел за оцењивање. Тако се директно проверава случај у ком тест захтева одређену вештину.

## AgentCore може да врати нула резултата

Према [документацији AgentCore-а](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), оба оцењивача прескачу позив алата ако нису уочени ни сигнали покретања ни сигнали у телу вештине. Сесија без откривених позива вештина даје нула резултата.

Недостајући каталог не зауставља процену избора: евалуатор користи захтев и контекст разговора. За праћење упутстава потребни су и позвана вештина и њено учитано тело, док цела сесија пружа доказ о наредним корацима.

## Strands може да врати пролазни ред „није применљиво“

Преглед изворног кода открива другачији приказ у комиту `9ea55c9`, прегледаном 23. септембра. Ово описује ту имплементацију, а не сваку инсталирану верзију SDK-а.

Када постоји ток покретања, али нема позива вештине, [евалуатор избора](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) враћа ред „није применљиво“: привремену оцену `0.0`, `test_pass=true`. Питање да ли је било исправно не користити вештину ван је опсега тог оцењивача.

И [евалуатор праћења упутстава](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) враћа пролазне редове „није применљиво“ ако нема позива, учитавање је одбијено или тело није доступно. Ако недостаје ток покретања, оба евалуатора враћају „није применљиво“ уз ознаку неуспеха.

Њихова [агрегациона функција](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) изоставља редове „није применљиво“ из просека. Када су сви редови такви, чува привремену оцену нула и комбинује њихове ознаке успешности. Зато оцену и ознаку треба тумачити заједно са њиховим називом и разлогом.

За обавезно усмеравање упарите ове евалуаторе са провером учитавања именоване вештине. За проверу придржавања прво утврдите да ли су забележена упутства и докази о извршењу, па тек онда тумачите ознаку успешности. BIG CHANGE је прегледао документацију и изворни код; није покретао ове евалуаторе.

## Sources

- [AWS: евалуација агената са вештинама уз Strands Evals и Amazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — Водич од 22. септембра представља поделу евалуатора и поступак заснован на забележеним покретањима. Његови конструисани примери нису опис стварних инцидената.
- [Amazon Bedrock AgentCore: евалуатори вештина](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — Документује сигнале које AgentCore захтева, резервну употребу каталога, доказе о упутствима из целе сесије и понашање када нема резултата.
- [Strands Evals: евалуатор тачности избора вештине у прегледаном комиту](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — Закачени код: када нема позива, враћа пролазни ред „није применљиво“, а не процењен избор. Односи се на прегледани комит.
- [Strands Evals: евалуатор праћења упутстава вештине у прегледаном комиту](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — Закачени код: када нема позива, учитавање не успе или тело није доступно, враћа се пролазни ред „није применљиво“; недостајући ток покретања означава се као неуспешан. Ове ознаке не доказују да су упутства поштована.
- [Strands Evals: детерминистички евалуатор SkillInvoked у прегледаном комиту](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — Закачени изворни код показује да провера именоване вештине захтева забележено успешно учитавање и разликује одсуство, неуспех и неразрешене покушаје без моделског оцењивања.
- [Спецификација Agent Skills](https://agentskills.io/specification) — Отворена спецификација структуре датотеке SKILL.md и постепеног откривања: метаподаци су доступни за усмеравање, док се тело упутстава учитава након активирања.
- [Strands Evals: агрегација резултата „није применљиво“ у прегледаном комиту](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — Имплементација агрегације изоставља резултате „није применљиво“ из просека оцењених ставки, али када су све ставке такве задржава привремену нулу и обједињене ознаке успешности.