Markdown izdanje

AI-translated from English; not yet reviewed by a fluent editor.

# AI agent može da preskoči obavezni skill, a da to ne ostavi trag u oceni

> Novi alati za evaluaciju skill-ova razdvajaju učitavanje, izbor i praćenje uputstava. Način na koji prikazuju izostali rezultat pokazuje zašto timovi moraju zasebno da proveravaju pokrivenost evaluacijama.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

Fluentan odgovor ne pokazuje da li je AI agent primenio obaveznu proceduru. [AWS-ov vodič od 22. septembra](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) objašnjava kako Strands Evals i Amazon Bedrock AgentCore evaluiraju izbor skill-ova i praćenje uputstava na osnovu zabeleženih pokretanja. Dva sistema različito obrađuju slučaj bez evaluacije, što utiče na svakoga ko tumači njihove oznake prolaznosti.

## Najvažnija promena

- **Šta se menja:** Ovi alati razlikuju da li je procedura učitana, da li je odgovarala zadatku i da li su njeni koraci ispoštovani.
- **Zašto je važno:** Pregledani Strands kod može da označi slučaj bez ocene kao prolazan. Odluka o puštanju sistema u rad zasnovana samo na toj oznaci može da previdi da se obavezni skill nije ni učitao.
- **Na šta obratiti pažnju:** Proverite pokrivenost evaluacijom uz ocene: koja očekivana učitavanja su zabeležena i za koja pozivanja ima dovoljno podataka da bi se donela ocena.

## Tri provere odgovaraju na različita pitanja

Specifikacija [Agent Skills](https://agentskills.io/specification) definiše skill kroz datoteku `SKILL.md`. Njegovo ime i opis pomažu agentu da odluči kada da ga upotrebi; tekst uputstava učitava se nakon aktivacije. Zato je uspešno učitavanje zasebno pitanje od pravilnog izbora ili izvršavanja.

| Provera | Dokaz i rezultat | Ograničenje |
| --- | --- | --- |
| Strands `SkillInvoked` | Zabeleženo uspešno učitavanje imenovanog skill-a; deterministički prolaz ili pad | Ne procenjuje prikladnost ni izvršavanje |
| Tačnost izbora u AgentCore-u | Pozvani skill, zahtev, prethodni kontekst i katalog kada je dostupan; model prosuđuje sa odgovorom Da ili Ne | Ne procenjuje da li je bilo ispravno ne pozvati nijedan skill |
| Praćenje uputstava u AgentCore-u | Učitana uputstva i cela sesija; pet nivoa, od potpunog do izostalog praćenja | Procenjuje praćenje zabeleženih koraka, a ne ispravnost samog rada |

Fiksirana [`SkillInvoked` implementacija](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) zahteva događaj učitavanja koji se poklapa sa skill-om i ima status `loaded`. Bez uspešnog učitavanja, ovaj uslov pada ako pokušaj nedostaje, nije uspeo ili mu ishod nije razrešen. Model ne učestvuje u ocenjivanju. To omogućava neposrednu proveru kada testni slučaj zahteva određeni skill.

## AgentCore može da vrati nula rezultata

Prema [dokumentaciji AgentCore-a](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), oba ocenjivača preskaču poziv alata kada nema signala ni o pozivanju ni o telu skill-a. Sesija u kojoj nije otkriven nijedan poziv skill-a daje nula rezultata.

Nedostajući katalog ne zaustavlja ocenjivanje izbora: evaluator koristi zahtev i kontekst razgovora. Praćenje uputstava zahteva i pozvani skill i njegovo učitano telo, a cela sesija pruža dokaze o narednim koracima.

## Strands može da vrati prolazni red sa oznakom N/A

Pregledom izvornog koda utvrđeno je drugačije predstavljanje u verziji Strands Evals-a sa revizijom `9ea55c9`, pregledanoj 23. septembra. Ovo opisuje tu implementaciju, a ne sve instalirane verzije SDK-a.

Kada postoji zapis toka rada, ali nema poziva, [evaluator izbora](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) vraća red „nije primenljivo“: privremenu ocenu `0.0`, `test_pass=true`. Taj evaluator ne procenjuje da li je odluka da se skill ne upotrebi bila ispravna.

Evaluator za [praćenje uputstava](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) takođe vraća prolazne N/A redove kada skill nije pozvan, njegovo učitavanje nije uspelo ili telo uputstava nije dostupno. Ako zapis toka rada nedostaje, oba evaluatora vraćaju N/A uz oznaku neuspeha.

Njihova [zbirna funkcija](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) izostavlja N/A redove iz prosečne ocene. Kada su svi redovi N/A, zadržava nulu kao privremenu ocenu i objedinjuje oznake prolaznosti pojedinačnih redova. Zato broj i oznaku treba tumačiti zajedno sa njihovim nazivom i razlogom.

Ako je potrebno obavezno usmeravanje, uparite ocenjivače sa proverom učitavanja imenovanog skill-a. Da biste procenili praćenje uputstava, pre nego što oznaku prolaznosti shvatite kao ocenu, proverite da li su instrukcije i dokazi o izvršavanju zabeleženi. BIG CHANGE je pregledao dokumentaciju i izvorni kod, ali nije pokretao ove evaluatore.

## Sources

- [AWS: evaluacija agenata sa skill-ovima pomoću Strands Evals-a i Amazon Bedrock AgentCore-a](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — Vodič od 22. septembra koji predstavlja podelu evaluatora i tok rada sa zabeleženim pokretanjima. Njegovi konstruisani primeri u uputstvu nisu prijavljeni incidenti.
- [Amazon Bedrock AgentCore: evaluatori skill-ova](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — Dokumentuje signale potrebne AgentCore-u, zamenu za katalog, dokaze iz cele sesije za praćenje uputstava i ponašanje kada nema rezultata.
- [Strands Evals: evaluator tačnosti izbora skill-a u pregledanoj reviziji](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — Fiksirani kod: kada nema poziva, vraća se prolazni N/A red kao privremena vrednost, a ne ocena izbora. Važi za pregledanu reviziju.
- [Strands Evals: evaluator praćenja uputstava za skill u pregledanoj reviziji](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — Fiksirani kod: ako nema poziva, učitavanje nije uspelo ili telo uputstava nedostaje, vraćaju se prolazni N/A redovi; nedostajući zapis toka rada označava se kao neuspešan. Te oznake ne dokazuju da su uputstva ispoštovana.
- [Strands Evals: deterministički evaluator SkillInvoked u pregledanoj reviziji](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — Fiksirani izvorni kod pokazuje da provera imenovanog skill-a zahteva zabeleženo uspešno učitavanje i razlikuje izostale, neuspešne i nerazrešene pokušaje bez ocenjivanja modelom.
- [Specifikacija Agent Skills-a](https://agentskills.io/specification) — Otvorena specifikacija strukture datoteke SKILL.md i postepenog otkrivanja uputstava: metapodaci su dostupni za usmeravanje, a telo uputstava se učitava nakon aktivacije.
- [Strands Evals: objedinjavanje N/A rezultata u pregledanoj reviziji](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — Implementacija zbirnog obračuna izostavlja N/A rezultate iz prosečne ocene, ali zadržava privremenu nulu i objedinjene oznake prolaznosti kada su svi redovi N/A.