Markdown edition

AI-translated from English; not yet reviewed by a fluent editor.

# Maaaring laktawan ng AI agent ang kailangang skill nang walang naiiwang markang bagsak

> Pinag-iihiwalay ng mga bagong evaluator ng skill ang paglo-load, pagpili at pagsunod sa mga tagubilin. Ipinakikita ng paghawak nila sa nawawalang resulta kung bakit dapat ituring ng mga pangkat na hiwalay na ebidensiya ang saklaw ng ebalwasyon.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

Hindi ipinakikita ng matatas na sagot kung sinunod ng AI agent ang kinakailangang proseso. [Ipinapaliwanag sa gabay ng AWS noong Setyembre 22](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) kung paano sinusuri ng Strands Evals at Amazon Bedrock AgentCore ang pagpili ng skill at pagsunod sa mga tagubilin batay sa mga naitalang takbo. Magkaiba ang paghawak ng dalawang sistema sa nawawalang ebalwasyon, at may implikasyon ito sa sinumang bumabasa ng mga markang pumasa.

## Ang malaking pagbabago

- **Ano ang nagbago:** Tinutukoy ng mga tool na ito kung na-load ang proseso, kung angkop ito sa gawain at kung sinunod ang mga hakbang nito.
- **Bakit ito mahalaga:** Maaaring markahan ng sinuring code ng Strands na pumasa ang kasong hindi nasuri. Maaaring makaligtaan ng pasiya sa release na nakabatay lang sa markang iyon ang kailangang skill na hindi naman na-load.
- **Ano ang dapat bantayan:** Suriin ang saklaw ng ebalwasyon kasabay ng mga marka: alin sa mga inaasahang paglo-load ang nakita, at alin sa mga tawag ang may sapat na naitalang ebidensiya para masuri.

## Iba’t ibang tanong ang sinasagot ng tatlong pagsusuri

Tinutukoy ng [espesipikasyon ng Agent Skills](https://agentskills.io/specification) ang isang skill batay sa isang file na `SKILL.md`. Tinutulungan ng pangalan at paglalarawan nito ang agent na magpasiyang kailan ito gagamitin; nilo-load ang katawan ng mga tagubilin matapos itong i-activate. Dahil magkahiwalay ang mga ito, hiwalay ding tanong ang kung matagumpay na nag-load, kung angkop itong piliin at kung tama ang pagsasagawa.

| Pagsusuri | Ebidensiya at resulta | Limitasyon |
| --- | --- | --- |
| Strands `SkillInvoked` | Naitalang matagumpay na pag-load ng pinangalanang skill; deterministikong markang pumasa o bumagsak | Hindi sinusuri kung angkop ang skill o kung paano ito isinagawa |
| Katumpakan ng pagpili sa AgentCore | Tinawag na skill, kahilingan, naunang konteksto at katalogo kung mayroon; hatol ng modelo na Oo o Hindi | Hindi hinahatulan ang pasiyang walang tawaging anuman |
| Pagsunod ng AgentCore sa mga tagubilin | Mga na-load na tagubilin at buong session; limang antas mula sa lubusang pagsunod hanggang sa hindi pagsunod | Sinusuri kung sinunod ang mga naitalang hakbang, hindi kung tama ang mismong gawain |

Nangangailangan ang naka-pin na [`SkillInvoked` na implementasyon](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) ng katugmang load event na may status na `loaded`. Kung walang matagumpay na pag-load, bumabagsak ang pahayag na ito para sa mga pagtatangkang wala, bigo o hindi nalutas. Walang tinatawag na modelong tagahatol. Direktang nasusuri nito kung nangangailangan ng partikular na skill ang test case.

## Maaaring walang ilabas na resulta ang AgentCore

Ayon sa [dokumentasyon ng AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), nilalaktawan ng dalawang tagahatol ang tool call kapag walang nakitang senyas ng pagtawag o katawan ng skill. Walang lumalabas na resulta kapag walang natukoy na pagtawag sa skill sa session.

Hindi pinipigilan ng nawawalang katalogo ang pagsusuri sa pagpili: ginagamit ng evaluator ang kahilingan at konteksto ng usapan. Kailangan naman sa pagsusuri ng pagsunod sa tagubilin ang parehong tinawag na skill at na-load nitong katawan; nagbibigay ng ebidensiya tungkol sa mga sumunod na hakbang ang buong session.

## Maaaring magbalik ang Strands ng markang N/A na pumasa

Ipinakikita ng pagsusuri sa source code ang ibang paraan ng paglalahad sa Strands Evals commit na `9ea55c9`, na sinuri noong Setyembre 23. Inilalarawan nito ang implementasyong iyon, hindi ang bawat naka-install na bersiyon ng SDK.

Kapag may trajectory ngunit walang pagtawag, ang [evaluator ng pagpili](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) ay nagbabalik ng row na hindi naaangkop: placeholder na markang `0.0`, `test_pass=true`. Wala sa saklaw ng tagahatol na iyon kung tama ang pasiyang hindi gumamit ng skill.

Nagbabalik din ang [evaluator ng pagsunod sa mga tagubilin](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) ng mga row na pumapasang N/A kapag walang pagtawag, tinanggihan ang pag-load o hindi makuha ang katawan ng skill. Sa halip, N/A na may markang hindi pumasa ang ibinabalik ng dalawang evaluator kapag walang trajectory.

Hindi isinasama ng kanilang [pangkalahatang function](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) ang mga row na N/A sa mean. Kapag N/A ang lahat ng row, pinananatili nito ang placeholder na sero at pinagsasama ang mga marka ng pagpasa ng mga row. Kaya kailangang basahin ang bilang at marka kasabay ng label at dahilan ng mga ito.

Para sa kailangang routing, samahan ang mga tagahatol ng pahayag na pinangalanan ang kinakailangang load. Para sa pagsunod, tiyaking nakuhanan ng ebidensiya ang mga tagubilin at pagsasagawa bago ituring na hatol ang markang pumasa. Dokumentasyon at source code ang sinuri ng BIG CHANGE; hindi nito pinatakbo ang mga evaluator na ito.

## Sources

- [AWS: Suriin ang mga agent na may skill gamit ang Strands Evals at Amazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — Gabay noong Setyembre 22 na nagpapakilala sa paghihiwalay ng mga evaluator at workflow batay sa naitalang takbo. Mga halimbawang binuo para sa tutorial ang mga eksena rito, hindi mga iniulat na insidente.
- [Amazon Bedrock AgentCore: Mga evaluator ng skill](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — Nagdodokumento sa mga kinakailangang senyas, alternatibo kapag walang katalogo, ebidensiya mula sa buong session para sa mga tagubilin at asal kapag walang inilabas na resulta ang AgentCore.
- [Strands Evals: Evaluator ng katumpakan sa pagpili ng skill sa sinuring commit](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — Naka-pin na code: nagbubunga ng pumapasang N/A placeholder ang kawalan ng pagtawag, hindi hatol tungkol sa pagpili. Para lamang ito sa sinuring commit.
- [Strands Evals: Evaluator ng pagsunod sa mga tagubilin ng skill sa sinuring commit](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — Naka-pin na code: nagbubunga ng pumapasang N/A row ang kawalan ng pagtawag, bigong pag-load o kawalan ng katawan ng skill; bumabagsak naman ang kawalan ng trajectory. Hindi pinatutunayan ng mga markang ito ang pagsunod.
- [Strands Evals: Deterministikong evaluator ng SkillInvoked sa sinuring commit](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — Source code na naka-pin at nagpapakitang kailangan ng naitalang matagumpay na pag-load ang pahayag tungkol sa pinangalanang skill; ibinubukod nito ang mga pagtatangkang wala, bigo o hindi nalutas nang walang tagahatol na modelo.
- [Espesipikasyon ng Agent Skills](https://agentskills.io/specification) — Bukas na espesipikasyon para sa kayarian ng SKILL.md at unti-unting paglalahad: magagamit ang metadata sa routing, at nilo-load ang katawan ng tagubilin matapos itong i-activate.
- [Strands Evals: Pagsasama-sama ng N/A sa sinuring commit](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — Hindi isinasama ng implementasyon ng aggregate ang N/A sa mean ng mga nasukatan, ngunit pinananatili nito ang placeholder na sero at pinagsamang mga marka ng pagpasa kapag N/A ang lahat ng row.