AI-translated from English; not yet reviewed by a fluent editor.

# AI 代理程式可能略過必需技能，卻不留下任何評分紀錄

> 新的技能評估工具將載入、選擇與遵循指示分開處理。缺少評估結果時的不同處理方式，說明團隊為何必須把評估覆蓋率本身也視為一項證據。

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

回答流暢，並不能證明 AI 代理程式使用了規定的流程。[AWS 於 9 月 22 日發布的指南](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/)說明 Strands Evals 與 Amazon Bedrock AgentCore 如何根據記錄的執行軌跡評估技能選擇及指示遵循情況。兩個系統處理缺少評估的方式不同，會影響讀者對通過旗標的解讀。

## 重大變化

- **有哪些改變：**這些工具分別檢查流程是否載入、是否適合任務，以及其步驟是否獲得遵循。
- **為何重要：**檢視的 Strands 原始碼可能將未經評判的個案標為通過。若僅根據該旗標決定是否發布，可能忽略根本未載入的必需技能。
- **後續觀察重點：**除了分數，也要檢查評估覆蓋率：哪些預期載入事件有被觀察到？哪些呼叫有足夠的執行紀錄可供判斷？

## 三種檢查，各自回答不同問題

《[Agent Skills 規格](https://agentskills.io/specification)》將技能定義為一個`SKILL.md`檔案。技能名稱與說明可協助代理程式判斷何時使用；啟用後才會載入指示本文。因此，成功載入與是否適當選擇或執行，是不同的問題。

| 檢查項目 | 證據與結果 | 限制 |
| --- | --- | --- |
| Strands`SkillInvoked` | 記錄到指定技能成功載入；以確定性方式判定通過或失敗。 | 不評估技能是否適用或是否確實執行。 |
| AgentCore 選擇準確度 | 有技能被呼叫時會檢視技能、請求內容、先前上下文，以及可用時的技能目錄；由模型判斷「是」或「否」。 | 不評判完全沒有呼叫技能是否正確。 |
| AgentCore 指示遵循情況 | 檢視已載入的指示與完整工作階段，分成五級，從完全遵循到未遵循。 | 評估的是有紀錄可查的步驟遵循情況，而非底層工作的正確性。 |

經固定版本確認的[`SkillInvoked`實作](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py)要求有一筆狀態為`loaded`的相符載入事件。若沒有成功載入，缺少、失敗或尚未解決的嘗試都會使這項斷言失敗。系統不會呼叫評判模型。若測試案例要求使用特定技能，這項檢查可直接驗證是否載入。

## AgentCore 可能回傳零筆結果

依據[AgentCore 文件](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html)，若未偵測到呼叫紀錄或技能本文訊號，兩種評判器都會略過工具呼叫。若工作階段中沒有偵測到技能呼叫，就不會產生任何結果。

即使沒有技能目錄，仍可評判選擇：評估器會使用請求與對話上下文。指示遵循評估則需要被呼叫的技能及其載入本文，並以完整工作階段作為後續步驟的證據。

## Strands 可能回傳通過的 N/A 列

檢視原始碼可見，Strands Evals 在已檢查的提交版本`9ea55c9`中採用不同呈現方式；本文說明的是該實作，並非所有已安裝的 SDK 版本。

若有執行軌跡但沒有技能呼叫，[選擇評估器](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py)會回傳不適用的列，並以`0.0`作為佔位分數，`test_pass=true`。是否應該不使用技能，不在該評估器的判斷範圍內。

指示遵循[評估器](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py)在沒有技能呼叫、載入遭拒或本文不可用時，也會回傳通過的 N/A 列。若缺少執行軌跡，兩種評估器都會回傳通過旗標為 false 的 N/A。

其[彙總函式](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py)不會將 N/A 列納入平均值。若所有列都是 N/A，則保留佔位數值 0，並合併各列的通過旗標。因此，必須同時查看數值、旗標與原因，才能正確解讀。

若路由規則要求使用特定技能，應將兩種評判器與具名載入斷言搭配使用。若要評估是否遵循指示，應先確認指示與執行證據都有記錄，再將通過旗標視為判斷結果。BIG CHANGE 檢視文件與原始碼，並未實際執行這些評估器。

## Sources

- [AWS：使用 Strands Evals 與 Amazon Bedrock AgentCore 評估具備技能的代理程式](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — 9 月 22 日發布的指南，介紹評估器分工與根據執行紀錄進行評估的流程。文中自行建構的教學範例並非事故案例。
- [Amazon Bedrock AgentCore：技能評估器](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — 說明 AgentCore 所需訊號、技能目錄缺失時的替代方式、完整工作階段的指示證據，以及零結果情況。
- [Strands Evals：技能選擇準確度評估器（本文檢視的提交版本）](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — 固定版本的原始碼顯示，沒有技能呼叫時會回傳通過的 N/A 佔位列，而非經評判的選擇結果。此結論僅適用於檢視的提交版本。
- [Strands Evals：技能指示遵循評估器（本文檢視的提交版本）](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — 固定版本的原始碼顯示，沒有呼叫、載入失敗或缺少本文時會產生通過的 N/A 列；缺少執行軌跡則判為失敗。這些旗標不能證明已遵循指示。
- [Strands Evals：確定性 SkillInvoked 評估器（本文檢視的提交版本）](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — 固定版本原始碼顯示，具名技能斷言要求有成功載入紀錄，並可在不使用模型評判器的情況下區分未嘗試、失敗及未解決的載入。
- [Agent Skills 規格](https://agentskills.io/specification) — 開放規格說明 SKILL.md 的結構與漸進式揭露：中繼資料供路由使用，啟用技能後才載入指示本文。
- [Strands Evals：N/A 彙總方式（本文檢視的提交版本）](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — 彙總實作會將 N/A 排除於分數平均之外；若所有列皆為 N/A，則保留佔位數值 0，並合併通過旗標。