Markdown 버전

AI-translated from English; not yet reviewed by a fluent editor.

# AI 에이전트가 필수 스킬을 건너뛰고도 점수를 남기지 않을 수 있다

> 새로운 스킬 평가기는 로딩, 선택, 지침 준수 여부를 각각 살펴봅니다. 결과가 없을 때의 처리 방식은 팀이 평가 범위 자체도 증거로 다뤄야 하는 이유를 보여 줍니다.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

유창한 답변만으로는 AI 에이전트가 필수 절차를 따랐는지 알 수 없습니다. [AWS의 9월 22일 가이드](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/)는 Strands Evals와 Amazon Bedrock AgentCore가 기록된 실행을 바탕으로 스킬 선택과 지침 준수 여부를 평가하는 방식을 설명합니다. 두 시스템은 평가 대상이 없을 때 서로 다르게 처리하며, 이는 통과 표시를 읽는 사람에게 영향을 줍니다.

## 핵심 변화

- **무엇이 바뀌었나:** 이 도구들은 절차가 로드됐는지, 작업에 적합했는지, 단계별 지침을 따랐는지를 구분합니다.
- **중요한 이유:** 검토한 Strands 코드에서는 판단되지 않은 사례를 통과로 표시할 수 있습니다. 이 표시만으로 출시 여부를 결정하면 필수 스킬이 로드되지 않았다는 사실을 놓칠 수 있습니다.
- **지켜볼 점:** 점수와 함께 평가 범위도 확인하세요. 예상한 로드 중 무엇이 관찰됐으며, 판단할 만큼 충분한 기록이 남은 호출은 무엇인지 살펴보세요.

## 세 가지 점검은 서로 다른 질문에 답합니다

공개된 [Agent Skills 사양](https://agentskills.io/specification)은 스킬이 `SKILL.md` 파일을 중심으로 구성된다고 정의합니다. 이름과 설명은 에이전트가 언제 스킬을 사용할지 판단하는 데 도움을 주며, 지침 본문은 활성화 후 로드됩니다. 따라서 로딩 성공 여부는 적절한 선택이나 실행과 별도로 확인해야 합니다.

| 점검 항목 | 증거와 결과 | 한계 |
| --- | --- | --- |
| Strands `SkillInvoked` | 로 지정된 스킬의 로드 성공 기록. 결정론적 통과 또는 실패 | 적합성이나 실행을 평가하지 않음 |
| AgentCore 선택 정확도 | 사용 가능한 경우 호출된 스킬, 요청, 앞선 맥락 및 카탈로그. 모델이 Yes 또는 No로 판단 | 아무 스킬도 호출하지 않기로 한 결정을 판단하지 않음 |
| AgentCore 지침 준수 | 로드된 지침과 전체 세션. 완전히 준수부터 미준수까지 다섯 단계 | 기록된 단계별 준수를 평가하며, 기저 작업이 올바른지는 판단하지 않음 |

고정된 [`SkillInvoked` 구현은 ](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py)일치하는 스킬 로드 이벤트의 상태가 `loaded`인지를 요구합니다. 성공적인 로드가 없으면 누락, 실패 또는 해결되지 않은 시도는 이 검증에서 실패합니다. 심사 모델은 호출되지 않습니다. 테스트 사례에서 특정 스킬이 필요할 때 직접 확인하는 방법입니다.

## AgentCore에서는 결과가 0개일 수 있습니다

해당 [AgentCore 문서](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html)에 따르면 호출과 스킬 본문 신호가 모두 감지되지 않으면 두 심사기가 도구 호출을 건너뜁니다. 스킬 호출이 감지되지 않은 세션은 결과가 0개입니다.

카탈로그가 없어도 선택 판단은 중단되지 않습니다. 평가기는 요청과 대화 맥락을 사용합니다. 지침 준수 평가에는 호출된 스킬과 로드된 본문이 모두 필요하며, 이후 단계를 판단하는 증거로 전체 세션을 사용합니다.

## Strands는 통과로 표시된 N/A 행을 반환할 수 있습니다

소스 검토에서는 Strands Evals 커밋 `9ea55c9`를 검토한 결과, 9월 23일에 살펴본 해당 구현을 설명하는 내용이지 설치된 모든 SDK 버전에 적용된다는 뜻은 아닙니다.

실행 기록은 있지만 스킬 호출이 없는 경우, [선택 평가기](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py)는 해당 없음(N/A) 행을 반환합니다. 자리표시자 점수는 `0.0`, 통과 표시는 `test_pass=true`입니다. 스킬을 사용하지 않기로 한 결정이 옳았는지는 이 심사기의 평가 범위 밖입니다.

그리고[ 지침 준수 평가기](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py)는 호출이 없거나, 로드가 거부됐거나, 본문을 사용할 수 없는 경우 통과로 표시된 N/A 행을 반환합니다. 실행 기록이 없으면 두 평가기 모두 통과 표시가 false인 N/A를 반환합니다.

두 평가기의 [집계 함수](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py)는 평균을 계산할 때 N/A 행을 제외합니다. 모든 행이 N/A이면 자리표시자 0을 유지하고 각 행의 통과 표시를 결합합니다. 따라서 숫자와 표시를 올바르게 해석하려면 라벨과 사유도 함께 확인해야 합니다.

필수 경로를 확인하려면 평가기와 이름이 지정된 로드 검증을 함께 사용하세요. 지침 준수 여부를 살피려면 통과 표시를 판단으로 받아들이기 전에 지침과 실행 증거가 수집됐는지 확인하세요. BIG CHANGE는 문서와 소스 코드를 검토했으며 이 평가기들을 직접 실행하지는 않았습니다.

## Sources

- [AWS: Strands Evals와 Amazon Bedrock AgentCore를 통한 스킬 탑재 에이전트 평가](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — 평가기 분리와 기록된 실행 기반 작업 흐름을 소개하는 9월 22일 가이드입니다. 가이드가 구성한 튜토리얼 사례는 실제 사고로 보고된 사례가 아닙니다.
- [Amazon Bedrock AgentCore: 스킬 평가기](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — AgentCore의 신호 요건, 카탈로그 대체 경로, 전체 세션을 통한 지침 증거, 결과 0개 동작을 설명합니다.
- [Strands Evals: 살펴본 커밋의 스킬 선택 정확도 평가기](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — 고정한 코드에서 호출이 없으면 선택 판단 결과가 아니라 통과로 표시된 N/A 자리표시자를 반환함을 보여 줍니다. 이 설명은 검토한 커밋에 적용됩니다.
- [Strands Evals: 살펴본 커밋의 스킬 지침 준수 평가기](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — 고정한 코드에서 호출이 없거나 로드에 실패하거나 본문이 없으면 통과로 표시된 N/A 행을 반환하고, 실행 기록이 없으면 실패함을 보여 줍니다. 이러한 표시는 지침 준수를 입증하지 않습니다.
- [Strands Evals: 살펴본 커밋의 결정론적 SkillInvoked 평가기](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — 이름이 지정된 스킬 검증에 기록된 로드 성공이 필요하며, 심사 모델 없이도 누락, 실패, 해결되지 않은 시도를 구분하는 고정 소스 코드입니다.
- [Agent Skills 사양](https://agentskills.io/specification) — SKILL.md의 구조와 점진적 정보 공개를 규정한 공개 사양입니다. 메타데이터는 라우팅에 사용할 수 있고 지침 본문은 활성화 후 로드됩니다.
- [Strands Evals: 검토한 커밋의 N/A 집계](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — 집계 구현은 점수 평균에서 N/A를 제외하지만 모든 행이 N/A이면 자리표시자 0과 결합된 통과 표시를 유지합니다.