유창한 답변만으로는 AI 에이전트가 필수 절차를 따랐는지 알 수 없습니다. AWS의 9월 22일 가이드는 Strands Evals와 Amazon Bedrock AgentCore가 기록된 실행을 바탕으로 스킬 선택과 지침 준수 여부를 평가하는 방식을 설명합니다. 두 시스템은 평가 대상이 없을 때 서로 다르게 처리하며, 이는 통과 표시를 읽는 사람에게 영향을 줍니다.
핵심 변화
- 무엇이 바뀌었나: 이 도구들은 절차가 로드됐는지, 작업에 적합했는지, 단계별 지침을 따랐는지를 구분합니다.
- 중요한 이유: 검토한 Strands 코드에서는 판단되지 않은 사례를 통과로 표시할 수 있습니다. 이 표시만으로 출시 여부를 결정하면 필수 스킬이 로드되지 않았다는 사실을 놓칠 수 있습니다.
- 지켜볼 점: 점수와 함께 평가 범위도 확인하세요. 예상한 로드 중 무엇이 관찰됐으며, 판단할 만큼 충분한 기록이 남은 호출은 무엇인지 살펴보세요.
세 가지 점검은 서로 다른 질문에 답합니다
공개된 Agent Skills 사양은 스킬이 SKILL.md 파일을 중심으로 구성된다고 정의합니다. 이름과 설명은 에이전트가 언제 스킬을 사용할지 판단하는 데 도움을 주며, 지침 본문은 활성화 후 로드됩니다. 따라서 로딩 성공 여부는 적절한 선택이나 실행과 별도로 확인해야 합니다.
점검 항목 | 증거와 결과 | 한계 |
|---|---|---|
Strands | 로 지정된 스킬의 로드 성공 기록. 결정론적 통과 또는 실패 | 적합성이나 실행을 평가하지 않음 |
AgentCore 선택 정확도 | 사용 가능한 경우 호출된 스킬, 요청, 앞선 맥락 및 카탈로그. 모델이 Yes 또는 No로 판단 | 아무 스킬도 호출하지 않기로 한 결정을 판단하지 않음 |
AgentCore 지침 준수 | 로드된 지침과 전체 세션. 완전히 준수부터 미준수까지 다섯 단계 | 기록된 단계별 준수를 평가하며, 기저 작업이 올바른지는 판단하지 않음 |
고정된 SkillInvoked 구현은 일치하는 스킬 로드 이벤트의 상태가 loaded인지를 요구합니다. 성공적인 로드가 없으면 누락, 실패 또는 해결되지 않은 시도는 이 검증에서 실패합니다. 심사 모델은 호출되지 않습니다. 테스트 사례에서 특정 스킬이 필요할 때 직접 확인하는 방법입니다.
AgentCore에서는 결과가 0개일 수 있습니다
해당 AgentCore 문서에 따르면 호출과 스킬 본문 신호가 모두 감지되지 않으면 두 심사기가 도구 호출을 건너뜁니다. 스킬 호출이 감지되지 않은 세션은 결과가 0개입니다.
카탈로그가 없어도 선택 판단은 중단되지 않습니다. 평가기는 요청과 대화 맥락을 사용합니다. 지침 준수 평가에는 호출된 스킬과 로드된 본문이 모두 필요하며, 이후 단계를 판단하는 증거로 전체 세션을 사용합니다.
Strands는 통과로 표시된 N/A 행을 반환할 수 있습니다
소스 검토에서는 Strands Evals 커밋 9ea55c9를 검토한 결과, 9월 23일에 살펴본 해당 구현을 설명하는 내용이지 설치된 모든 SDK 버전에 적용된다는 뜻은 아닙니다.
실행 기록은 있지만 스킬 호출이 없는 경우, 선택 평가기는 해당 없음(N/A) 행을 반환합니다. 자리표시자 점수는 0.0, 통과 표시는 test_pass=true입니다. 스킬을 사용하지 않기로 한 결정이 옳았는지는 이 심사기의 평가 범위 밖입니다.
그리고 지침 준수 평가기는 호출이 없거나, 로드가 거부됐거나, 본문을 사용할 수 없는 경우 통과로 표시된 N/A 행을 반환합니다. 실행 기록이 없으면 두 평가기 모두 통과 표시가 false인 N/A를 반환합니다.
두 평가기의 집계 함수는 평균을 계산할 때 N/A 행을 제외합니다. 모든 행이 N/A이면 자리표시자 0을 유지하고 각 행의 통과 표시를 결합합니다. 따라서 숫자와 표시를 올바르게 해석하려면 라벨과 사유도 함께 확인해야 합니다.
필수 경로를 확인하려면 평가기와 이름이 지정된 로드 검증을 함께 사용하세요. 지침 준수 여부를 살피려면 통과 표시를 판단으로 받아들이기 전에 지침과 실행 증거가 수집됐는지 확인하세요. BIG CHANGE는 문서와 소스 코드를 검토했으며 이 평가기들을 직접 실행하지는 않았습니다.
