AI-translated from English; not yet reviewed by a fluent editor.

# Um agente de IA pode ignorar uma habilidade obrigatória sem deixar nenhuma nota

> Novos avaliadores de habilidades separam carregamento, seleção e cumprimento de instruções. O tratamento de resultados ausentes mostra por que as equipes devem considerar a cobertura da avaliação como evidência à parte.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

Uma resposta fluente não mostra se um agente de IA usou o procedimento exigido. [O guia da AWS, publicado em 22 de setembro](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/), explica como o Strands Evals e o Amazon Bedrock AgentCore avaliam a seleção de habilidades e o cumprimento de instruções com base em execuções registradas. Os dois sistemas tratam de forma diferente a ausência de uma avaliação, o que afeta quem interpreta seus indicadores de aprovação.

## A grande mudança

- **O que mudou:** Essas ferramentas distinguem se um procedimento foi carregado, se era adequado à tarefa e se suas etapas foram seguidas.
- **Por que isso importa:** O código do Strands analisado pode marcar como aprovado um caso que não foi avaliado. Uma decisão de lançamento baseada apenas nesse indicador pode deixar passar uma habilidade obrigatória que nunca foi carregada.
- **O que observar:** Confira a cobertura da avaliação junto com as notas: quais carregamentos esperados foram observados e quais chamadas tinham evidências registradas suficientes para serem avaliadas.

## Três verificações respondem a perguntas diferentes

A [especificação Agent Skills](https://agentskills.io/specification) define uma habilidade a partir de um arquivo `SKILL.md`. O nome e a descrição ajudam o agente a decidir quando usá-la; o corpo das instruções é carregado após a ativação. Por isso, verificar se o carregamento ocorreu é diferente de avaliar se a seleção ou a execução foi adequada.

| Verificação | Evidências e resultado | Limitação |
| --- | --- | --- |
| Strands `SkillInvoked` | Carregamento bem-sucedido e registrado de uma habilidade identificada; aprovação ou reprovação determinística | Não avalia a adequação nem a execução |
| Precisão da seleção no AgentCore | Habilidade invocada, solicitação, contexto anterior e catálogo, quando disponível; avaliação do modelo como “sim” ou “não” | Não avalia a decisão de não invocar nenhuma habilidade |
| Cumprimento de instruções no AgentCore | Instruções carregadas e sessão completa; cinco níveis, de totalmente seguido a não seguido | Avalia se as etapas registradas foram seguidas, não se o trabalho em si está correto |

A implementação fixada do avaliador [`SkillInvoked` no Strands Evals](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) exige um evento de carregamento correspondente com status `loaded`. Sem carregamento bem-sucedido, tentativas ausentes, malsucedidas ou não resolvidas reprovam essa verificação. Nenhum modelo avaliador é chamado. Isso oferece uma verificação direta quando um caso de teste exige uma habilidade específica.

## O AgentCore pode não gerar nenhum resultado

Segundo a [documentação do AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), os dois avaliadores ignoram uma chamada de ferramenta quando não detectam sinais de invocação nem de conteúdo de uma habilidade. Uma sessão sem invocações de habilidades detectadas não gera resultados.

A ausência de um catálogo não impede a avaliação da seleção: o avaliador usa a solicitação e o contexto da conversa. Para avaliar o cumprimento das instruções, são necessários tanto a habilidade invocada quanto o conteúdo carregado, e a sessão completa fornece evidências das etapas seguintes.

## O Strands pode retornar uma linha N/A aprovada

A análise do código revela uma representação diferente no commit `9ea55c9`, inspecionado em 23 de setembro. Isso descreve essa implementação, não todas as versões instaladas do SDK.

Quando há uma trajetória, mas nenhuma invocação, o [avaliador de seleção](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) retorna uma linha não aplicável: a nota substituta é `0.0`, `test_pass=true`. Saber se foi correto não usar uma habilidade está fora do escopo desse avaliador.

O [avaliador de cumprimento de instruções](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) também retorna linhas N/A aprovadas quando não há invocação, o carregamento falha ou o conteúdo não está disponível. Já uma trajetória ausente retorna N/A com indicador de aprovação falso nos dois avaliadores.

A função de [agregação](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) exclui linhas N/A da média. Quando todas as linhas são N/A, mantém uma nota substituta igual a zero e combina os indicadores de aprovação das linhas. Portanto, é preciso interpretar o número e o indicador considerando seu rótulo e o motivo.

Para rotas obrigatórias, combine os avaliadores com uma verificação de carregamento por nome. Para avaliar a adesão, confirme se as instruções e evidências da execução foram registradas antes de tratar um indicador de aprovação como julgamento. A BIG CHANGE analisou a documentação e o código-fonte; não executou esses avaliadores.

## Sources

- [AWS: avaliar agentes equipados com habilidades usando Strands Evals e Amazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — Guia de 22 de setembro que apresenta a divisão entre avaliadores e o fluxo de execuções registradas. Os exemplos didáticos construídos no guia não são apresentados como incidentes reais.
- [Amazon Bedrock AgentCore: avaliadores de habilidades](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — Documenta os sinais exigidos pelo AgentCore, a alternativa quando falta o catálogo, as evidências da sessão completa para avaliar o cumprimento de instruções e o comportamento sem resultados.
- [Strands Evals: avaliador de precisão na seleção de habilidades no commit analisado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — Código fixado: sem invocação, retorna uma nota substituta N/A aprovada, não uma seleção avaliada. Aplica-se ao commit inspecionado.
- [Strands Evals: avaliador de cumprimento de instruções de habilidades no commit analisado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — Código fixado: ausência de invocação, falha no carregamento e conteúdo ausente geram linhas N/A aprovadas; trajetórias ausentes reprovam. Esses indicadores não comprovam adesão às instruções.
- [Strands Evals: avaliador determinístico SkillInvoked no commit analisado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — Código-fonte fixado que mostra que a verificação de uma habilidade nomeada exige um evento de carregamento bem-sucedido registrado e distingue tentativas ausentes, malsucedidas e não resolvidas sem recorrer a um modelo avaliador.
- [Especificação Agent Skills](https://agentskills.io/specification) — Especificação aberta para a estrutura do SKILL.md e a divulgação progressiva: os metadados servem para direcionamento; o corpo das instruções é carregado após a ativação.
- [Strands Evals: agregação de N/A no commit analisado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — A implementação de agregação exclui N/A das médias avaliadas, mas mantém uma nota substituta igual a zero e combina os indicadores de aprovação quando todas as linhas são N/A.