Edição Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Um agente de IA pode ignorar uma competência obrigatória e não deixar qualquer pontuação

> Os novos avaliadores de competências distinguem o carregamento, a seleção e o seguimento de instruções. O comportamento quando falta um resultado mostra por que razão as equipas devem tratar a cobertura da avaliação como uma prova em si mesma.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

Uma resposta fluente não demonstra que um agente de IA utilizou o procedimento exigido. [O guia da AWS de 22 de setembro](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) explica como o Strands Evals e o Amazon Bedrock AgentCore avaliam a seleção de competências e o seguimento de instruções com base em execuções registadas. Os dois sistemas tratam de forma diferente a ausência de uma avaliação, com consequências para quem interpreta os respetivos indicadores de aprovação.

## A grande mudança

- **O que mudou:** Estas ferramentas distinguem se um procedimento foi carregado, se era adequado à tarefa e se os respetivos passos foram seguidos.
- **Porque é importante:** O código analisado do Strands pode assinalar como aprovado um caso que não foi avaliado. Uma decisão de lançamento baseada apenas nesse indicador pode ignorar uma competência obrigatória que nunca chegou a ser carregada.
- **O que acompanhar:** Analise a cobertura da avaliação juntamente com as pontuações: que carregamentos previstos foram observados e que execuções tiveram provas registadas suficientes para serem avaliadas.

## Três verificações respondem a perguntas diferentes

A [especificação Agent Skills](https://agentskills.io/specification) define uma competência com base num ficheiro `SKILL.md`. O nome e a descrição ajudam o agente a decidir quando a deve utilizar; o corpo das instruções é carregado após a ativação. Por isso, o carregamento bem-sucedido é uma questão distinta da seleção ou execução adequadas.

| Verificação | Prova e resultado | Limite |
| --- | --- | --- |
| Strands `SkillInvoked` | Carregamento bem-sucedido de uma competência identificada, registado; aprovação ou reprovação determinística | Não avalia a adequação nem a execução |
| Precisão da seleção no AgentCore | Competência invocada, pedido, contexto anterior e catálogo, quando disponíveis; avaliação do modelo com resposta Sim ou Não | Não avalia a decisão de não invocar nenhuma competência |
| Seguimento de instruções no AgentCore | Instruções carregadas e sessão completa; cinco níveis, desde seguimento integral até ausência de seguimento | Avalia se os passos registados foram seguidos, não se o trabalho subjacente está correto |

A implementação do avaliador [`SkillInvoked` (fixada)](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) exige um evento de carregamento correspondente com o estado `loaded`. Sem um carregamento bem-sucedido, as tentativas ausentes, falhadas ou por resolver reprovam esta verificação. Não é chamado nenhum modelo avaliador. Esta é uma verificação direta quando um caso de teste exige uma competência específica.

## O AgentCore pode não produzir qualquer resultado

Segundo a [documentação do AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), ambos os avaliadores ignoram a chamada à ferramenta quando não detetam nem uma invocação nem sinais no corpo da competência. Uma sessão sem invocações de competências detetadas produz zero resultados.

A ausência de um catálogo não impede a avaliação da seleção: o avaliador utiliza o pedido e o contexto da conversa. Para avaliar o seguimento de instruções, é necessária tanto a competência invocada como o respetivo corpo carregado; a sessão completa fornece provas dos passos seguintes.

## O Strands pode devolver uma linha N/A aprovada

A análise do código revela uma representação diferente no commit `9ea55c9`, analisado a 23 de setembro. Esta descrição diz respeito a essa implementação, não a todas as versões instaladas do SDK.

Quando existe uma trajetória, mas não houve invocação, o [avaliador de seleção](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) devolve uma linha não aplicável: pontuação provisória `0.0`, `test_pass=true`. Determinar se foi correto não utilizar uma competência está fora do âmbito desse avaliador.

O [avaliador do seguimento de instruções](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) também devolve linhas N/A aprovadas quando não há invocação, o carregamento é recusado ou o corpo das instruções não está disponível. Se faltar uma trajetória, ambos os avaliadores devolvem N/A com um indicador de reprovação.

A [função de agregação](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) exclui as linhas N/A da média. Quando todas as linhas são N/A, mantém uma pontuação provisória de zero e combina os indicadores de aprovação das linhas. Por isso, o valor e o indicador têm de ser interpretados juntamente com a respetiva designação e justificação.

Quando o encaminhamento para uma competência é obrigatório, associe os avaliadores a uma verificação de carregamento por nome. Para avaliar a execução, confirme se as instruções e as provas da execução foram registadas antes de interpretar um indicador de aprovação como uma avaliação. A BIG CHANGE analisou a documentação e o código-fonte; não executou estes avaliadores.

## Sources

- [AWS: avaliar agentes com competências usando o Strands Evals e o Amazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — Guia de 22 de setembro que apresenta a distinção entre avaliadores e o fluxo de trabalho baseado em execuções registadas. Os exemplos didáticos construídos não são apresentados como incidentes.
- [Amazon Bedrock AgentCore: avaliadores de competências](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — Documenta os sinais necessários para o AgentCore, a alternativa quando falta um catálogo, as provas de seguimento de instruções na sessão completa e o comportamento sem resultados.
- [Strands Evals: avaliador da precisão da seleção de competências no commit analisado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — Código fixado: a ausência de invocação produz um resultado provisório N/A aprovado, não uma avaliação da seleção. Aplica-se ao commit analisado.
- [Strands Evals: avaliador do seguimento de instruções de competências no commit analisado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — Código fixado: a ausência de invocação, os carregamentos falhados e os corpos em falta produzem linhas N/A aprovadas; as trajetórias em falta reprovam. Estes indicadores não demonstram que as instruções foram seguidas.
- [Strands Evals: avaliador determinístico SkillInvoked no commit analisado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — Código-fonte fixado que demonstra que a verificação de uma competência identificada exige um carregamento bem-sucedido registado e distingue tentativas ausentes, falhadas ou por resolver sem recorrer a um modelo avaliador.
- [Especificação Agent Skills](https://agentskills.io/specification) — Especificação aberta sobre a estrutura do ficheiro SKILL.md e a divulgação progressiva: os metadados estão disponíveis para encaminhamento e o corpo das instruções é carregado após a ativação.
- [Strands Evals: agregação de resultados N/A no commit analisado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — A implementação da agregação exclui os resultados N/A das médias, mas conserva uma pontuação provisória de zero e os indicadores de aprovação combinados quando todas as linhas são N/A.