Uma resposta fluente não mostra se um agente de IA usou o procedimento exigido. O guia da AWS, publicado em 22 de setembro, explica como o Strands Evals e o Amazon Bedrock AgentCore avaliam a seleção de habilidades e o cumprimento de instruções com base em execuções registradas. Os dois sistemas tratam de forma diferente a ausência de uma avaliação, o que afeta quem interpreta seus indicadores de aprovação.
A grande mudança
- O que mudou: Essas ferramentas distinguem se um procedimento foi carregado, se era adequado à tarefa e se suas etapas foram seguidas.
- Por que isso importa: O código do Strands analisado pode marcar como aprovado um caso que não foi avaliado. Uma decisão de lançamento baseada apenas nesse indicador pode deixar passar uma habilidade obrigatória que nunca foi carregada.
- O que observar: Confira a cobertura da avaliação junto com as notas: quais carregamentos esperados foram observados e quais chamadas tinham evidências registradas suficientes para serem avaliadas.
Três verificações respondem a perguntas diferentes
A especificação Agent Skills define uma habilidade a partir de um arquivo SKILL.md. O nome e a descrição ajudam o agente a decidir quando usá-la; o corpo das instruções é carregado após a ativação. Por isso, verificar se o carregamento ocorreu é diferente de avaliar se a seleção ou a execução foi adequada.
Verificação | Evidências e resultado | Limitação |
|---|---|---|
Strands | Carregamento bem-sucedido e registrado de uma habilidade identificada; aprovação ou reprovação determinística | Não avalia a adequação nem a execução |
Precisão da seleção no AgentCore | Habilidade invocada, solicitação, contexto anterior e catálogo, quando disponível; avaliação do modelo como “sim” ou “não” | Não avalia a decisão de não invocar nenhuma habilidade |
Cumprimento de instruções no AgentCore | Instruções carregadas e sessão completa; cinco níveis, de totalmente seguido a não seguido | Avalia se as etapas registradas foram seguidas, não se o trabalho em si está correto |
A implementação fixada do avaliador SkillInvoked no Strands Evals exige um evento de carregamento correspondente com status loaded. Sem carregamento bem-sucedido, tentativas ausentes, malsucedidas ou não resolvidas reprovam essa verificação. Nenhum modelo avaliador é chamado. Isso oferece uma verificação direta quando um caso de teste exige uma habilidade específica.
O AgentCore pode não gerar nenhum resultado
Segundo a documentação do AgentCore, os dois avaliadores ignoram uma chamada de ferramenta quando não detectam sinais de invocação nem de conteúdo de uma habilidade. Uma sessão sem invocações de habilidades detectadas não gera resultados.
A ausência de um catálogo não impede a avaliação da seleção: o avaliador usa a solicitação e o contexto da conversa. Para avaliar o cumprimento das instruções, são necessários tanto a habilidade invocada quanto o conteúdo carregado, e a sessão completa fornece evidências das etapas seguintes.
O Strands pode retornar uma linha N/A aprovada
A análise do código revela uma representação diferente no commit 9ea55c9, inspecionado em 23 de setembro. Isso descreve essa implementação, não todas as versões instaladas do SDK.
Quando há uma trajetória, mas nenhuma invocação, o avaliador de seleção retorna uma linha não aplicável: a nota substituta é 0.0, test_pass=true. Saber se foi correto não usar uma habilidade está fora do escopo desse avaliador.
O avaliador de cumprimento de instruções também retorna linhas N/A aprovadas quando não há invocação, o carregamento falha ou o conteúdo não está disponível. Já uma trajetória ausente retorna N/A com indicador de aprovação falso nos dois avaliadores.
A função de agregação exclui linhas N/A da média. Quando todas as linhas são N/A, mantém uma nota substituta igual a zero e combina os indicadores de aprovação das linhas. Portanto, é preciso interpretar o número e o indicador considerando seu rótulo e o motivo.
Para rotas obrigatórias, combine os avaliadores com uma verificação de carregamento por nome. Para avaliar a adesão, confirme se as instruções e evidências da execução foram registradas antes de tratar um indicador de aprovação como julgamento. A BIG CHANGE analisou a documentação e o código-fonte; não executou esses avaliadores.
