Uma resposta fluente não demonstra que um agente de IA utilizou o procedimento exigido. O guia da AWS de 22 de setembro explica como o Strands Evals e o Amazon Bedrock AgentCore avaliam a seleção de competências e o seguimento de instruções com base em execuções registadas. Os dois sistemas tratam de forma diferente a ausência de uma avaliação, com consequências para quem interpreta os respetivos indicadores de aprovação.
A grande mudança
- O que mudou: Estas ferramentas distinguem se um procedimento foi carregado, se era adequado à tarefa e se os respetivos passos foram seguidos.
- Porque é importante: O código analisado do Strands pode assinalar como aprovado um caso que não foi avaliado. Uma decisão de lançamento baseada apenas nesse indicador pode ignorar uma competência obrigatória que nunca chegou a ser carregada.
- O que acompanhar: Analise a cobertura da avaliação juntamente com as pontuações: que carregamentos previstos foram observados e que execuções tiveram provas registadas suficientes para serem avaliadas.
Três verificações respondem a perguntas diferentes
A especificação Agent Skills define uma competência com base num ficheiro SKILL.md. O nome e a descrição ajudam o agente a decidir quando a deve utilizar; o corpo das instruções é carregado após a ativação. Por isso, o carregamento bem-sucedido é uma questão distinta da seleção ou execução adequadas.
Verificação | Prova e resultado | Limite |
|---|---|---|
Strands | Carregamento bem-sucedido de uma competência identificada, registado; aprovação ou reprovação determinística | Não avalia a adequação nem a execução |
Precisão da seleção no AgentCore | Competência invocada, pedido, contexto anterior e catálogo, quando disponíveis; avaliação do modelo com resposta Sim ou Não | Não avalia a decisão de não invocar nenhuma competência |
Seguimento de instruções no AgentCore | Instruções carregadas e sessão completa; cinco níveis, desde seguimento integral até ausência de seguimento | Avalia se os passos registados foram seguidos, não se o trabalho subjacente está correto |
A implementação do avaliador SkillInvoked (fixada) exige um evento de carregamento correspondente com o estado loaded. Sem um carregamento bem-sucedido, as tentativas ausentes, falhadas ou por resolver reprovam esta verificação. Não é chamado nenhum modelo avaliador. Esta é uma verificação direta quando um caso de teste exige uma competência específica.
O AgentCore pode não produzir qualquer resultado
Segundo a documentação do AgentCore, ambos os avaliadores ignoram a chamada à ferramenta quando não detetam nem uma invocação nem sinais no corpo da competência. Uma sessão sem invocações de competências detetadas produz zero resultados.
A ausência de um catálogo não impede a avaliação da seleção: o avaliador utiliza o pedido e o contexto da conversa. Para avaliar o seguimento de instruções, é necessária tanto a competência invocada como o respetivo corpo carregado; a sessão completa fornece provas dos passos seguintes.
O Strands pode devolver uma linha N/A aprovada
A análise do código revela uma representação diferente no commit 9ea55c9, analisado a 23 de setembro. Esta descrição diz respeito a essa implementação, não a todas as versões instaladas do SDK.
Quando existe uma trajetória, mas não houve invocação, o avaliador de seleção devolve uma linha não aplicável: pontuação provisória 0.0, test_pass=true. Determinar se foi correto não utilizar uma competência está fora do âmbito desse avaliador.
O avaliador do seguimento de instruções também devolve linhas N/A aprovadas quando não há invocação, o carregamento é recusado ou o corpo das instruções não está disponível. Se faltar uma trajetória, ambos os avaliadores devolvem N/A com um indicador de reprovação.
A função de agregação exclui as linhas N/A da média. Quando todas as linhas são N/A, mantém uma pontuação provisória de zero e combina os indicadores de aprovação das linhas. Por isso, o valor e o indicador têm de ser interpretados juntamente com a respetiva designação e justificação.
Quando o encaminhamento para uma competência é obrigatório, associe os avaliadores a uma verificação de carregamento por nome. Para avaliar a execução, confirme se as instruções e as provas da execução foram registadas antes de interpretar um indicador de aprovação como uma avaliação. A BIG CHANGE analisou a documentação e o código-fonte; não executou estes avaliadores.
