Un agent d’IA peut ignorer une compétence requise sans laisser de score

Une réponse fluide ne prouve pas qu’un agent d’IA a suivi la procédure requise. Le guide AWS du 22 septembre explique comment Strands Evals et Amazon Bedrock AgentCore évaluent la sélection des compétences et le suivi des consignes à partir d’exécutions enregistrées. Les deux systèmes traitent différemment une évaluation absente, ce qui a des conséquences pour quiconque interprète leurs indicateurs de réussite.

Le grand changement

• Ce qui a changé : Ces outils distinguent trois questions : la procédure a-t-elle été chargée, convenait-elle à la tâche et ses étapes ont-elles été suivies ?
• Pourquoi c’est important : Dans le code Strands examiné, un cas non évalué peut être marqué comme réussi. Une décision de mise en production fondée uniquement sur cet indicateur peut laisser passer le fait qu’une compétence requise n’a jamais été chargée.
• À surveiller : Examinez la couverture de l’évaluation en même temps que les scores : quels chargements attendus ont été observés et quelles invocations disposaient d’éléments enregistrés suffisants pour être évaluées ?

Trois vérifications répondent à des questions différentes

La spécification Agent Skills définit une compétence à partir d’un fichier SKILL.md. Son nom et sa description aident un agent à décider quand l’utiliser ; son corps d’instructions est chargé après son activation. Cette séparation distingue le bon chargement de la sélection appropriée ou de la bonne exécution.

L’implémentation figée SkillInvoked de Strands exige un événement de chargement correspondant avec le statut loaded. Sans chargement réussi, les tentatives absentes, échouées ou non résolues font échouer cette assertion. Aucun modèle évaluateur n’est appelé. C’est une vérification directe lorsqu’un scénario de test exige une compétence donnée.

AgentCore peut ne produire aucun résultat

D’après la documentation d’AgentCore, les deux évaluateurs ignorent un appel d’outil si ni l’invocation ni le corps de la compétence ne sont détectés. Une session sans invocation détectée de compétence ne produit aucun résultat.

L’absence de catalogue n’interrompt pas l’évaluation de la sélection : l’évaluateur utilise la requête et le contexte de la conversation. Le suivi des consignes nécessite la compétence invoquée et son corps chargé ; la session complète fournit les éléments sur les étapes suivantes.

Strands peut renvoyer une ligne N/A considérée comme réussie

L’examen du code source révèle une représentation différente dans le commit 9ea55c9, examiné le 23 septembre. Cette description concerne cette implémentation, et non toutes les versions installées du SDK.

Lorsqu’une trajectoire est présente mais qu’aucune compétence n’a été invoquée, l’évaluateur de sélection renvoie une ligne non applicable : score provisoire 0.0, test_pass=true. La pertinence du choix de ne pas utiliser de compétence ne relève pas du champ de cet évaluateur.

L’évaluateur du suivi des consignes renvoie également des lignes N/A considérées comme réussies en l’absence d’invocation, si le chargement a été refusé ou si le corps de la compétence est indisponible. En revanche, l’absence de trajectoire produit dans les deux évaluateurs un résultat N/A avec un indicateur de réussite faux.

Leur fonction d’agrégation exclut les lignes N/A de la moyenne. Lorsque toutes les lignes sont N/A, elle conserve un zéro provisoire et combine leurs indicateurs de réussite. Le nombre et l’indicateur doivent donc être interprétés avec leur libellé et le motif associé.

Pour vérifier le routage obligatoire, combinez les évaluateurs à une assertion de chargement d’une compétence nommée. Pour contrôler le suivi, vérifiez que les consignes et les éléments d’exécution ont bien été enregistrés avant d’interpréter un indicateur de réussite comme un jugement. BIG CHANGE a examiné la documentation et le code source ; il n’a pas exécuté ces évaluateurs.