Édition Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Un agent d’IA peut ignorer une compétence requise sans laisser de score

> Les évaluateurs de compétences distinguent le chargement, la sélection et le suivi des consignes. La façon dont ils traitent l’absence de résultat montre pourquoi les équipes doivent considérer la couverture de l’évaluation comme une preuve à part entière.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

Une réponse fluide ne prouve pas qu’un agent d’IA a suivi la procédure requise. [Le guide AWS du 22 septembre](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) explique comment Strands Evals et Amazon Bedrock AgentCore évaluent la sélection des compétences et le suivi des consignes à partir d’exécutions enregistrées. Les deux systèmes traitent différemment une évaluation absente, ce qui a des conséquences pour quiconque interprète leurs indicateurs de réussite.

## Le grand changement

- **Ce qui a changé :** Ces outils distinguent trois questions : la procédure a-t-elle été chargée, convenait-elle à la tâche et ses étapes ont-elles été suivies ?
- **Pourquoi c’est important :** Dans le code Strands examiné, un cas non évalué peut être marqué comme réussi. Une décision de mise en production fondée uniquement sur cet indicateur peut laisser passer le fait qu’une compétence requise n’a jamais été chargée.
- **À surveiller :** Examinez la couverture de l’évaluation en même temps que les scores : quels chargements attendus ont été observés et quelles invocations disposaient d’éléments enregistrés suffisants pour être évaluées ?

## Trois vérifications répondent à des questions différentes

La [spécification Agent Skills](https://agentskills.io/specification) définit une compétence à partir d’un fichier `SKILL.md`. Son nom et sa description aident un agent à décider quand l’utiliser ; son corps d’instructions est chargé après son activation. Cette séparation distingue le bon chargement de la sélection appropriée ou de la bonne exécution.

| Vérification | Éléments et résultat | Limite |
| --- | --- | --- |
| Strands `SkillInvoked` | Chargement réussi d’une compétence nommée, enregistré ; réussite ou échec déterministes | N’évalue ni la pertinence de la compétence ni son exécution |
| Précision de sélection d’AgentCore | Compétence invoquée, requête, contexte antérieur et catalogue s’il est disponible ; jugement du modèle par Oui ou Non | N’évalue pas la décision de ne rien invoquer |
| Suivi des consignes dans AgentCore | Instructions chargées et session complète ; cinq niveaux, de consignes entièrement suivies à non suivies | Évalue le suivi des étapes enregistrées, pas l’exactitude du travail sous-jacent |

L’implémentation figée [`SkillInvoked` de Strands](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) exige un événement de chargement correspondant avec le statut `loaded`. Sans chargement réussi, les tentatives absentes, échouées ou non résolues font échouer cette assertion. Aucun modèle évaluateur n’est appelé. C’est une vérification directe lorsqu’un scénario de test exige une compétence donnée.

## AgentCore peut ne produire aucun résultat

D’après la [documentation d’AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), les deux évaluateurs ignorent un appel d’outil si ni l’invocation ni le corps de la compétence ne sont détectés. Une session sans invocation détectée de compétence ne produit aucun résultat.

L’absence de catalogue n’interrompt pas l’évaluation de la sélection : l’évaluateur utilise la requête et le contexte de la conversation. Le suivi des consignes nécessite la compétence invoquée et son corps chargé ; la session complète fournit les éléments sur les étapes suivantes.

## Strands peut renvoyer une ligne N/A considérée comme réussie

L’examen du code source révèle une représentation différente dans le commit `9ea55c9`, examiné le 23 septembre. Cette description concerne cette implémentation, et non toutes les versions installées du SDK.

Lorsqu’une trajectoire est présente mais qu’aucune compétence n’a été invoquée, l’[évaluateur de sélection](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) renvoie une ligne non applicable : score provisoire `0.0`, `test_pass=true`. La pertinence du choix de ne pas utiliser de compétence ne relève pas du champ de cet évaluateur.

L’[évaluateur du suivi des consignes](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) renvoie également des lignes N/A considérées comme réussies en l’absence d’invocation, si le chargement a été refusé ou si le corps de la compétence est indisponible. En revanche, l’absence de trajectoire produit dans les deux évaluateurs un résultat N/A avec un indicateur de réussite faux.

Leur [fonction d’agrégation](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) exclut les lignes N/A de la moyenne. Lorsque toutes les lignes sont N/A, elle conserve un zéro provisoire et combine leurs indicateurs de réussite. Le nombre et l’indicateur doivent donc être interprétés avec leur libellé et le motif associé.

Pour vérifier le routage obligatoire, combinez les évaluateurs à une assertion de chargement d’une compétence nommée. Pour contrôler le suivi, vérifiez que les consignes et les éléments d’exécution ont bien été enregistrés avant d’interpréter un indicateur de réussite comme un jugement. BIG CHANGE a examiné la documentation et le code source ; il n’a pas exécuté ces évaluateurs.

## Sources

- [AWS : évaluer les agents dotés de compétences avec Strands Evals et Amazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — Guide du 22 septembre présentant la séparation entre les évaluateurs et le processus fondé sur des exécutions enregistrées. Les exemples construits du tutoriel ne sont pas présentés comme des incidents réels.
- [Amazon Bedrock AgentCore : évaluateurs de compétences](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — Documente les signaux requis par AgentCore, la solution de repli en l’absence de catalogue, les éléments tirés de la session complète pour évaluer le suivi et le comportement sans résultat.
- [Strands Evals : évaluateur de précision de sélection des compétences au commit examiné](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — Code figé : sans invocation, l’évaluateur produit une ligne N/A considérée comme réussie, et non une sélection évaluée. Cela vaut pour le commit examiné.
- [Strands Evals : évaluateur de suivi des consignes d’une compétence au commit examiné](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — Code figé : sans invocation, en cas d’échec du chargement ou en l’absence du corps de la compétence, il renvoie des lignes N/A considérées comme réussies ; l’absence de trajectoire entraîne un échec. Ces indicateurs ne prouvent pas que les consignes ont été suivies.
- [Strands Evals : évaluateur déterministe SkillInvoked au commit examiné](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — Code source figé montrant que l’assertion portant sur une compétence nommée exige un événement de chargement réussi enregistré et distingue les tentatives absentes, échouées ou non résolues sans faire appel à un modèle évaluateur.
- [Spécification Agent Skills](https://agentskills.io/specification) — Spécification ouverte décrivant la structure de SKILL.md et la divulgation progressive : les métadonnées servent au routage, tandis que le corps d’instructions est chargé après l’activation.
- [Strands Evals : agrégation des résultats N/A au commit examiné](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — L’implémentation d’agrégation exclut les résultats N/A des moyennes notées, mais conserve un zéro provisoire et combine les indicateurs de réussite lorsque toutes les lignes sont N/A.