AI-translated from English; not yet reviewed by a fluent editor.

# Ein KI-Agent kann einen vorgeschriebenen Skill überspringen, ohne dass dies in der Bewertung auffällt

> Neue Evaluatoren für Skills unterscheiden zwischen Laden, Auswahl und Befolgung von Anweisungen. Was bei fehlenden Ergebnissen geschieht, zeigt: Teams müssen die Abdeckung einer Evaluation selbst als Beleg betrachten.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

Eine flüssige Antwort zeigt nicht, ob ein KI-Agent das vorgeschriebene Verfahren verwendet hat. [Der AWS-Leitfaden vom 22. September](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) erklärt, wie Strands Evals und Amazon Bedrock AgentCore anhand aufgezeichneter Abläufe die Auswahl und Befolgung von Skills bewerten. Die beiden Systeme gehen unterschiedlich mit einer fehlenden Evaluation um – mit Folgen für alle, die ihre Pass-Kennzeichnungen lesen.

## Die große Veränderung

- **Was sich geändert hat:** Diese Tools unterscheiden, ob ein Verfahren geladen wurde, zur Aufgabe passte und seine Schritte befolgt wurden.
- **Warum das wichtig ist:** Der geprüfte Strands-Code kann einen nicht bewerteten Fall als bestanden markieren. Eine Freigabeentscheidung, die sich nur auf dieses Kennzeichen stützt, kann übersehen, dass ein erforderlicher Skill nie geladen wurde.
- **Worauf zu achten ist:** Prüfe neben den Bewertungen auch die Abdeckung der Evaluation: Wurde das erwartete Laden beobachtet, und lagen für die einzelnen Aufrufe genügend aufgezeichnete Belege zur Bewertung vor?

## Drei Prüfungen beantworten unterschiedliche Fragen

Die [Agent-Skills-Spezifikation](https://agentskills.io/specification) definiert einen Skill über eine `SKILL.md`-Datei. Name und Beschreibung helfen einem Agenten bei der Entscheidung, wann er den Skill verwenden soll; der Anweisungstext wird nach der Aktivierung geladen. Daher ist das erfolgreiche Laden eine andere Frage als die passende Auswahl oder Ausführung.

| Prüfung | Belege und Ergebnis | Grenze |
| --- | --- | --- |
| Strands `SkillInvoked` | Aufgezeichnetes erfolgreiches Laden eines benannten Skills; deterministisches Ergebnis: bestanden oder nicht bestanden | Bewertet weder die Eignung noch die Ausführung |
| Auswahlgenauigkeit von AgentCore | Aufgerufener Skill, Anfrage, vorheriger Kontext und – sofern verfügbar – Katalog; Modellentscheidung mit Ja oder Nein | Bewertet nicht die Entscheidung, gar keinen Skill aufzurufen |
| Befolgung von Anweisungen in AgentCore | Geladene Anweisungen und vollständige Sitzung; fünf Stufen von vollständig befolgt bis nicht befolgt | Bewertet das aufgezeichnete Befolgen der Schritte, nicht die Richtigkeit der zugrunde liegenden Arbeit |

Die festgelegte [`SkillInvoked` Implementierung](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) verlangt ein passendes Ladeereignis mit dem Status `loaded`. Ohne erfolgreiches Laden scheitert diese Prüfung bei fehlenden, fehlgeschlagenen oder ungeklärten Versuchen. Es wird kein Bewertungsmodell aufgerufen. Damit lässt sich direkt prüfen, ob ein Testfall einen bestimmten Skill voraussetzt.

## AgentCore kann null Ergebnisse liefern

Laut [Dokumentation von AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) überspringen beide Bewertungsmodelle einen Tool-Aufruf, wenn weder Aufruf noch Text aus dem Skill-Körper erkannt wird. Erkennt das System in einer Sitzung keine Skill-Aufrufe, liefert es null Ergebnisse.

Ein fehlender Katalog verhindert die Bewertung der Auswahl nicht: Der Evaluator nutzt die Anfrage und den Gesprächskontext. Zur Bewertung der Anweisungsbefolgung braucht er sowohl den aufgerufenen Skill als auch dessen geladenen Text; die ganze Sitzung dient als Beleg für die folgenden Schritte.

## Strands kann eine bestandene N/A-Zeile zurückgeben

Die Prüfung des Quellcodes zeigt eine andere Darstellung in Strands Evals, Commit `9ea55c9`, geprüft am 23. September. Das beschreibt diese Implementierung, nicht jede installierte SDK-Version.

Wenn ein Ablauf vorhanden ist, aber kein Skill aufgerufen wurde, gibt der [Evaluator für die Auswahl](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) eine Zeile „nicht anwendbar“ zurück: mit einem Platzhalterwert von `0.0`, `test_pass=true`. Ob es richtig war, keinen Skill aufzurufen, liegt außerhalb des Prüfbereichs dieses Evaluators.

Auch der [Evaluator zur Befolgung von Anweisungen](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) gibt bestandene N/A-Zeilen zurück, wenn kein Skill aufgerufen, sein Laden verweigert oder sein Text nicht verfügbar war. Fehlt dagegen der Ablauf, geben beide Evaluatoren N/A mit einem falschen Pass-Kennzeichen zurück.

Ihre [Aggregatfunktion](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) lässt N/A-Zeilen aus dem Mittelwert heraus. Wenn alle Zeilen N/A sind, behält sie einen Null-Platzhalter bei und kombiniert die Pass-Kennzeichen der Zeilen. Damit Zahl und Kennzeichen richtig interpretiert werden, müssen ihre Bezeichnung und der Grund bekannt sein.

Bei vorgeschriebenem Routing sollten Teams die Bewertungsmodelle mit einer Prüfung auf das Laden eines benannten Skills kombinieren. Für die Befolgung ist zu prüfen, ob Anweisungen und Belege zur Ausführung erfasst wurden, bevor ein Pass-Kennzeichen als Bewertung gilt. BIG CHANGE hat Dokumentation und Quellcode geprüft, die Evaluatoren aber nicht ausgeführt.

## Sources

- [AWS: Agenten mit Skills mithilfe von Strands Evals und Amazon Bedrock AgentCore bewerten](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — Leitfaden vom 22. September zur Aufteilung der Evaluatoren und zum Ablauf mit aufgezeichneten Durchläufen. Die konstruierten Beispiele des Tutorials sind keine Berichte über Vorfälle.
- [Amazon Bedrock AgentCore: Evaluatoren für Skills](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — Dokumentiert die erforderlichen Signale für AgentCore, den Rückgriff ohne Katalog, den vollständigen Sitzungsverlauf als Beleg für Anweisungsbefolgung und Fälle ohne Ergebnisse.
- [Strands Evals: Evaluator zur Genauigkeit der Skill-Auswahl im geprüften Commit](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — Fixierter Code: Ohne Skill-Aufruf wird ein bestandener N/A-Platzhalter zurückgegeben, keine bewertete Auswahl. Gilt für den geprüften Commit.
- [Strands Evals: Evaluator zur Befolgung von Skill-Anweisungen im geprüften Commit](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — Fixierter Code: Ohne Aufruf, bei fehlgeschlagenem Laden oder fehlendem Anweisungstext werden bestandene N/A-Zeilen ausgegeben; ein fehlender Ablauf führt zum Nichtbestehen. Diese Kennzeichen belegen keine Befolgung.
- [Strands Evals: Deterministischer Evaluator SkillInvoked im geprüften Commit](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — Quellcode des geprüften Commits: Die Prüfung auf einen benannten Skill-Aufruf erfordert ein aufgezeichnetes erfolgreiches Laden und unterscheidet fehlende, fehlgeschlagene und ungeklärte Versuche – ohne Bewertungsmodell.
- [Agent-Skills-Spezifikation](https://agentskills.io/specification) — Offene Spezifikation für den Aufbau einer SKILL.md-Datei und die schrittweise Offenlegung: Metadaten stehen für die Auswahl bereit; der Anweisungstext wird erst nach der Aktivierung geladen.
- [Strands Evals: N/A-Aggregation im geprüften Commit](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — Die Aggregatimplementierung schließt N/A-Zeilen aus dem bewerteten Mittelwert aus. Wenn alle Zeilen N/A sind, behält sie jedoch den Null-Platzhalter und kombiniert die Pass-Kennzeichen.