Eine flüssige Antwort zeigt nicht, ob ein KI-Agent das vorgeschriebene Verfahren verwendet hat. Der AWS-Leitfaden vom 22. September erklärt, wie Strands Evals und Amazon Bedrock AgentCore anhand aufgezeichneter Abläufe die Auswahl und Befolgung von Skills bewerten. Die beiden Systeme gehen unterschiedlich mit einer fehlenden Evaluation um – mit Folgen für alle, die ihre Pass-Kennzeichnungen lesen.
Die große Veränderung
- Was sich geändert hat: Diese Tools unterscheiden, ob ein Verfahren geladen wurde, zur Aufgabe passte und seine Schritte befolgt wurden.
- Warum das wichtig ist: Der geprüfte Strands-Code kann einen nicht bewerteten Fall als bestanden markieren. Eine Freigabeentscheidung, die sich nur auf dieses Kennzeichen stützt, kann übersehen, dass ein erforderlicher Skill nie geladen wurde.
- Worauf zu achten ist: Prüfe neben den Bewertungen auch die Abdeckung der Evaluation: Wurde das erwartete Laden beobachtet, und lagen für die einzelnen Aufrufe genügend aufgezeichnete Belege zur Bewertung vor?
Drei Prüfungen beantworten unterschiedliche Fragen
Die Agent-Skills-Spezifikation definiert einen Skill über eine SKILL.md-Datei. Name und Beschreibung helfen einem Agenten bei der Entscheidung, wann er den Skill verwenden soll; der Anweisungstext wird nach der Aktivierung geladen. Daher ist das erfolgreiche Laden eine andere Frage als die passende Auswahl oder Ausführung.
Prüfung | Belege und Ergebnis | Grenze |
|---|---|---|
Strands | Aufgezeichnetes erfolgreiches Laden eines benannten Skills; deterministisches Ergebnis: bestanden oder nicht bestanden | Bewertet weder die Eignung noch die Ausführung |
Auswahlgenauigkeit von AgentCore | Aufgerufener Skill, Anfrage, vorheriger Kontext und – sofern verfügbar – Katalog; Modellentscheidung mit Ja oder Nein | Bewertet nicht die Entscheidung, gar keinen Skill aufzurufen |
Befolgung von Anweisungen in AgentCore | Geladene Anweisungen und vollständige Sitzung; fünf Stufen von vollständig befolgt bis nicht befolgt | Bewertet das aufgezeichnete Befolgen der Schritte, nicht die Richtigkeit der zugrunde liegenden Arbeit |
Die festgelegte SkillInvoked Implementierung verlangt ein passendes Ladeereignis mit dem Status loaded. Ohne erfolgreiches Laden scheitert diese Prüfung bei fehlenden, fehlgeschlagenen oder ungeklärten Versuchen. Es wird kein Bewertungsmodell aufgerufen. Damit lässt sich direkt prüfen, ob ein Testfall einen bestimmten Skill voraussetzt.
AgentCore kann null Ergebnisse liefern
Laut Dokumentation von AgentCore überspringen beide Bewertungsmodelle einen Tool-Aufruf, wenn weder Aufruf noch Text aus dem Skill-Körper erkannt wird. Erkennt das System in einer Sitzung keine Skill-Aufrufe, liefert es null Ergebnisse.
Ein fehlender Katalog verhindert die Bewertung der Auswahl nicht: Der Evaluator nutzt die Anfrage und den Gesprächskontext. Zur Bewertung der Anweisungsbefolgung braucht er sowohl den aufgerufenen Skill als auch dessen geladenen Text; die ganze Sitzung dient als Beleg für die folgenden Schritte.
Strands kann eine bestandene N/A-Zeile zurückgeben
Die Prüfung des Quellcodes zeigt eine andere Darstellung in Strands Evals, Commit 9ea55c9, geprüft am 23. September. Das beschreibt diese Implementierung, nicht jede installierte SDK-Version.
Wenn ein Ablauf vorhanden ist, aber kein Skill aufgerufen wurde, gibt der Evaluator für die Auswahl eine Zeile „nicht anwendbar“ zurück: mit einem Platzhalterwert von 0.0, test_pass=true. Ob es richtig war, keinen Skill aufzurufen, liegt außerhalb des Prüfbereichs dieses Evaluators.
Auch der Evaluator zur Befolgung von Anweisungen gibt bestandene N/A-Zeilen zurück, wenn kein Skill aufgerufen, sein Laden verweigert oder sein Text nicht verfügbar war. Fehlt dagegen der Ablauf, geben beide Evaluatoren N/A mit einem falschen Pass-Kennzeichen zurück.
Ihre Aggregatfunktion lässt N/A-Zeilen aus dem Mittelwert heraus. Wenn alle Zeilen N/A sind, behält sie einen Null-Platzhalter bei und kombiniert die Pass-Kennzeichen der Zeilen. Damit Zahl und Kennzeichen richtig interpretiert werden, müssen ihre Bezeichnung und der Grund bekannt sein.
Bei vorgeschriebenem Routing sollten Teams die Bewertungsmodelle mit einer Prüfung auf das Laden eines benannten Skills kombinieren. Für die Befolgung ist zu prüfen, ob Anweisungen und Belege zur Ausführung erfasst wurden, bevor ein Pass-Kennzeichen als Bewertung gilt. BIG CHANGE hat Dokumentation und Quellcode geprüft, die Evaluatoren aber nicht ausgeführt.
