Беглый ответ не показывает, воспользовался ли ИИ-агент требуемой процедурой. В руководстве AWS от 22 сентября объясняется, как Strands Evals и Amazon Bedrock AgentCore проверяют выбор навыков и следование инструкциям по записанным запускам. Эти системы по-разному обрабатывают отсутствие оценки, что важно учитывать при чтении их флагов успешного прохождения.

Главное изменение

  • Что изменилось: Эти инструменты различают, загрузилась ли процедура, подходила ли она задаче и были ли выполнены её шаги.
  • Почему это важно: Рассмотренный код Strands может засчитать непроверенный случай как успешный. Решение о выпуске продукта, основанное только на таком флаге, может не заметить, что обязательный навык не загрузился.
  • За чем следить: Проверяйте полноту оценки наряду с баллами: какие ожидаемые загрузки зафиксированы и для каких вызовов сохранилось достаточно данных, чтобы вынести оценку.

Три проверки отвечают на разные вопросы

Спецификация Agent Skills описывает навык через файл SKILL.md. Его имя и описание помогают агенту решить, когда использовать навык; текст инструкций загружается после активации. Поэтому успешную загрузку нужно оценивать отдельно от выбора подходящего навыка и выполнения его указаний.

Проверка

Данные и результат

Ограничение

Strands SkillInvoked

Зафиксированная успешная загрузка навыка с указанным именем; детерминированный результат «успех» или «неуспех»

Не оценивает, подходил ли навык задаче и были ли выполнены его инструкции

Точность выбора в AgentCore

Вызванный навык, запрос, предшествующий контекст и, если доступен, каталог; оценка модели «да» или «нет»

Не оценивает решение не вызывать никакие навыки

Следование инструкциям в AgentCore

Загруженные инструкции и полная сессия; пять уровней — от полного следования до несоблюдения

Оценивается следование зафиксированным шагам, а не правильность самой работы.

В закреплённом коммите SkillInvoked реализация требует соответствующего события загрузки со статусом loaded. Если успешной загрузки нет, это условие не выполняется для отсутствующей, неудачной или неразрешённой попытки. Модель-судья не вызывается. Такой способ напрямую проверяет, был ли загружен конкретный навык, требуемый тестовым сценарием.

AgentCore может вернуть ноль результатов

Согласно документации AgentCore, оба средства оценки пропускают вызов инструмента, если не обнаружили сигналов ни о вызове навыка, ни о его тексте инструкций. Если в сессии не обнаружено вызовов навыков, результатом будет ноль оценок.

Отсутствие каталога не мешает оценке выбора: средство использует запрос и контекст беседы. Для проверки следования инструкциям нужны и вызванный навык, и его загруженный текст, а полная сессия предоставляет данные о последующих шагах.

В Strands можно получить строку N/A с отметкой об успехе

Проверка исходного кода выявила иной формат результата в коммите Strands Evals 9ea55c9, проверенном 23 сентября. Это описание данной реализации, а не всех установленных версий SDK.

Если запись последовательности действий есть, но вызова навыка не было, средство оценки точности выбора возвращает строку «не применимо»: подстановочный балл 0.0, test_pass=true. Вопрос о том, было ли правильным решение не использовать навык, выходит за рамки этой проверки.

Средство оценки следования инструкциям также возвращает строки N/A с отметкой об успехе, если навык не вызывался, загрузка была отклонена или текст инструкций недоступен. При отсутствии записи последовательности оба средства возвращают N/A с отрицательным флагом успеха.

Функция агрегации исключает строки N/A из среднего балла. Если все строки имеют статус N/A, она сохраняет подстановочный ноль и объединяет флаги успешности строк. Поэтому число и флаг следует интерпретировать вместе с их меткой и причиной.

Для проверки обязательного выбора навыка дополните средства оценки утверждением об успешной загрузке конкретного навыка. Для соблюдения инструкций проверьте, были ли записаны текст инструкций и данные о выполнении, прежде чем считать положительный флаг полноценной оценкой. BIG CHANGE изучила документацию и исходный код, но не запускала эти средства оценки.