Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# ИИ-агент может пропустить обязательный навык и не оставить оценки

> Новые средства оценки навыков разделяют их загрузку, выбор и следование инструкциям. То, как они обрабатывают отсутствие результата, показывает: командам нужно отдельно учитывать полноту оценки.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

Беглый ответ не показывает, воспользовался ли ИИ-агент требуемой процедурой. В [руководстве AWS от 22 сентября](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) объясняется, как Strands Evals и Amazon Bedrock AgentCore проверяют выбор навыков и следование инструкциям по записанным запускам. Эти системы по-разному обрабатывают отсутствие оценки, что важно учитывать при чтении их флагов успешного прохождения.

## Главное изменение

- **Что изменилось:** Эти инструменты различают, загрузилась ли процедура, подходила ли она задаче и были ли выполнены её шаги.
- **Почему это важно:** Рассмотренный код Strands может засчитать непроверенный случай как успешный. Решение о выпуске продукта, основанное только на таком флаге, может не заметить, что обязательный навык не загрузился.
- **За чем следить:** Проверяйте полноту оценки наряду с баллами: какие ожидаемые загрузки зафиксированы и для каких вызовов сохранилось достаточно данных, чтобы вынести оценку.

## Три проверки отвечают на разные вопросы

Спецификация [Agent Skills](https://agentskills.io/specification) описывает навык через файл `SKILL.md`. Его имя и описание помогают агенту решить, когда использовать навык; текст инструкций загружается после активации. Поэтому успешную загрузку нужно оценивать отдельно от выбора подходящего навыка и выполнения его указаний.

| Проверка | Данные и результат | Ограничение |
| --- | --- | --- |
| Strands `SkillInvoked` | Зафиксированная успешная загрузка навыка с указанным именем; детерминированный результат «успех» или «неуспех» | Не оценивает, подходил ли навык задаче и были ли выполнены его инструкции |
| Точность выбора в AgentCore | Вызванный навык, запрос, предшествующий контекст и, если доступен, каталог; оценка модели «да» или «нет» | Не оценивает решение не вызывать никакие навыки |
| Следование инструкциям в AgentCore | Загруженные инструкции и полная сессия; пять уровней — от полного следования до несоблюдения | Оценивается следование зафиксированным шагам, а не правильность самой работы. |

В закреплённом коммите [`SkillInvoked` реализация](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) требует соответствующего события загрузки со статусом `loaded`. Если успешной загрузки нет, это условие не выполняется для отсутствующей, неудачной или неразрешённой попытки. Модель-судья не вызывается. Такой способ напрямую проверяет, был ли загружен конкретный навык, требуемый тестовым сценарием.

## AgentCore может вернуть ноль результатов

Согласно [документации AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), оба средства оценки пропускают вызов инструмента, если не обнаружили сигналов ни о вызове навыка, ни о его тексте инструкций. Если в сессии не обнаружено вызовов навыков, результатом будет ноль оценок.

Отсутствие каталога не мешает оценке выбора: средство использует запрос и контекст беседы. Для проверки следования инструкциям нужны и вызванный навык, и его загруженный текст, а полная сессия предоставляет данные о последующих шагах.

## В Strands можно получить строку N/A с отметкой об успехе

Проверка исходного кода выявила иной формат результата в коммите Strands Evals `9ea55c9`, проверенном 23 сентября. Это описание данной реализации, а не всех установленных версий SDK.

Если запись последовательности действий есть, но вызова навыка не было, средство оценки [точности выбора](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) возвращает строку «не применимо»: подстановочный балл `0.0`, `test_pass=true`. Вопрос о том, было ли правильным решение не использовать навык, выходит за рамки этой проверки.

Средство оценки [следования инструкциям](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) также возвращает строки N/A с отметкой об успехе, если навык не вызывался, загрузка была отклонена или текст инструкций недоступен. При отсутствии записи последовательности оба средства возвращают N/A с отрицательным флагом успеха.

Функция [агрегации](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) исключает строки N/A из среднего балла. Если все строки имеют статус N/A, она сохраняет подстановочный ноль и объединяет флаги успешности строк. Поэтому число и флаг следует интерпретировать вместе с их меткой и причиной.

Для проверки обязательного выбора навыка дополните средства оценки утверждением об успешной загрузке конкретного навыка. Для соблюдения инструкций проверьте, были ли записаны текст инструкций и данные о выполнении, прежде чем считать положительный флаг полноценной оценкой. BIG CHANGE изучила документацию и исходный код, но не запускала эти средства оценки.

## Sources

- [AWS: оценка агентов с навыками с помощью Strands Evals и Amazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — Руководство от 22 сентября описывает разделение средств оценки и рабочий процесс на основе записанных запусков. Приведённые в учебном примере ситуации сконструированы и не являются сообщениями о реальных происшествиях.
- [Amazon Bedrock AgentCore: средства оценки навыков](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — Документация описывает требуемые сигналы, запасной режим без каталога, использование полной сессии для оценки инструкций и случаи с нулевым результатом.
- [Strands Evals: средство оценки точности выбора навыка в проверенном коммите](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — Закреплённый коммит кода: отсутствие вызова даёт подстановочную строку N/A с отметкой об успехе, а не оценённое решение о выборе навыка. Вывод относится к этому проверенному коммиту.
- [Strands Evals: средство оценки следования инструкциям навыка в проверенном коммите](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — Закреплённый коммит кода: отсутствие вызова, неудачная загрузка или отсутствие текста инструкций дают строки N/A с отметкой об успехе; отсутствие записи последовательности приводит к неуспеху. Эти флаги не доказывают соблюдение инструкций.
- [Strands Evals: детерминированная проверка SkillInvoked в проверенном коммите](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — Закреплённый исходный код показывает, что проверка вызова навыка с заданным именем требует зафиксированной успешной загрузки и без судьи-модели различает отсутствующую, неудачную и неразрешённую попытки.
- [Спецификация Agent Skills](https://agentskills.io/specification) — Открытая спецификация структуры файла SKILL.md и поэтапного раскрытия: метаданные доступны для выбора навыка, а тело инструкций загружается после его активации.
- [Strands Evals: агрегация результатов N/A в проверенном коммите](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — Реализация агрегации исключает N/A из среднего балла за оценённые случаи, но если все строки имеют N/A, сохраняет подстановочный ноль и объединённые флаги успешности.