AI-translated from English; not yet reviewed by a fluent editor.
# Un agente de IA puede omitir una habilidad obligatoria y no dejar ninguna puntuación
> Los evaluadores de habilidades separan la carga, la selección y el seguimiento de instrucciones. El modo en que gestionan la ausencia de resultados muestra por qué los equipos deben tratar la cobertura de la evaluación como evidencia independiente.
By BIG CHANGE Editorial
Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.
Una respuesta fluida no demuestra que un agente de IA haya seguido el procedimiento requerido. [La guía de AWS del 22 de septiembre](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) explica cómo Strands Evals y Amazon Bedrock AgentCore evalúan la selección de habilidades y el seguimiento de instrucciones a partir de ejecuciones registradas. Los dos sistemas gestionan de forma distinta la ausencia de una evaluación, lo que afecta a quienes interpretan sus indicadores de aprobado.
## El gran cambio
- **Qué cambió:** Estas herramientas distinguen si un procedimiento se cargó, si era adecuado para la tarea y si se siguieron sus pasos.
- **Por qué importa:** El código de Strands inspeccionado puede marcar como aprobado un caso que no se ha evaluado. Una decisión de lanzamiento basada únicamente en ese indicador puede pasar por alto una habilidad obligatoria que nunca llegó a cargarse.
- **Qué observar:** Comprueba la cobertura de la evaluación junto con las puntuaciones: qué cargas previstas se observaron y qué invocaciones aportaron suficiente evidencia registrada para evaluarlas.
## Tres comprobaciones responden a preguntas distintas
La [especificación de Agent Skills](https://agentskills.io/specification) define una habilidad a partir del archivo `SKILL.md` (de instrucciones). Su nombre y descripción ayudan al agente a decidir cuándo usarla; el cuerpo de instrucciones se carga tras la activación. Por eso, confirmar que se cargó es distinto de determinar si se seleccionó o ejecutó adecuadamente.
| Comprobación | Evidencia y resultado | Límite |
| --- | --- | --- |
| Strands `SkillInvoked` | Carga registrada y satisfactoria de una habilidad concreta; aprobado o suspenso determinista | No evalúa si era adecuada ni si se ejecutó |
| Precisión de selección de AgentCore | Habilidad invocada, solicitud, contexto previo y catálogo cuando está disponible; el modelo determina Sí o No | No evalúa la decisión de no invocar ninguna habilidad |
| Seguimiento de instrucciones de AgentCore | Instrucciones cargadas y sesión completa; cinco niveles, desde seguimiento pleno hasta incumplimiento | Evalúa el seguimiento registrado de los pasos, no la corrección del trabajo subyacente |
La implementación fijada del evaluador [`SkillInvoked` requiere](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) una carga coincidente con el estado `loaded` como satisfactorio. Si no hay una carga satisfactoria, esta aserción falla cuando el intento está ausente, ha fallado o sigue sin resolverse. No se llama a ningún modelo evaluador. Así se obtiene una comprobación directa cuando un caso de prueba exige una habilidad específica.
## AgentCore puede no producir ningún resultado
Según la [documentación de AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), ambos evaluadores omiten una llamada a herramienta si no detectan señales ni de invocación ni del cuerpo de la habilidad. Una sesión sin invocaciones detectadas produce cero resultados.
La ausencia de un catálogo no impide evaluar la selección: el evaluador usa la solicitud y el contexto de la conversación. Para evaluar el seguimiento de instrucciones se necesitan tanto la habilidad invocada como su cuerpo cargado; la sesión completa aporta evidencia de los pasos posteriores.
## Strands puede devolver una fila N/A aprobada
La revisión del código revela otra representación en el commit de Strands Evals `9ea55c9`, inspeccionado el 23 de septiembre. Esto describe esa implementación, no todas las versiones instaladas del SDK.
Si hay una trayectoria, pero no una invocación, el [evaluador de selección](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) devuelve una fila no aplicable: una puntuación provisional de `0.0`, `test_pass=true`. La evaluación no determina si fue correcto abstenerse de usar una habilidad; esa cuestión queda fuera de su alcance.
El [evaluador de seguimiento de instrucciones](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) también devuelve filas N/A aprobadas cuando no hay invocación, se rechaza la carga o el cuerpo no está disponible. Si falta la trayectoria, ambos evaluadores devuelven N/A con el indicador de aprobado en falso.
Su [función de agregación](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) excluye las filas N/A del promedio. Si todas son N/A, conserva una puntuación provisional de cero y combina sus indicadores de aprobado. Para interpretar correctamente la cifra y el indicador hay que conocer su etiqueta y el motivo.
Para comprobar el enrutamiento obligatorio, combina los evaluadores con una aserción de carga de una habilidad concreta. Para evaluar la adherencia, comprueba si se registraron las instrucciones y la evidencia de ejecución antes de interpretar un indicador de aprobado como una evaluación. BIG CHANGE revisó la documentación y el código fuente; no ejecutó estos evaluadores.
## Sources
- [AWS: Evalúa agentes con habilidades mediante Strands Evals y Amazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — Guía del 22 de septiembre que presenta la separación entre evaluadores y el flujo de trabajo con ejecuciones registradas. Los ejemplos didácticos construidos no son informes de incidentes.
- [Amazon Bedrock AgentCore: Evaluadores de habilidades](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — Documenta los requisitos de señales de AgentCore, el uso del contexto como alternativa cuando no hay catálogo, la evidencia de instrucciones en la sesión completa y el comportamiento de cero resultados.
- [Strands Evals: Evaluador de precisión de selección de habilidades en el commit inspeccionado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — Código fijado a un commit: si no hay invocación, produce un marcador N/A aprobado, no una selección evaluada. Se aplica al commit inspeccionado.
- [Strands Evals: Evaluador de seguimiento de instrucciones de habilidades en el commit inspeccionado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — Código fijado a un commit: la ausencia de invocación, las cargas fallidas y los cuerpos ausentes producen filas N/A aprobadas; la falta de trayectorias suspende. Estos indicadores no demuestran adherencia.
- [Strands Evals: Evaluador determinista SkillInvoked en el commit inspeccionado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — Código fuente fijado a un commit que muestra que la aserción de una habilidad concreta requiere una carga satisfactoria registrada y distingue los intentos ausentes, fallidos y sin resolver sin recurrir a un modelo evaluador.
- [Especificación de Agent Skills](https://agentskills.io/specification) — Especificación abierta sobre la estructura de SKILL.md y la divulgación progresiva: los metadatos están disponibles para el enrutamiento, mientras que el cuerpo de instrucciones se carga tras la activación.
- [Strands Evals: Agregación de resultados N/A en el commit inspeccionado](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — La implementación de agregación excluye los resultados N/A de los promedios puntuados, pero conserva una puntuación provisional de cero y combina los indicadores de aprobado cuando todos los resultados son N/A.
El boletín de BIG CHANGE
La visión global, a tu ritmo.
Historias recientes sobre IA y robótica, cambios que vale la pena observar e ideas prácticas para usar. Elige un informe diario, un resumen semanal o una perspectiva mensual.
Próximo envío programado (UTC): . Recibirás tu primera edición en el próximo envío programado después de confirmar.
Tu privacidad, tu elección.
El almacenamiento necesario ayuda a proteger el sitio y a recordar tus preferencias. Google Analytics opcional permanece desactivado hasta que lo autorices. Puedes leer todas las historias usando solo el almacenamiento necesario. Detalles de privacidad