Una respuesta fluida no demuestra que un agente de IA haya seguido el procedimiento requerido. La guía de AWS del 22 de septiembre explica cómo Strands Evals y Amazon Bedrock AgentCore evalúan la selección de habilidades y el seguimiento de instrucciones a partir de ejecuciones registradas. Los dos sistemas gestionan de forma distinta la ausencia de una evaluación, lo que afecta a quienes interpretan sus indicadores de aprobado.
El gran cambio
- Qué cambió: Estas herramientas distinguen si un procedimiento se cargó, si era adecuado para la tarea y si se siguieron sus pasos.
- Por qué importa: El código de Strands inspeccionado puede marcar como aprobado un caso que no se ha evaluado. Una decisión de lanzamiento basada únicamente en ese indicador puede pasar por alto una habilidad obligatoria que nunca llegó a cargarse.
- Qué observar: Comprueba la cobertura de la evaluación junto con las puntuaciones: qué cargas previstas se observaron y qué invocaciones aportaron suficiente evidencia registrada para evaluarlas.
Tres comprobaciones responden a preguntas distintas
La especificación de Agent Skills define una habilidad a partir del archivo SKILL.md (de instrucciones). Su nombre y descripción ayudan al agente a decidir cuándo usarla; el cuerpo de instrucciones se carga tras la activación. Por eso, confirmar que se cargó es distinto de determinar si se seleccionó o ejecutó adecuadamente.
Comprobación | Evidencia y resultado | Límite |
|---|---|---|
Strands | Carga registrada y satisfactoria de una habilidad concreta; aprobado o suspenso determinista | No evalúa si era adecuada ni si se ejecutó |
Precisión de selección de AgentCore | Habilidad invocada, solicitud, contexto previo y catálogo cuando está disponible; el modelo determina Sí o No | No evalúa la decisión de no invocar ninguna habilidad |
Seguimiento de instrucciones de AgentCore | Instrucciones cargadas y sesión completa; cinco niveles, desde seguimiento pleno hasta incumplimiento | Evalúa el seguimiento registrado de los pasos, no la corrección del trabajo subyacente |
La implementación fijada del evaluador SkillInvoked requiere una carga coincidente con el estado loaded como satisfactorio. Si no hay una carga satisfactoria, esta aserción falla cuando el intento está ausente, ha fallado o sigue sin resolverse. No se llama a ningún modelo evaluador. Así se obtiene una comprobación directa cuando un caso de prueba exige una habilidad específica.
AgentCore puede no producir ningún resultado
Según la documentación de AgentCore, ambos evaluadores omiten una llamada a herramienta si no detectan señales ni de invocación ni del cuerpo de la habilidad. Una sesión sin invocaciones detectadas produce cero resultados.
La ausencia de un catálogo no impide evaluar la selección: el evaluador usa la solicitud y el contexto de la conversación. Para evaluar el seguimiento de instrucciones se necesitan tanto la habilidad invocada como su cuerpo cargado; la sesión completa aporta evidencia de los pasos posteriores.
Strands puede devolver una fila N/A aprobada
La revisión del código revela otra representación en el commit de Strands Evals 9ea55c9, inspeccionado el 23 de septiembre. Esto describe esa implementación, no todas las versiones instaladas del SDK.
Si hay una trayectoria, pero no una invocación, el evaluador de selección devuelve una fila no aplicable: una puntuación provisional de 0.0, test_pass=true. La evaluación no determina si fue correcto abstenerse de usar una habilidad; esa cuestión queda fuera de su alcance.
El evaluador de seguimiento de instrucciones también devuelve filas N/A aprobadas cuando no hay invocación, se rechaza la carga o el cuerpo no está disponible. Si falta la trayectoria, ambos evaluadores devuelven N/A con el indicador de aprobado en falso.
Su función de agregación excluye las filas N/A del promedio. Si todas son N/A, conserva una puntuación provisional de cero y combina sus indicadores de aprobado. Para interpretar correctamente la cifra y el indicador hay que conocer su etiqueta y el motivo.
Para comprobar el enrutamiento obligatorio, combina los evaluadores con una aserción de carga de una habilidad concreta. Para evaluar la adherencia, comprueba si se registraron las instrucciones y la evidencia de ejecución antes de interpretar un indicador de aprobado como una evaluación. BIG CHANGE revisó la documentación y el código fuente; no ejecutó estos evaluadores.
