AI-translated from English; not yet reviewed by a fluent editor.

# Agen AI dapat melewatkan skill wajib tanpa meninggalkan skor

> Evaluator skill baru memisahkan pemuatan, pemilihan, dan kepatuhan terhadap instruksi. Perilaku saat hasil tidak tersedia menunjukkan mengapa tim perlu memperlakukan cakupan evaluasi sebagai bukti tersendiri.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

Jawaban yang lancar tidak membuktikan bahwa agen AI menggunakan prosedur yang diwajibkan. [Panduan AWS tertanggal 22 September](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) menjelaskan bagaimana Strands Evals dan Amazon Bedrock AgentCore mengevaluasi pemilihan skill dan kepatuhan terhadap instruksi berdasarkan rekaman eksekusi. Kedua sistem menangani evaluasi yang tidak tersedia dengan cara berbeda, sehingga memengaruhi cara pembaca menafsirkan penanda kelulusan.

## Perubahan besar

- **Yang berubah:** Perangkat ini membedakan apakah prosedur dimuat, apakah prosedur itu sesuai dengan tugas, dan apakah langkah-langkahnya diikuti.
- **Mengapa ini penting:** Kode Strands yang diperiksa dapat menandai kasus yang tidak dinilai sebagai lulus. Keputusan untuk merilis produk yang hanya mengandalkan penanda itu bisa luput melihat bahwa skill wajib tidak pernah dimuat.
- **Yang perlu dipantau:** Periksa cakupan evaluasi bersama skornya: pemuatan yang diharapkan mana yang teramati, dan pemanggilan mana yang memiliki cukup bukti terekam untuk dinilai.

## Tiga pemeriksaan menjawab pertanyaan yang berbeda

Spesifikasi [Agent Skills](https://agentskills.io/specification) mendefinisikan skill dengan menggunakan `SKILL.md` sebagai berkas. Nama dan deskripsinya membantu agen memutuskan kapan skill perlu digunakan; isi instruksinya dimuat setelah aktivasi. Pemisahan ini membuat keberhasilan pemuatan menjadi pertanyaan tersendiri, terpisah dari ketepatan pemilihan atau pelaksanaan.

| Pemeriksaan | Bukti dan hasil | Batasan |
| --- | --- | --- |
| Strands `SkillInvoked` | Pemuatan skill bernama yang tercatat berhasil; lulus atau gagal secara deterministik | Tidak menilai kesesuaian atau pelaksanaan |
| Akurasi pemilihan AgentCore | Skill yang dipanggil, permintaan, konteks sebelumnya, dan katalog jika tersedia; penilaian model berupa Ya atau Tidak | Tidak menilai keputusan untuk tidak memanggil apa pun |
| Kepatuhan instruksi AgentCore | Instruksi yang dimuat dan seluruh sesi; lima tingkat, dari diikuti sepenuhnya hingga tidak diikuti | Menilai kepatuhan pada langkah yang terekam, bukan kebenaran pekerjaan yang mendasarinya |

Kode sumber [`SkillInvoked` yang dipatok pada versi tertentu](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) mensyaratkan peristiwa pemuatan yang cocok dengan status `loaded`. Tanpa pemuatan yang berhasil, percobaan yang tidak ada, gagal, atau belum terselesaikan membuat pernyataan ini gagal. Tidak ada model penilai yang dipanggil. Ini memberi pemeriksaan langsung ketika kasus uji mewajibkan skill tertentu.

## AgentCore dapat menghasilkan nol hasil

Menurut dokumentasi [AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html), kedua penilai melewatkan pemanggilan alat ketika tidak terdeteksi sinyal pemanggilan maupun isi skill. Sesi tanpa pemanggilan skill yang terdeteksi menghasilkan nol hasil.

Ketiadaan katalog tidak menghentikan penilaian pemilihan: evaluator menggunakan permintaan dan konteks percakapan. Penilaian kepatuhan instruksi membutuhkan skill yang dipanggil beserta isi yang dimuat, sementara seluruh sesi menyediakan bukti untuk langkah-langkah selanjutnya.

## Strands dapat menghasilkan baris N/A yang berstatus lulus

Peninjauan sumber menunjukkan representasi berbeda pada commit Strands Evals `9ea55c9`, yang diperiksa pada 23 September. Ini menggambarkan implementasi tersebut, bukan setiap versi SDK yang terpasang.

Jika ada rekaman lintasan tetapi tidak ada pemanggilan, [evaluator pemilihan](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) menghasilkan baris tidak berlaku: skor penanda `0.0`, `test_pass=true`. Apakah keputusan untuk tidak menggunakan skill itu tepat berada di luar cakupan penilai tersebut.

Evaluator [kepatuhan instruksi](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) juga menghasilkan baris N/A berstatus lulus ketika tidak ada pemanggilan, pemuatan ditolak, atau isi skill tidak tersedia. Jika rekaman lintasan tidak ada, kedua evaluator menghasilkan N/A dengan penanda lulus yang bernilai false.

Fungsi [agregat mereka](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) mengecualikan baris N/A dari nilai rata-rata. Jika semua baris N/A, fungsi itu mempertahankan angka penanda nol dan menggabungkan penanda lulus dari baris-baris tersebut. Karena itu, angka dan penanda tersebut perlu ditafsirkan bersama label serta alasannya.

Untuk memastikan perutean wajib, pasangkan penilai ini dengan pernyataan yang memeriksa pemuatan skill bernama. Untuk menilai kepatuhan, periksa apakah instruksi dan bukti pelaksanaan telah terekam sebelum menganggap penanda lulus sebagai hasil penilaian. BIG CHANGE meninjau dokumentasi dan kode sumber; tim tidak menjalankan evaluator ini.

## Sources

- [AWS: Mengevaluasi agen dengan skill menggunakan Strands Evals dan Amazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — Panduan 22 September yang memperkenalkan pemisahan evaluator dan alur kerja berbasis rekaman eksekusi. Contoh tutorial yang dibuat-buat di dalamnya bukan laporan insiden.
- [Amazon Bedrock AgentCore: Evaluator skill](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — Menjelaskan persyaratan sinyal AgentCore, penggunaan katalog sebagai cadangan, bukti instruksi dari seluruh sesi, serta perilaku tanpa hasil.
- [Strands Evals: Evaluator akurasi pemilihan skill pada commit yang diperiksa](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — Kode yang dipatok pada commit ini: tidak adanya pemanggilan menghasilkan penanda N/A yang berstatus lulus, bukan pemilihan yang telah dinilai. Berlaku untuk commit yang diperiksa ini.
- [Strands Evals: Evaluator kepatuhan instruksi skill pada commit yang diperiksa](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — Kode yang dipatok pada commit ini: tidak adanya pemanggilan, pemuatan gagal, dan isi yang tidak tersedia menghasilkan baris N/A berstatus lulus; rekaman lintasan yang tidak ada dinyatakan gagal. Penanda tersebut tidak membuktikan kepatuhan.
- [Strands Evals: Evaluator deterministik SkillInvoked pada commit yang diperiksa](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — Kode sumber yang dipatok pada commit ini menunjukkan bahwa pernyataan untuk skill bernama mensyaratkan pemuatan berhasil yang tercatat serta membedakan percobaan yang tidak ada, gagal, dan belum terselesaikan tanpa penilai berbasis model.
- [Spesifikasi Agent Skills](https://agentskills.io/specification) — Spesifikasi terbuka tentang struktur SKILL.md dan pengungkapan bertahap: metadata tersedia untuk membantu perutean, sedangkan isi instruksi dimuat setelah aktivasi.
- [Strands Evals: Agregasi N/A pada commit yang diperiksa](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — Implementasi agregat mengecualikan N/A dari nilai rata-rata yang diberi skor, tetapi mempertahankan angka penanda nol dan menggabungkan penanda lulus ketika semua baris berstatus N/A.