Jawaban yang lancar tidak membuktikan bahwa agen AI menggunakan prosedur yang diwajibkan. Panduan AWS tertanggal 22 September menjelaskan bagaimana Strands Evals dan Amazon Bedrock AgentCore mengevaluasi pemilihan skill dan kepatuhan terhadap instruksi berdasarkan rekaman eksekusi. Kedua sistem menangani evaluasi yang tidak tersedia dengan cara berbeda, sehingga memengaruhi cara pembaca menafsirkan penanda kelulusan.
Perubahan besar
- Yang berubah: Perangkat ini membedakan apakah prosedur dimuat, apakah prosedur itu sesuai dengan tugas, dan apakah langkah-langkahnya diikuti.
- Mengapa ini penting: Kode Strands yang diperiksa dapat menandai kasus yang tidak dinilai sebagai lulus. Keputusan untuk merilis produk yang hanya mengandalkan penanda itu bisa luput melihat bahwa skill wajib tidak pernah dimuat.
- Yang perlu dipantau: Periksa cakupan evaluasi bersama skornya: pemuatan yang diharapkan mana yang teramati, dan pemanggilan mana yang memiliki cukup bukti terekam untuk dinilai.
Tiga pemeriksaan menjawab pertanyaan yang berbeda
Spesifikasi Agent Skills mendefinisikan skill dengan menggunakan SKILL.md sebagai berkas. Nama dan deskripsinya membantu agen memutuskan kapan skill perlu digunakan; isi instruksinya dimuat setelah aktivasi. Pemisahan ini membuat keberhasilan pemuatan menjadi pertanyaan tersendiri, terpisah dari ketepatan pemilihan atau pelaksanaan.
Pemeriksaan | Bukti dan hasil | Batasan |
|---|---|---|
Strands | Pemuatan skill bernama yang tercatat berhasil; lulus atau gagal secara deterministik | Tidak menilai kesesuaian atau pelaksanaan |
Akurasi pemilihan AgentCore | Skill yang dipanggil, permintaan, konteks sebelumnya, dan katalog jika tersedia; penilaian model berupa Ya atau Tidak | Tidak menilai keputusan untuk tidak memanggil apa pun |
Kepatuhan instruksi AgentCore | Instruksi yang dimuat dan seluruh sesi; lima tingkat, dari diikuti sepenuhnya hingga tidak diikuti | Menilai kepatuhan pada langkah yang terekam, bukan kebenaran pekerjaan yang mendasarinya |
Kode sumber SkillInvoked yang dipatok pada versi tertentu mensyaratkan peristiwa pemuatan yang cocok dengan status loaded. Tanpa pemuatan yang berhasil, percobaan yang tidak ada, gagal, atau belum terselesaikan membuat pernyataan ini gagal. Tidak ada model penilai yang dipanggil. Ini memberi pemeriksaan langsung ketika kasus uji mewajibkan skill tertentu.
AgentCore dapat menghasilkan nol hasil
Menurut dokumentasi AgentCore, kedua penilai melewatkan pemanggilan alat ketika tidak terdeteksi sinyal pemanggilan maupun isi skill. Sesi tanpa pemanggilan skill yang terdeteksi menghasilkan nol hasil.
Ketiadaan katalog tidak menghentikan penilaian pemilihan: evaluator menggunakan permintaan dan konteks percakapan. Penilaian kepatuhan instruksi membutuhkan skill yang dipanggil beserta isi yang dimuat, sementara seluruh sesi menyediakan bukti untuk langkah-langkah selanjutnya.
Strands dapat menghasilkan baris N/A yang berstatus lulus
Peninjauan sumber menunjukkan representasi berbeda pada commit Strands Evals 9ea55c9, yang diperiksa pada 23 September. Ini menggambarkan implementasi tersebut, bukan setiap versi SDK yang terpasang.
Jika ada rekaman lintasan tetapi tidak ada pemanggilan, evaluator pemilihan menghasilkan baris tidak berlaku: skor penanda 0.0, test_pass=true. Apakah keputusan untuk tidak menggunakan skill itu tepat berada di luar cakupan penilai tersebut.
Evaluator kepatuhan instruksi juga menghasilkan baris N/A berstatus lulus ketika tidak ada pemanggilan, pemuatan ditolak, atau isi skill tidak tersedia. Jika rekaman lintasan tidak ada, kedua evaluator menghasilkan N/A dengan penanda lulus yang bernilai false.
Fungsi agregat mereka mengecualikan baris N/A dari nilai rata-rata. Jika semua baris N/A, fungsi itu mempertahankan angka penanda nol dan menggabungkan penanda lulus dari baris-baris tersebut. Karena itu, angka dan penanda tersebut perlu ditafsirkan bersama label serta alasannya.
Untuk memastikan perutean wajib, pasangkan penilai ini dengan pernyataan yang memeriksa pemuatan skill bernama. Untuk menilai kepatuhan, periksa apakah instruksi dan bukti pelaksanaan telah terekam sebelum menganggap penanda lulus sebagai hasil penilaian. BIG CHANGE meninjau dokumentasi dan kode sumber; tim tidak menjalankan evaluator ini.
