لا تثبت الإجابة السلسة أن وكيل الذكاء الاصطناعي استخدم الإجراء المطلوب. ويشرح دليل AWS الصادر في 22 سبتمبر كيف يقيّم كل من Strands Evals وAmazon Bedrock AgentCore اختيار المهارة واتباع التعليمات استنادًا إلى سجلات التشغيل. ويتعامل النظامان بصورة مختلفة مع غياب التقييم، ما يؤثر في تفسير أي شخص لعلامات النجاح فيهما.
التغيير الأبرز
- ما الذي تغيّر: تميّز هذه الأدوات بين تحميل الإجراء، ومدى ملاءمته للمهمة، واتباع خطواته.
- لماذا يهم: يمكن للكود الذي فُحص في Strands أن يضع حالة لم تُقيّم على أنها ناجحة. وقد يغفل قرار إطلاق يستند إلى تلك العلامة وحدها مهارة مطلوبة لم تُحمّل قط.
- ما الذي ينبغي مراقبته: افحص تغطية التقييم إلى جانب الدرجات: ما عمليات التحميل المتوقعة التي رُصدت، وأي الاستدعاءات تضمنت أدلة مسجلة كافية للحكم عليها.
ثلاثة اختبارات تجيب عن أسئلة مختلفة
تعرّف مواصفة Agent Skills المهارة بأنها تتمحور حول ملف SKILL.md. ويساعد اسمها ووصفها الوكيل على تقرير متى يستخدمها؛ ثم يُحمّل متن التعليمات بعد تفعيلها. وهذا الفصل يجعل نجاح التحميل سؤالًا منفصلًا عن ملاءمة الاختيار أو التنفيذ.
الاختبار | الدليل والنتيجة | الحد |
|---|---|---|
Strands | تحميل ناجح مسجل لمهارة مسماة؛ ونتيجة نجاح أو إخفاق حتمية | لا يقيّم ملاءمة المهارة أو تنفيذها |
دقة اختيار AgentCore | المهارة التي استُدعيت والطلب والسياق السابق والفهرس عند توفره؛ وحكم النموذج بـYes أو No | لا يحكم على قرار عدم استدعاء أي مهارة |
اتباع التعليمات في AgentCore | التعليمات التي حُمّلت والجلسة كاملة؛ وخمسة مستويات من الاتباع الكامل إلى عدم الاتباع | يقيّم اتباع الخطوات المسجلة، لا صحة العمل نفسه |
ويتطلب تنفيذ المقيّم SkillInvoked المثبّت وجود حدث تحميل مطابق حالته loaded. ومن دون تحميل ناجح، تخفق هذه المطالبة عند غياب المحاولة أو إخفاقها أو بقاء نتيجتها دون حسم. ولا يُستدعى نموذج حكم. وهذا فحص مباشر عندما تتطلب حالة اختبار مهارة بعينها.
قد لا ينتج AgentCore أي نتائج
وفقًا لما توضحه وثائق AgentCore، يتجاوز كلا المقيّمين استدعاء الأداة عندما لا تُرصد إشارات إلى استدعاء المهارة أو متنها. وتنتج الجلسة التي لا تُرصد فيها استدعاءات مهارات صفر نتائج.
لا يمنع غياب الفهرس تقييم الاختيار: يستخدم المقيّم الطلب وسياق المحادثة. أما تقييم اتباع التعليمات فيتطلب المهارة المستدعاة ومتنها المحمّل معًا، وتوفر الجلسة كاملة أدلة الخطوات اللاحقة.
قد يعيد Strands صف N/A ناجحًا
يكشف فحص المصدر تمثيلًا مختلفًا في الالتزام 9ea55c9 الذي فُحص في 23 سبتمبر. وهذا يصف ذلك التنفيذ، لا كل إصدار مثبت من حزمة SDK.
عندما يتوفر مسار تشغيل لكن لا يحدث استدعاء، يعيد مقيّم الاختيار صفًا غير منطبق: درجة بديلة 0.0، test_pass=true. وخارج نطاق ذلك المقيّم الحكم على صحة قرار الامتناع عن استخدام مهارة.
كما يعيد مقيّم اتباع التعليمات صفوف N/A ناجحة عند عدم استدعاء مهارة أو رفض تحميلها أو غياب متنها. أما غياب مسار التشغيل فيعيد N/A مع علامة نجاح كاذبة لدى المقيّمين كليهما.
وتستبعد دالة التجميع صفوف N/A من المتوسط. وإذا كانت جميع الصفوف N/A، فإنها تحتفظ بصفر بديل وتجمع علامات النجاح الخاصة بالصفوف. لذلك يجب تفسير الرقم والعلامة مع تسميتهما وسبب ظهورهما.
عند اشتراط توجيه المهمة، أقرن المقيّمين باختبار تحميل لمهارة مسماة. وللتحقق من الالتزام، افحص ما إذا كانت التعليمات وأدلة التنفيذ قد سُجلت قبل اعتبار علامة النجاح حكمًا على الأداء. راجعت BIG CHANGE الوثائق وكود المصدر، لكنها لم تشغّل أدوات التقييم هذه.
