AI-translated from English; not yet reviewed by a fluent editor.

# قد يتخطى وكيل ذكاء اصطناعي مهارة مطلوبة من دون أن يخلّف نتيجة تقييم

> تفصل أدوات تقييم المهارات الجديدة بين تحميل المهارة واختيارها واتباع تعليماتها. ويوضح غياب النتيجة لماذا ينبغي للفرق أن تتعامل مع تغطية التقييم بوصفها دليلًا قائمًا بذاته.

By BIG CHANGE Editorial

Published: 2026-09-23T04:51:32.802Z
Updated: 2026-09-23T09:28:46.768Z
Canonical: https://bigchange.ai/blog/ai-agent-skill-evaluation-no-score-blind-spot

![Precision tools hang on a steel workshop board around one empty orange-rimmed shaped holder.](https://bigchange.ai/api/media/file/agent-skill-toolboard-evidence-hero-v4-1.png)
AI-generated conceptual illustration by BIG CHANGE. Conceptual illustration of a workshop tool board with an empty holder.

لا تثبت الإجابة السلسة أن وكيل الذكاء الاصطناعي استخدم الإجراء المطلوب. ويشرح [دليل AWS الصادر في 22 سبتمبر](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) كيف يقيّم كل من Strands Evals وAmazon Bedrock AgentCore اختيار المهارة واتباع التعليمات استنادًا إلى سجلات التشغيل. ويتعامل النظامان بصورة مختلفة مع غياب التقييم، ما يؤثر في تفسير أي شخص لعلامات النجاح فيهما.

## التغيير الأبرز

- **ما الذي تغيّر:** تميّز هذه الأدوات بين تحميل الإجراء، ومدى ملاءمته للمهمة، واتباع خطواته.
- **لماذا يهم:** يمكن للكود الذي فُحص في Strands أن يضع حالة لم تُقيّم على أنها ناجحة. وقد يغفل قرار إطلاق يستند إلى تلك العلامة وحدها مهارة مطلوبة لم تُحمّل قط.
- **ما الذي ينبغي مراقبته:** افحص تغطية التقييم إلى جانب الدرجات: ما عمليات التحميل المتوقعة التي رُصدت، وأي الاستدعاءات تضمنت أدلة مسجلة كافية للحكم عليها.

## ثلاثة اختبارات تجيب عن أسئلة مختلفة

تعرّف [مواصفة Agent Skills](https://agentskills.io/specification) المهارة بأنها تتمحور حول ملف `SKILL.md`. ويساعد اسمها ووصفها الوكيل على تقرير متى يستخدمها؛ ثم يُحمّل متن التعليمات بعد تفعيلها. وهذا الفصل يجعل نجاح التحميل سؤالًا منفصلًا عن ملاءمة الاختيار أو التنفيذ.

| الاختبار | الدليل والنتيجة | الحد |
| --- | --- | --- |
| Strands `SkillInvoked` | تحميل ناجح مسجل لمهارة مسماة؛ ونتيجة نجاح أو إخفاق حتمية | لا يقيّم ملاءمة المهارة أو تنفيذها |
| دقة اختيار AgentCore | المهارة التي استُدعيت والطلب والسياق السابق والفهرس عند توفره؛ وحكم النموذج بـYes أو No | لا يحكم على قرار عدم استدعاء أي مهارة |
| اتباع التعليمات في AgentCore | التعليمات التي حُمّلت والجلسة كاملة؛ وخمسة مستويات من الاتباع الكامل إلى عدم الاتباع | يقيّم اتباع الخطوات المسجلة، لا صحة العمل نفسه |

ويتطلب تنفيذ المقيّم [`SkillInvoked` المثبّت](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) وجود حدث تحميل مطابق حالته `loaded`. ومن دون تحميل ناجح، تخفق هذه المطالبة عند غياب المحاولة أو إخفاقها أو بقاء نتيجتها دون حسم. ولا يُستدعى نموذج حكم. وهذا فحص مباشر عندما تتطلب حالة اختبار مهارة بعينها.

## قد لا ينتج AgentCore أي نتائج

وفقًا لما توضحه [وثائق AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html)، يتجاوز كلا المقيّمين استدعاء الأداة عندما لا تُرصد إشارات إلى استدعاء المهارة أو متنها. وتنتج الجلسة التي لا تُرصد فيها استدعاءات مهارات صفر نتائج.

لا يمنع غياب الفهرس تقييم الاختيار: يستخدم المقيّم الطلب وسياق المحادثة. أما تقييم اتباع التعليمات فيتطلب المهارة المستدعاة ومتنها المحمّل معًا، وتوفر الجلسة كاملة أدلة الخطوات اللاحقة.

## قد يعيد Strands صف N/A ناجحًا

يكشف فحص المصدر تمثيلًا مختلفًا في الالتزام `9ea55c9` الذي فُحص في 23 سبتمبر. وهذا يصف ذلك التنفيذ، لا كل إصدار مثبت من حزمة SDK.

عندما يتوفر مسار تشغيل لكن لا يحدث استدعاء، يعيد [مقيّم الاختيار](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) صفًا غير منطبق: درجة بديلة `0.0`، `test_pass=true`. وخارج نطاق ذلك المقيّم الحكم على صحة قرار الامتناع عن استخدام مهارة.

كما يعيد [مقيّم اتباع التعليمات](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) صفوف N/A ناجحة عند عدم استدعاء مهارة أو رفض تحميلها أو غياب متنها. أما غياب مسار التشغيل فيعيد N/A مع علامة نجاح كاذبة لدى المقيّمين كليهما.

وتستبعد [دالة التجميع](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) صفوف N/A من المتوسط. وإذا كانت جميع الصفوف N/A، فإنها تحتفظ بصفر بديل وتجمع علامات النجاح الخاصة بالصفوف. لذلك يجب تفسير الرقم والعلامة مع تسميتهما وسبب ظهورهما.

عند اشتراط توجيه المهمة، أقرن المقيّمين باختبار تحميل لمهارة مسماة. وللتحقق من الالتزام، افحص ما إذا كانت التعليمات وأدلة التنفيذ قد سُجلت قبل اعتبار علامة النجاح حكمًا على الأداء. راجعت BIG CHANGE الوثائق وكود المصدر، لكنها لم تشغّل أدوات التقييم هذه.

## Sources

- [AWS: تقييم الوكلاء المزودين بمهارات باستخدام Strands Evals وAmazon Bedrock AgentCore](https://aws.amazon.com/blogs/machine-learning/evaluate-skill-equipped-agents-with-strands-evals-and-amazon-bedrock-agentcore/) — دليل صدر في 22 سبتمبر يعرّف الفصل بين المقيّمين وآلية العمل على سجلات التشغيل. ولا تُعرض أمثلة الشرح المنشأة فيه على أنها حوادث فعلية.
- [Amazon Bedrock AgentCore: مقيّمو المهارات](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/skill-evaluators.html) — يوثق متطلبات الإشارات في AgentCore، واللجوء إلى الفهرس البديل، وأدلة التعليمات من الجلسة كاملة، وحالة عدم إنتاج أي نتائج.
- [Strands Evals: مقيّم دقة اختيار المهارات في الالتزام الذي فُحص](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_selection_accuracy_evaluator.py) — الكود المثبت: عدم استدعاء مهارة ينتج عنصرًا بديلًا ناجحًا بقيمة N/A، لا اختيارًا خضع للحكم. وينطبق ذلك على هذا الالتزام الذي فُحص.
- [Strands Evals: مقيّم اتباع تعليمات المهارات في الالتزام الذي فُحص](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/skill_instruction_following_evaluator.py) — الكود المثبت: عدم الاستدعاء أو إخفاق التحميل أو غياب متن المهارة ينتج صفوف N/A ناجحة؛ أما غياب مسار التشغيل فيخفق. ولا تثبت هذه العلامات الالتزام بالتعليمات.
- [Strands Evals: مقيّم SkillInvoked الحتمي في الالتزام الذي فُحص](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/deterministic/skill_invoked.py) — كود مصدر مثبت يوضح أن اختبار المهارة المسماة يتطلب تحميلًا ناجحًا مسجلًا، ويميز بين المحاولات الغائبة والفاشلة وغير المحسومة من دون الاستعانة بنموذج للحكم.
- [مواصفة Agent Skills](https://agentskills.io/specification) — مواصفة مفتوحة لبنية ملف SKILL.md والإفصاح التدريجي: تتاح البيانات الوصفية لاختيار المسار، بينما يُحمّل متن التعليمات بعد التفعيل.
- [Strands Evals: تجميع N/A في الالتزام الذي فُحص](https://github.com/strands-agents/evals/blob/9ea55c96d461d70b0d742f547a95389e4c7fe18d/src/strands_evals/evaluators/evaluator.py) — يستبعد التنفيذ التجميعي قيم N/A من المتوسطات المحسوبة، لكنه يحتفظ بصفر بديل وبعلامات نجاح مجمعة إذا كانت جميع الصفوف N/A.