روانی سے دیا گیا جواب یہ نہیں دکھاتا کہ AI ایجنٹ نے مطلوبہ طریقۂ کار استعمال کیا یا نہیں۔ AWS کی 22 ستمبر کی گائیڈ بتاتی ہے کہ Strands Evals اور Amazon Bedrock AgentCore ریکارڈ شدہ کام سے اسکل کے انتخاب اور ہدایات پر عمل کو کیسے جانچتے ہیں۔ دونوں نظام جانچ کا نتیجہ غائب ہونے پر مختلف طریقے اپناتے ہیں، جس سے ان کے کامیابی کے جھنڈے پڑھنے والوں کے لیے فرق پڑتا ہے۔
بڑی تبدیلی
- کیا بدلا: یہ ٹولز الگ الگ پوچھتے ہیں کہ آیا کوئی طریقۂ کار لوڈ ہوا، کیا وہ کام کے لیے موزوں تھا، اور آیا اس کے مراحل پر عمل کیا گیا۔
- یہ کیوں اہم ہے: زیرِجائزہ Strands کوڈ، جس کیس پر فیصلہ نہیں ہوا اسے کامیاب قرار دے سکتا ہے۔ صرف اسی جھنڈے کی بنیاد پر ریلیز کا فیصلہ کرنے سے مطلوبہ اسکل کا لوڈ نہ ہونا نظرانداز ہوسکتا ہے۔
- کس بات پر نظر رکھیں: اسکور کے ساتھ جانچ کے دائرے کی بھی پڑتال کریں: کون سی متوقع لوڈنگ دیکھی گئی، اور کن کالز کے پاس فیصلہ کرنے کے لیے کافی ریکارڈ شدہ ثبوت تھا؟
تین جانچیں، تین الگ سوال
Agent Skills کی تفصیلات کسی مہارت کی تعریف ایک SKILL.md فائل کی بنیاد پر کرتی ہیں۔ اس کا نام اور تفصیل ایجنٹ کو طے کرنے میں مدد دیتے ہیں کہ اسے کب استعمال کیا جائے؛ فعال ہونے کے بعد ہدایات کا متن لوڈ ہوتا ہے۔ اس جدائی سے کامیابی سے لوڈ ہونا، مناسب انتخاب یا عمل درآمد سے الگ سوال بنتا ہے۔
جانچ | ثبوت اور نتیجہ | حد |
|---|---|---|
Strands | نامزد اسکل کے کامیاب لوڈ ہونے کا ریکارڈ؛ کامیابی یا ناکامی کا قطعی نتیجہ | موزونیت یا عمل درآمد نہیں جانچتا |
AgentCore میں انتخاب کی درستی | استعمال کیا گیا اسکل، درخواست، پہلے کا سیاق اور دستیاب ہونے پر فہرست؛ ماڈل کا Yes یا No فیصلہ | کچھ بھی استعمال نہ کرنے کے فیصلے کو نہیں جانچتا |
AgentCore میں ہدایات پر عمل | لوڈ شدہ ہدایات اور مکمل سیشن؛ مکمل طور پر عمل سے لے کر بالکل عمل نہ کرنے تک پانچ درجے | ریکارڈ شدہ مراحل پر عمل کو جانچتا ہے، بنیادی کام کی درستی کو نہیں |
متعین SkillInvoked عمل درآمد کے لیے درج حالت کے مطابق اسکل کے لوڈ ہونے کا ریکارڈڈ واقعہ درکار ہے loaded ہو۔ کامیاب لوڈ کے بغیر موجود نہ ہونے والی، ناکام یا غیر حل شدہ کوششیں اس شرط میں ناکام شمار ہوتی ہیں۔ کسی جانچنے والے ماڈل کو نہیں بلایا جاتا۔ جب کسی ٹیسٹ کیس میں مخصوص اسکل لازمی ہو تو یہ براہِ راست جانچ فراہم کرتا ہے۔
AgentCore صفر نتائج دے سکتا ہے
مزید تفصیل کے لیے AgentCore کی دستاویزات کے مطابق، دونوں جانچنے والے اس وقت ٹول کال چھوڑ دیتے ہیں جب نہ اسکل استعمال کرنے کا اشارہ ہو اور نہ ہی اس کے متن میں ایسا کوئی اشارہ ملے۔ ایسے سیشن میں جہاں اسکل کا استعمال نہیں ملا، نتیجہ صفر ہوتا ہے۔
فہرست نہ ہو تب بھی انتخاب کی جانچ رکتی نہیں: جانچنے والا درخواست اور گفتگو کا سیاق استعمال کرتا ہے۔ ہدایات پر عمل کی جانچ کے لیے استعمال کیا گیا اسکل اور اس کا لوڈ شدہ متن دونوں درکار ہیں؛ اس کے بعد کے مراحل کا ثبوت پورا سیشن فراہم کرتا ہے۔
Strands کامیاب N/A قطار دے سکتا ہے
ماخذ کے جائزے سے 23 ستمبر کو معائنہ کردہ Strands Evals کمٹ 9ea55c9 کے نفاذ میں ایک مختلف صورت سامنے آئی۔ یہ اسی نفاذ کی وضاحت ہے، ہر انسٹال شدہ SDK ورژن کی نہیں۔
اگر کام کا ریکارڈ موجود ہو مگر اسکل استعمال نہ ہوا ہو تو انتخاب جانچنے والا نظام قابلِ اطلاق نہیں کی قطار لوٹاتا ہے: عارضی اسکور 0.0، test_pass=true۔ اسکل استعمال نہ کرنے کا فیصلہ درست تھا یا نہیں، اس جانچنے والے نظام کے دائرے سے باہر ہے۔
یہ اسکل کی ہدایات پر عمل جانچنے والا نظام بھی اسکل استعمال نہ ہونے، لوڈ ناکام ہونے یا متن دستیاب نہ ہونے پر کامیاب N/A قطاریں لوٹاتا ہے۔ اس کے برعکس، کام کا ریکارڈ ہی نہ ہو تو دونوں جانچنے والے غلط کامیابی کے جھنڈے کے ساتھ N/A لوٹاتے ہیں۔
ان کا مجموعی نتیجہ نکالنے والا فنکشن اوسط اسکور سے N/A قطاریں خارج کرتا ہے۔ اگر تمام قطاریں N/A ہوں تو عارضی صفر برقرار رہتا ہے اور قطاروں کے کامیابی کے جھنڈے یکجا کیے جاتے ہیں۔ اس لیے عدد اور جھنڈے کو ان کے لیبل اور وجہ کے ساتھ سمجھنا ضروری ہے۔
اگر کسی خاص اسکل کا استعمال لازم ہو تو جانچنے والے نظاموں کے ساتھ نامزد اسکل کے لوڈ ہونے کی لازمی جانچ بھی کریں۔ عمل کی پابندی جانچنے سے پہلے دیکھیں کہ ہدایات اور عمل درآمد کے ثبوت ریکارڈ ہوئے تھے یا نہیں۔ BIG CHANGE نے دستاویزات اور ماخذی کوڈ کا جائزہ لیا؛ اس نے یہ جانچنے والے نظام خود نہیں چلائے۔
