सुगठित जवाब से यह साबित नहीं होता कि एआई एजेंट ने ज़रूरी प्रक्रिया अपनाई। 22 सितंबर की AWS मार्गदर्शिका बताती है कि Strands Evals और Amazon Bedrock AgentCore दर्ज किए गए सत्रों के आधार पर कौशल चुनने और निर्देशों का पालन करने का मूल्यांकन कैसे करते हैं। मूल्यांकन न हो पाने पर दोनों प्रणालियां अलग व्यवहार करती हैं, जिसका असर उनके पास-फ़्लैग पढ़ने वालों पर पड़ता है।
बड़ा बदलाव
- क्या बदला: ये उपकरण अलग-अलग जांचते हैं कि प्रक्रिया लोड हुई या नहीं, क्या वह काम के लिए उपयुक्त थी और उसके कदमों का पालन हुआ या नहीं।
- यह क्यों मायने रखता है: Strands के निरीक्षित कोड में बिना निर्णय वाले मामले को पास माना जा सकता है। केवल इस फ़्लैग के आधार पर रिलीज़ का फैसला करने पर यह अनदेखा रह सकता है कि ज़रूरी कौशल कभी लोड ही नहीं हुआ।
- क्या देखना है: स्कोर के साथ मूल्यांकन का दायरा भी जांचें: अपेक्षित लोड में से किनकी पुष्टि हुई और किन आह्वानों के साथ निर्णय लेने लायक रिकॉर्डेड साक्ष्य था।
तीन जांच, तीन अलग सवालों के जवाब
यह Agent Skills विनिर्देश किसी कौशल को SKILL.md फ़ाइल के आधार पर परिभाषित करता है। उसका नाम और विवरण एजेंट को यह तय करने में मदद करते हैं कि उसे कब इस्तेमाल करना है; सक्रिय होने के बाद निर्देशों का पूरा पाठ लोड होता है। इसलिए सफल लोडिंग, सही चयन और अमल से अलग सवाल है।
जांच | साक्ष्य और नतीजा | सीमा |
|---|---|---|
Strands | किसी नामित कौशल के सफल लोड का रिकॉर्ड; नियत नियम से पास या फेल | यह उपयुक्तता या अमल की जांच नहीं करता |
AgentCore में चयन की सटीकता | उपयोग किया गया कौशल, अनुरोध, पहले का संदर्भ और उपलब्ध होने पर कैटलॉग; मॉडल का हां या नहीं संबंधी निर्णय | कुछ भी इस्तेमाल न करने के फैसले का मूल्यांकन नहीं करता |
AgentCore में निर्देशों का पालन | लोड किए गए निर्देश और पूरा सत्र; पूरी तरह पालन से लेकर पालन न करने तक पांच स्तर | दर्ज किए गए कदमों के पालन का आकलन करता है, मूल काम की शुद्धता का नहीं |
पिन किया गया SkillInvoked कार्यान्वयन में status loaded. सफल लोड के बिना, लोड न होने, विफल होने या नतीजा अनिर्णीत रहने के प्रयास इस जांच में फेल होते हैं। इसमें कोई जज मॉडल नहीं बुलाया जाता। जब किसी परीक्षण मामले में खास कौशल ज़रूरी हो, तो यह सीधी जांच देता है।
AgentCore में नतीजे शून्य भी हो सकते हैं
AgentCore के दस्तावेज़ के अनुसार, जब न तो कौशल का इस्तेमाल और न ही उसके निर्देश-पाठ का संकेत मिले, तो दोनों जज टूल कॉल छोड़ देते हैं। ऐसे सत्र में, जिसमें कौशल का इस्तेमाल दर्ज न हो, नतीजा शून्य मिलता है।
कैटलॉग न मिलने पर चयन का मूल्यांकन नहीं रुकता: मूल्यांकनकर्ता अनुरोध और बातचीत के संदर्भ का उपयोग करता है। निर्देशों का पालन जांचने के लिए इस्तेमाल किया गया कौशल और उसका लोड किया हुआ निर्देश-पाठ, दोनों चाहिए; आगे के कदमों के साक्ष्य के लिए पूरा सत्र भी जरूरी है।
Strands पास वाला N/A नतीजा लौटा सकता है
स्रोत की समीक्षा में Strands Evals के जिस निरीक्षित कमिट 9ea55c9 की 23 सितंबर को जांच की गई थी, उसमें इसका अलग निरूपण दिखता है। यह उसी कार्यान्वयन के बारे में है, हर इंस्टॉल किए गए SDK संस्करण के बारे में नहीं।
जब रिकॉर्ड किया गया सत्र मौजूद हो लेकिन कौशल का इस्तेमाल न हुआ हो, तो चयन मूल्यांकनकर्ता लागू न होने वाला नतीजा देता है: नमूना स्कोर 0.0, test_pass=true. क्या कौशल का इस्तेमाल न करने का फैसला सही था, यह इस जज के दायरे से बाहर है।
यह निर्देश-पालन मूल्यांकनकर्ता भी इस्तेमाल न होने, लोड से इनकार किए जाने या निर्देश-पाठ उपलब्ध न होने पर पास वाला N/A नतीजा देता है। दोनों मूल्यांकनकर्ताओं में रिकॉर्ड किया गया सत्र ही न हो, तो पास फ़्लैग false के साथ N/A मिलता है।
उनका समेकन फ़ंक्शन औसत स्कोर से N/A नतीजे हटा देता है। जब हर नतीजा N/A हो, तो वह नमूना शून्य को बनाए रखता है और नतीजों के पास-फ़्लैग जोड़ देता है। इसलिए संख्या और फ़्लैग को सही लेबल और कारण के साथ पढ़ना ज़रूरी है।
अगर कौशल का इस्तेमाल अनिवार्य है, तो इन जजों के साथ नामित कौशल के सफल लोड की जांच भी करें। निर्देश-पालन के लिए, पास फ़्लैग को निर्णय मानने से पहले देखें कि निर्देश और अमल के साक्ष्य रिकॉर्ड हुए थे या नहीं। BIG CHANGE ने दस्तावेज़ों और स्रोत कोड की समीक्षा की; उसने इन मूल्यांकन उपकरणों को चलाकर नहीं देखा।
