एखादे उत्तर अस्खलित असले तरी AI एजंटने आवश्यक प्रक्रिया वापरली की नाही हे कळत नाही. AWS च्या २२ सप्टेंबरच्या मार्गदर्शकात नोंदवलेल्या रनमधून Strands Evals आणि Amazon Bedrock AgentCore कौशल्याची निवड व सूचनांचे पालन कसे तपासतात, हे स्पष्ट केले आहे. मूल्यमापनच अनुपस्थित असल्यास दोन्ही प्रणाली वेगवेगळे वागतात; त्यामुळे त्यांचे पास फ्लॅग वाचणाऱ्यांवर परिणाम होतो.
मोठा बदल
- काय बदलले: या साधनांमुळे प्रक्रिया लोड झाली का, ती कामासाठी योग्य होती का आणि तिचे टप्पे पाळले गेले का, हे वेगवेगळे तपासता येते.
- हे का महत्त्वाचे: तपासलेल्या Strands कोडमध्ये न तपासलेल्या प्रकरणालाही पास म्हणून चिन्हित केले जाऊ शकते. केवळ त्या फ्लॅगवर आधारित रिलीझचा निर्णय आवश्यक कौशल्य कधीच लोड झाले नाही, हे दुर्लक्षित करू शकतो.
- कशाकडे लक्ष द्यावे: गुणांसोबत मूल्यमापनाची व्याप्ती तपासा: अपेक्षित लोडपैकी कोणते नोंदले गेले आणि कोणत्या invocation मध्ये निर्णयासाठी पुरावा नोंदला होता.
तीन तपासण्या, तीन वेगवेगळे प्रश्न
हा Agent Skills विनिर्देश मध्ये कौशल्याची व्याख्या SKILL.md फाइलच्या आधारे केली आहे. एजंटने ते कधी वापरावे हे ठरवण्यासाठी त्याचे नाव आणि वर्णन मदत करतात; सक्रिय केल्यानंतर सूचना-मजकूर लोड होतो. त्यामुळे फाइल यशस्वीरीत्या लोड झाली का हा प्रश्न, योग्य कौशल्य निवडले का किंवा ते योग्य रितीने वापरले का या प्रश्नांपासून वेगळा ठरतो.
तपासणी | पुरावा आणि निकाल | मर्यादा |
|---|---|---|
Strands | विशिष्ट नावाचे कौशल्य यशस्वीरीत्या लोड झाल्याची नोंद; नियमाधारित पास किंवा फेल निकाल | कौशल्य योग्य होते का किंवा अंमलबजावणी कशी झाली हे तपासत नाही |
AgentCore निवड-अचूकता | उपलब्ध असल्यास सुरू केलेले कौशल्य, विनंती, आधीचा संदर्भ आणि सूची; मॉडेलकडून Yes किंवा No निर्णय | काहीच सुरू न करण्याचा निर्णय योग्य होता का हे तपासत नाही |
AgentCore सूचनांचे पालन | लोड केलेल्या सूचना आणि पूर्ण सत्र; पूर्ण पालन ते पालन नाही अशा पाच पातळ्या | नोंदवलेल्या टप्प्यांचे पालन तपासते; मूळ काम योग्य होते का हे नाही |
पिन केलेल्या SkillInvoked अंमलबजावणीत जुळणारी लोड-नोंद आणि स्थिती loaded आवश्यक आहे. यशस्वी लोड नसल्यास अनुपस्थित, अयशस्वी किंवा अनिर्णित प्रयत्न ही तपासणी फेल करतात. कोणतेही न्यायाधीश मॉडेल चालवले जात नाही. चाचणी प्रकरणात विशिष्ट कौशल्य आवश्यक असल्यास ही थेट तपासणी उपयुक्त ठरते.
AgentCore शून्य निकाल देऊ शकते
AgentCore च्या दस्तऐवजीकरणानुसार, invocation किंवा कौशल्य-मजकुराचे संकेत दोन्ही नसतील तर दोन्ही न्यायाधीश टूल कॉल वगळतात. कौशल्य invocation आढळले नाही, तर सत्रातून शून्य निकाल मिळतात.
कौशल्यांची सूची उपलब्ध नसली तरी निवड तपासणे थांबत नाही: मूल्यमापक विनंती आणि संभाषणाचा संदर्भ वापरतो. सूचनांचे पालन तपासण्यासाठी सुरू केलेले कौशल्य आणि त्याचा लोड झालेला मजकूर दोन्ही आवश्यक आहेत; पुढील टप्प्यांचा पुरावा पूर्ण सत्रातून मिळतो.
Strands मध्ये पास ठरू शकणारी N/A नोंद मिळू शकते
स्रोत-परीक्षणात Strands Evals च्या 9ea55c9 तपासलेल्या commit मधील वेगळी मांडणी दिसते. हे त्या अंमलबजावणीचे वर्णन आहे; इन्स्टॉल केलेल्या प्रत्येक SDK आवृत्तीचे नाही.
ट्रॅजेक्टरी उपलब्ध असून invocation नसल्यास, निवड-मूल्यमापक लागू नाही अशी नोंद देतो: गुणाचा पर्यायी आकडा 0.0 , test_pass=true. कौशल्य न वापरणे योग्य होते का, हा त्या न्यायाधीशाच्या तपासणीबाहेरील प्रश्न आहे.
सूचनांचे पालन तपासणारा मूल्यमापक देखील invocation नसताना, लोड अयशस्वी झाल्यावर किंवा सूचनांचा मजकूर उपलब्ध नसताना पास N/A नोंदी देतो. ट्रॅजेक्टरीच अनुपस्थित असल्यास दोन्ही मूल्यमापक पास फ्लॅग खोटा असलेली N/A नोंद देतात.
त्यांचे एकत्रित करणारे फंक्शन N/A नोंदी सरासरीतून वगळते. सर्व नोंदी N/A असतील, तर ते पर्यायी शून्य गुण ठेवते आणि नोंदींचे पास फ्लॅग एकत्र करते. म्हणून संख्या आणि फ्लॅगचा अर्थ लावताना त्यांचे लेबल व कारणही पाहावे.
आवश्यक रूटिंगसाठी न्यायाधीशांसोबत विशिष्ट कौशल्य लोड झाल्याची तपासणी जोडा. पालनाबाबत निर्णय घेण्यापूर्वी सूचना आणि अंमलबजावणीचा पुरावा नोंदला गेला आहे का ते पाहा. BIG CHANGE ने दस्तऐवज आणि स्रोत कोड तपासले; या मूल्यमापकांना चालवले नाही.
