AI முகவர் தேவையான திறனைத் தவிர்த்தாலும் மதிப்பெண் ஏதும் பதிவாகாமல் போகலாம்

செம்மையான பதில் கிடைத்தது மட்டும், AI முகவர் கட்டாய நடைமுறையைப் பயன்படுத்தியதைக் காட்டாது. செப்டம்பர் 22-ஆம் தேதியிட்ட AWS வழிகாட்டி பதிவுசெய்யப்பட்ட இயக்கங்களை வைத்து Strands Evals மற்றும் Amazon Bedrock AgentCore திறன் தேர்வையும் வழிமுறைப் பின்பற்றுதலையும் எவ்வாறு மதிப்பிடுகின்றன என்பதை விளக்குகிறது. மதிப்பீடு இல்லாதபோது இந்த இரு அமைப்புகளும் வெவ்வேறாகக் கையாள்கின்றன; அவற்றின் தேர்ச்சி குறிகளைப் படிப்பவர்களுக்கு இது முக்கியம்.

முக்கிய மாற்றம்

• என்ன மாறியது: இந்தக் கருவிகள், ஒரு நடைமுறை ஏற்றப்பட்டதா, அது பணிக்குப் பொருத்தமானதா, அதன் படிகள் பின்பற்றப்பட்டனவா என்பதைத் தனித்தனியாகச் சரிபார்க்கின்றன.
• இது ஏன் முக்கியம்: ஆய்வு செய்த Strands குறியீடு, மதிப்பிடப்படாத ஒரு நிகழ்வையும் தேர்ச்சி பெற்றதாகக் குறிக்கலாம். அந்தக் குறியை மட்டுமே வைத்து வெளியீட்டு முடிவு எடுத்தால், கட்டாயத் திறன் ஏற்றப்படாததை கவனிக்காமல் போகலாம்.
• எதைக் கவனிக்க வேண்டும்: மதிப்பெண்களுடன் மதிப்பீட்டு உள்ளடக்கத்தையும் சரிபார்க்கவும்: எதிர்பார்க்கப்பட்ட ஏற்றுதல்களில் எவை பதிவாகின, எவை மதிப்பிடப் போதுமான சான்றுகளுடன் அழைக்கப்பட்டன?

மூன்று சோதனைகள் மூன்று வெவ்வேறு கேள்விகளுக்குப் பதிலளிக்கின்றன

ஒரு Agent Skills விவரக்குறிப்பு ஒரு திறனை SKILL.md கோப்பை அடிப்படையாகக் கொண்டு வரையறுக்கிறது. அதன் பெயரும் விளக்கமும் எப்போது அதைப் பயன்படுத்த வேண்டும் என முகவர் தீர்மானிக்க உதவுகின்றன; செயல்படுத்தப்பட்ட பிறகு அதன் வழிமுறைப் பகுதி ஏற்றப்படும். இதனால் திறன் ஏற்றப்பட்டதா என்பது, சரியாகத் தேர்ந்தெடுக்கப்பட்டதா அல்லது நடைமுறைப்படுத்தப்பட்டதா என்பதிலிருந்து தனியான கேள்வியாகிறது.

குறிப்பிட்ட commit-இல் உள்ள SkillInvoked செயலாக்கம் பொருந்தும் ஏற்ற நிகழ்வு, அதன் நிலை ஆகியவற்றைக் கட்டாயப்படுத்துகிறது loaded. வெற்றிகரமான ஏற்றுதல் இல்லாவிட்டால், பதிவு இல்லாத, தோல்வியுற்ற அல்லது தீர்மானிக்கப்படாத முயற்சிகள் இந்தச் சரிபார்ப்பில் தோல்வியடையும். தீர்ப்பு வழங்கும் மாடல் அழைக்கப்படாது. சோதனைக்கே ஒரு குறிப்பிட்ட திறன் தேவைப்படும் போது இது நேரடிச் சரிபார்ப்பை வழங்குகிறது.

AgentCore சில நேரங்களில் முடிவுகளையே வழங்காது

AgentCore-இன் ஆவணத்தின்படி, அழைப்போ திறன் உட்பகுதி குறியீடோ கண்டறியப்படாவிட்டால் இரு மதிப்பீட்டாளர்களும் கருவி அழைப்பைத் தவிர்க்கின்றனர். திறன் அழைப்புகள் எதுவும் கண்டறியப்படாத அமர்வில் முடிவுகள் பூஜ்யமாக இருக்கும்.

பட்டியல் இல்லாதது தேர்வு மதிப்பீட்டை நிறுத்தாது: மதிப்பீட்டாளர் கோரிக்கையையும் உரையாடல் சூழலையும் பயன்படுத்துகிறார். வழிமுறைப் பின்பற்றுதலை மதிப்பிட அழைக்கப்பட்ட திறனும் அது ஏற்றிய உட்பகுதியும் தேவை; அதன் பிறகான படிகளுக்கான சான்றை முழு அமர்வு வழங்குகிறது.

Strands தேர்ச்சி பெற்ற N/A வரியை வழங்கக்கூடும்

Strands Evals commit 9ea55c9, செப்டம்பர் 23 அன்று ஆய்வு செய்த மூலக் குறியீடு வேறொரு விதமான பதிவைக் காட்டுகிறது. இந்த விளக்கம் அந்தச் செயலாக்கத்திற்கே பொருந்தும்; நிறுவப்பட்ட எல்லா SDK பதிப்புகளுக்கும் அல்ல.

இயக்கப் பாதை இருந்தும் திறன் அழைக்கப்படாதபோது, தேர்வு மதிப்பீட்டாளர் பொருந்தாது என்ற வரியைத் திருப்புகிறது: இடநிரப்பி மதிப்பெண் 0.0, test_pass=true. திறனைப் பயன்படுத்த வேண்டாம் என்ற முடிவு சரியா என்பதை அந்த மதிப்பீட்டாளர் கையாளாது.

அந்த வழிமுறைப் பின்பற்றுதல் மதிப்பீட்டாளர் திறன் அழைக்கப்படாதபோது, ஏற்றுதல் மறுக்கப்பட்டபோது அல்லது உட்பகுதி கிடைக்காதபோது தேர்ச்சி பெற்ற N/A வரிகளைத் திருப்புகிறது. இயக்கப் பாதை இல்லாதபோது, இரு மதிப்பீட்டாளர்களும் தேர்ச்சி குறி பொய்யான N/A-ஐத் திருப்புகின்றனர்.

அவற்றின் ஒட்டுமொத்தக் கணக்கீட்டுச் செயல்பாடு N/A வரிகளை சராசரியிலிருந்து விலக்குகிறது. எல்லா வரிகளும் N/A ஆக இருக்கும்போது, இடநிரப்பி பூஜ்யத்தை அப்படியே வைத்துக் கொண்டு, வரிகளின் தேர்ச்சி குறிகளை இணைக்கிறது. எனவே எண்ணையும் குறியையும் அவற்றின் லேபிளும் காரணமும் சேர்த்தே சரியாகப் புரிந்துகொள்ள வேண்டும்.

கட்டாய வழிமுறைத் தேர்வுக்கு, மதிப்பீட்டாளர்களுடன் பெயரிட்ட ஏற்றுதல் சரிபார்ப்பையும் இணைக்கவும். வழிமுறைகள் மற்றும் செயலாக்கச் சான்றுகள் பதிவாகியுள்ளனவா என்பதைப் பார்த்த பிறகே தேர்ச்சி குறியை மதிப்பீடாகக் கருதவும். BIG CHANGE ஆவணங்களையும் மூலக் குறியீட்டையும் ஆய்வு செய்தது; இந்த மதிப்பீட்டாளர்களை இயக்கவில்லை.