సరళంగా, సమంజసంగా ఉన్న సమాధానం ఇచ్చిందని మాత్రమే ఏఐ ఏజెంట్ అవసరమైన విధానాన్ని ఉపయోగించిందని నిరూపించదు. సెప్టెంబర్ 22న AWS ప్రచురించిన మార్గదర్శకం రికార్డు చేసిన రన్‌ల ఆధారంగా Strands Evals, Amazon Bedrock AgentCore నైపుణ్య ఎంపికను, సూచనల అనుసరణను ఎలా మూల్యాంకనం చేస్తాయో వివరిస్తుంది. మూల్యాంకనం లేని సందర్భాన్ని ఈ రెండు వ్యవస్థలు వేర్వేరుగా నిర్వహిస్తాయి; వాటి పాస్ సూచికలను చదివేవారికి దీనివల్ల ప్రభావం ఉంటుంది.
పెద్ద మార్పు
- ఏం మారింది: ఒక విధానం లోడ్ అయిందా, అది పనికి సరిపోయిందా, దాని దశలను అనుసరించారా అనే విషయాలను ఈ సాధనాలు వేరుగా గుర్తిస్తాయి.
- ఇది ఎందుకు ముఖ్యం: పరిశీలించిన Strands కోడ్‌లో మూల్యాంకనం చేయని సందర్భాన్ని కూడా పాస్‌గా గుర్తించవచ్చు. ఆ సూచిక ఒక్కటినే ఆధారంగా చేసుకుని విడుదల నిర్ణయం తీసుకుంటే, అవసరమైన నైపుణ్యం లోడ్ కాని విషయాన్ని గుర్తించకపోవచ్చు.
- ఏమి గమనించాలి: స్కోర్లతో పాటు మూల్యాంకన కవరేజీని కూడా పరిశీలించండి: ఆశించిన లోడ్‌లలో ఏవి నమోదయ్యాయి, ఏ అమలుల్లో తీర్పు ఇవ్వడానికి సరిపడ ఆధారాలు లేవు?
మూడు తనిఖీలు మూడు వేర్వేరు ప్రశ్నలకు సమాధానమిస్తాయి
ది ఏజెంట్ స్కిల్స్ స్పెసిఫికేషన్ నైపుణ్యాన్ని ఒక SKILL.md ఫైల్ ఆధారంగా నిర్వచిస్తుంది. దాని పేరు, వివరణ ఏజెంట్ ఎప్పుడు దాన్ని ఉపయోగించాలో నిర్ణయించడంలో తోడ్పడతాయి; సక్రియం చేసిన తర్వాతే సూచనల భాగం లోడ్ అవుతుంది. ఈ విభజన వల్ల విజయవంతమైన లోడింగ్ అనేది సరైన ఎంపిక లేదా అమలుకు వేరే ప్రశ్నగా మారుతుంది.
తనిఖీ | ఆధారం, ఫలితం | పరిమితి |
|---|---|---|
Strands | పేర్కొన్న నైపుణ్యం విజయవంతంగా లోడ్ అయినట్లు నమోదు; నిర్ణీత పాస్ లేదా ఫెయిల్ ఫలితం | ఎంపిక పనికి సరిపోయిందా లేదా అమలైందా అని అంచనా వేయదు |
AgentCore ఎంపిక ఖచ్చితత్వం | పిలిచిన నైపుణ్యం, అభ్యర్థన, ముందరి సందర్భం, అందుబాటులో ఉంటే కేటలాగ్; మోడల్ ఇచ్చే అవును లేదా కాదు తీర్పు | ఏ నైపుణ్యాన్నీ పిలవకూడదనే నిర్ణయాన్ని అంచనా వేయదు |
AgentCore సూచనల అనుసరణ | లోడ్ చేసిన సూచనలు, పూర్తి సెషన్; పూర్తిగా అనుసరించారు నుంచి అనుసరించలేదు వరకు ఐదు స్థాయిలు | నమోదైన దశల అనుసరణను అంచనా వేస్తుంది; అసలు పని సరైందో కాదో కాదు |
పిన్ చేసిన SkillInvoked అమలు సరిపోలే లోడ్ ఈవెంట్‌ను, దాని స్థితి loaded. విజయవంతమైన లోడ్ లేకపోతే, లేని లేదా విఫలమైన లేదా పరిష్కారం కాని ప్రయత్నాలన్నీ ఈ తనిఖీలో ఫెయిల్ అవుతాయి. ఇందులో జడ్జి మోడల్‌ను పిలవరు. పరీక్ష సందర్భంలో నిర్దిష్ట నైపుణ్యం తప్పనిసరి అయినప్పుడు ఇది ప్రత్యక్ష తనిఖీని అందిస్తుంది.
AgentCoreలో ఫలితాలు సున్నా రావచ్చు
దాని ప్రకారం AgentCore డాక్యుమెంటేషన్ ప్రకారం, నైపుణ్యం పిలవబడినట్లు లేదా దాని బాడీ ఉన్నట్లు సూచనలు ఏవీ కనిపించకపోతే రెండు జడ్జీలూ టూల్ కాల్‌ను దాటవేస్తాయి. నైపుణ్య వినియోగం గుర్తించని సెషన్‌లో ఫలితాలు సున్నా వస్తాయి.
కేటలాగ్ అందుబాటులో లేకపోయినా ఎంపిక మూల్యాంకనం ఆగదు: జడ్జి అభ్యర్థనను, సంభాషణ సందర్భాన్ని ఉపయోగిస్తుంది. సూచనల అనుసరణను అంచనా వేయాలంటే పిలిచిన నైపుణ్యంతో పాటు దాని లోడ్ చేసిన బాడీ కూడా అవసరం; తర్వాతి దశలకు ఆధారం పూర్తి సెషన్ నుంచే వస్తుంది.
Strandsలో పాస్ అయిన N/A వరుస రావచ్చు
సోర్స్ పరిశీలనలో సెప్టెంబర్ 23న చూసిన Strands Evals కమిట్ 9ea55c9లో వేరొక రూపకల్పన కనిపించింది. ఇది ఆ అమలుకు సంబంధించిన వివరణ మాత్రమే; ఇన్‌స్టాల్ చేసిన ప్రతి SDK వెర్షన్‌కీ వర్తిస్తుందని కాదు.
ట్రాజెక్టరీ ఉన్నా నైపుణ్యాన్ని పిలవనప్పుడు, ఎంపిక మూల్యాంకనం వర్తించదు అనే వరుసను ఇస్తుంది: ప్లేస్‌హోల్డర్ స్కోరు 0.0, test_pass=true. నైపుణ్యాన్ని ఉపయోగించకూడదనే నిర్ణయం సరైందా అనేది ఆ జడ్జి పరిధిలోకి రాదు.
ది సూచనల అనుసరణ మూల్యాంకనం కూడా నైపుణ్యాన్ని పిలవకపోయినా, లోడ్ విఫలమైనా లేదా బాడీ అందుబాటులో లేకపోయినా పాస్ అయిన N/A వరుసలను ఇస్తుంది. ట్రాజెక్టరీ లేకపోతే మాత్రం రెండు మూల్యాంకనాల్లోనూ పాస్ సూచిక తప్పుగా ఉండే N/A ఫలితం వస్తుంది.
వాటి సమగ్ర ఫంక్షన్ సగటు లెక్కలో N/A వరుసలను మినహాయిస్తుంది. అన్ని వరుసలూ N/A అయినప్పుడు, ప్లేస్‌హోల్డర్ సున్నాను అలాగే ఉంచి వాటి పాస్ సూచికలను కలుపుతుంది. కాబట్టి సంఖ్యను, సూచికను వాటి లేబుల్‌, కారణంతో కలిపి అర్థం చేసుకోవాలి.
తప్పనిసరి రూటింగ్ కోసం ఈ జడ్జీలను పేరుతో చేసే లోడ్ తనిఖీతో జతచేయండి. అనుసరణను అంచనా వేయాలంటే, పాస్ సూచికను తీర్పుగా భావించే ముందు సూచనలు, అమలు ఆధారాలు నమోదయ్యాయో లేదో చూడండి. BIG CHANGE డాక్యుమెంటేషన్, సోర్స్ కోడ్‌ను పరిశీలించింది; ఈ మూల్యాంకనాలను అమలు చేయలేదు.
