Течан одговор не показује да ли је агент вештачке интелигенције применио обавезан поступак. Водич AWS-а од 22. септембра објашњава како Strands Evals и Amazon Bedrock AgentCore оцењују избор вештина и праћење упутстава на основу забележених покретања. Два система различито поступају када евалуација изостане, што утиче на то како треба тумачити њихове ознаке успешности.
Суштинска промена
- Шта се променило: Ови алати разликују да ли је поступак учитан, да ли је одговарао задатку и да ли су његови кораци испоштовани.
- Зашто је важно: Прегледани код за Strands може да означи случај без оцене као успешан. Одлука о објављивању заснована само на тој ознаци може да превиди обавезну вештину која никада није учитана.
- На шта обратити пажњу: Проверите покривеност евалуацијом уз оцене: који су очекивани случајеви учитавања забележени, а за која покретања има довољно података да се донесе оцена.
Три провере дају одговоре на различита питања
Према документу Спецификација Agent Skills вештина се дефинише преко датотеке SKILL.md. Њен назив и опис помажу агенту да одлучи када да је употреби; тело упутстава учитава се након активирања. Зато је успешно учитавање засебно питање од прикладности избора или извршења.
Провера | Доказ и резултат | Ограничење |
|---|---|---|
Strands | Забележено успешно учитавање именоване вештине; детерминистичка оцена „успешно“ или „неуспешно“ | Не процењује прикладност нити извршење |
Тачност избора у AgentCore-у | Позвана вештина, захтев, претходни контекст и каталог ако су доступни; модел процењује одговором „да“ или „не“ | Не процењује одлуку да се не позове ниједна вештина |
Праћење упутстава у AgentCore-у | Учитавају се упутства и цела сесија; пет нивоа од потпуног праћења до непраћења | Процењује забележено праћење корака, а не исправност самог посла |
Закачена SkillInvoked имплементација захтева догађај учитавања који се подудара и има статус loaded. Без успешног учитавања, одсуство покушаја, неуспело учитавање или неразрешен покушај не пролазе ову проверу. Не позива се модел за оцењивање. Тако се директно проверава случај у ком тест захтева одређену вештину.
AgentCore може да врати нула резултата
Према документацији AgentCore-а, оба оцењивача прескачу позив алата ако нису уочени ни сигнали покретања ни сигнали у телу вештине. Сесија без откривених позива вештина даје нула резултата.
Недостајући каталог не зауставља процену избора: евалуатор користи захтев и контекст разговора. За праћење упутстава потребни су и позвана вештина и њено учитано тело, док цела сесија пружа доказ о наредним корацима.
Strands може да врати пролазни ред „није применљиво“
Преглед изворног кода открива другачији приказ у комиту 9ea55c9, прегледаном 23. септембра. Ово описује ту имплементацију, а не сваку инсталирану верзију SDK-а.
Када постоји ток покретања, али нема позива вештине, евалуатор избора враћа ред „није применљиво“: привремену оцену 0.0, test_pass=true. Питање да ли је било исправно не користити вештину ван је опсега тог оцењивача.
И евалуатор праћења упутстава враћа пролазне редове „није применљиво“ ако нема позива, учитавање је одбијено или тело није доступно. Ако недостаје ток покретања, оба евалуатора враћају „није применљиво“ уз ознаку неуспеха.
Њихова агрегациона функција изоставља редове „није применљиво“ из просека. Када су сви редови такви, чува привремену оцену нула и комбинује њихове ознаке успешности. Зато оцену и ознаку треба тумачити заједно са њиховим називом и разлогом.
За обавезно усмеравање упарите ове евалуаторе са провером учитавања именоване вештине. За проверу придржавања прво утврдите да ли су забележена упутства и докази о извршењу, па тек онда тумачите ознаку успешности. BIG CHANGE је прегледао документацију и изворни код; није покретао ове евалуаторе.
