Hindi ipinakikita ng matatas na sagot kung sinunod ng AI agent ang kinakailangang proseso. Ipinapaliwanag sa gabay ng AWS noong Setyembre 22 kung paano sinusuri ng Strands Evals at Amazon Bedrock AgentCore ang pagpili ng skill at pagsunod sa mga tagubilin batay sa mga naitalang takbo. Magkaiba ang paghawak ng dalawang sistema sa nawawalang ebalwasyon, at may implikasyon ito sa sinumang bumabasa ng mga markang pumasa.
Ang malaking pagbabago
- Ano ang nagbago: Tinutukoy ng mga tool na ito kung na-load ang proseso, kung angkop ito sa gawain at kung sinunod ang mga hakbang nito.
- Bakit ito mahalaga: Maaaring markahan ng sinuring code ng Strands na pumasa ang kasong hindi nasuri. Maaaring makaligtaan ng pasiya sa release na nakabatay lang sa markang iyon ang kailangang skill na hindi naman na-load.
- Ano ang dapat bantayan: Suriin ang saklaw ng ebalwasyon kasabay ng mga marka: alin sa mga inaasahang paglo-load ang nakita, at alin sa mga tawag ang may sapat na naitalang ebidensiya para masuri.
Iba’t ibang tanong ang sinasagot ng tatlong pagsusuri
Tinutukoy ng espesipikasyon ng Agent Skills ang isang skill batay sa isang file na SKILL.md. Tinutulungan ng pangalan at paglalarawan nito ang agent na magpasiyang kailan ito gagamitin; nilo-load ang katawan ng mga tagubilin matapos itong i-activate. Dahil magkahiwalay ang mga ito, hiwalay ding tanong ang kung matagumpay na nag-load, kung angkop itong piliin at kung tama ang pagsasagawa.
Pagsusuri | Ebidensiya at resulta | Limitasyon |
|---|---|---|
Strands | Naitalang matagumpay na pag-load ng pinangalanang skill; deterministikong markang pumasa o bumagsak | Hindi sinusuri kung angkop ang skill o kung paano ito isinagawa |
Katumpakan ng pagpili sa AgentCore | Tinawag na skill, kahilingan, naunang konteksto at katalogo kung mayroon; hatol ng modelo na Oo o Hindi | Hindi hinahatulan ang pasiyang walang tawaging anuman |
Pagsunod ng AgentCore sa mga tagubilin | Mga na-load na tagubilin at buong session; limang antas mula sa lubusang pagsunod hanggang sa hindi pagsunod | Sinusuri kung sinunod ang mga naitalang hakbang, hindi kung tama ang mismong gawain |
Nangangailangan ang naka-pin na SkillInvoked na implementasyon ng katugmang load event na may status na loaded. Kung walang matagumpay na pag-load, bumabagsak ang pahayag na ito para sa mga pagtatangkang wala, bigo o hindi nalutas. Walang tinatawag na modelong tagahatol. Direktang nasusuri nito kung nangangailangan ng partikular na skill ang test case.
Maaaring walang ilabas na resulta ang AgentCore
Ayon sa dokumentasyon ng AgentCore, nilalaktawan ng dalawang tagahatol ang tool call kapag walang nakitang senyas ng pagtawag o katawan ng skill. Walang lumalabas na resulta kapag walang natukoy na pagtawag sa skill sa session.
Hindi pinipigilan ng nawawalang katalogo ang pagsusuri sa pagpili: ginagamit ng evaluator ang kahilingan at konteksto ng usapan. Kailangan naman sa pagsusuri ng pagsunod sa tagubilin ang parehong tinawag na skill at na-load nitong katawan; nagbibigay ng ebidensiya tungkol sa mga sumunod na hakbang ang buong session.
Maaaring magbalik ang Strands ng markang N/A na pumasa
Ipinakikita ng pagsusuri sa source code ang ibang paraan ng paglalahad sa Strands Evals commit na 9ea55c9, na sinuri noong Setyembre 23. Inilalarawan nito ang implementasyong iyon, hindi ang bawat naka-install na bersiyon ng SDK.
Kapag may trajectory ngunit walang pagtawag, ang evaluator ng pagpili ay nagbabalik ng row na hindi naaangkop: placeholder na markang 0.0, test_pass=true. Wala sa saklaw ng tagahatol na iyon kung tama ang pasiyang hindi gumamit ng skill.
Nagbabalik din ang evaluator ng pagsunod sa mga tagubilin ng mga row na pumapasang N/A kapag walang pagtawag, tinanggihan ang pag-load o hindi makuha ang katawan ng skill. Sa halip, N/A na may markang hindi pumasa ang ibinabalik ng dalawang evaluator kapag walang trajectory.
Hindi isinasama ng kanilang pangkalahatang function ang mga row na N/A sa mean. Kapag N/A ang lahat ng row, pinananatili nito ang placeholder na sero at pinagsasama ang mga marka ng pagpasa ng mga row. Kaya kailangang basahin ang bilang at marka kasabay ng label at dahilan ng mga ito.
Para sa kailangang routing, samahan ang mga tagahatol ng pahayag na pinangalanan ang kinakailangang load. Para sa pagsunod, tiyaking nakuhanan ng ebidensiya ang mga tagubilin at pagsasagawa bago ituring na hatol ang markang pumasa. Dokumentasyon at source code ang sinuri ng BIG CHANGE; hindi nito pinatakbo ang mga evaluator na ito.
