Fluentan odgovor ne pokazuje da li je AI agent primenio obaveznu proceduru. AWS-ov vodič od 22. septembra objašnjava kako Strands Evals i Amazon Bedrock AgentCore evaluiraju izbor skill-ova i praćenje uputstava na osnovu zabeleženih pokretanja. Dva sistema različito obrađuju slučaj bez evaluacije, što utiče na svakoga ko tumači njihove oznake prolaznosti.
Najvažnija promena
- Šta se menja: Ovi alati razlikuju da li je procedura učitana, da li je odgovarala zadatku i da li su njeni koraci ispoštovani.
- Zašto je važno: Pregledani Strands kod može da označi slučaj bez ocene kao prolazan. Odluka o puštanju sistema u rad zasnovana samo na toj oznaci može da previdi da se obavezni skill nije ni učitao.
- Na šta obratiti pažnju: Proverite pokrivenost evaluacijom uz ocene: koja očekivana učitavanja su zabeležena i za koja pozivanja ima dovoljno podataka da bi se donela ocena.
Tri provere odgovaraju na različita pitanja
Specifikacija Agent Skills definiše skill kroz datoteku SKILL.md. Njegovo ime i opis pomažu agentu da odluči kada da ga upotrebi; tekst uputstava učitava se nakon aktivacije. Zato je uspešno učitavanje zasebno pitanje od pravilnog izbora ili izvršavanja.
Provera | Dokaz i rezultat | Ograničenje |
|---|---|---|
Strands | Zabeleženo uspešno učitavanje imenovanog skill-a; deterministički prolaz ili pad | Ne procenjuje prikladnost ni izvršavanje |
Tačnost izbora u AgentCore-u | Pozvani skill, zahtev, prethodni kontekst i katalog kada je dostupan; model prosuđuje sa odgovorom Da ili Ne | Ne procenjuje da li je bilo ispravno ne pozvati nijedan skill |
Praćenje uputstava u AgentCore-u | Učitana uputstva i cela sesija; pet nivoa, od potpunog do izostalog praćenja | Procenjuje praćenje zabeleženih koraka, a ne ispravnost samog rada |
Fiksirana SkillInvoked implementacija zahteva događaj učitavanja koji se poklapa sa skill-om i ima status loaded. Bez uspešnog učitavanja, ovaj uslov pada ako pokušaj nedostaje, nije uspeo ili mu ishod nije razrešen. Model ne učestvuje u ocenjivanju. To omogućava neposrednu proveru kada testni slučaj zahteva određeni skill.
AgentCore može da vrati nula rezultata
Prema dokumentaciji AgentCore-a, oba ocenjivača preskaču poziv alata kada nema signala ni o pozivanju ni o telu skill-a. Sesija u kojoj nije otkriven nijedan poziv skill-a daje nula rezultata.
Nedostajući katalog ne zaustavlja ocenjivanje izbora: evaluator koristi zahtev i kontekst razgovora. Praćenje uputstava zahteva i pozvani skill i njegovo učitano telo, a cela sesija pruža dokaze o narednim koracima.
Strands može da vrati prolazni red sa oznakom N/A
Pregledom izvornog koda utvrđeno je drugačije predstavljanje u verziji Strands Evals-a sa revizijom 9ea55c9, pregledanoj 23. septembra. Ovo opisuje tu implementaciju, a ne sve instalirane verzije SDK-a.
Kada postoji zapis toka rada, ali nema poziva, evaluator izbora vraća red „nije primenljivo“: privremenu ocenu 0.0, test_pass=true. Taj evaluator ne procenjuje da li je odluka da se skill ne upotrebi bila ispravna.
Evaluator za praćenje uputstava takođe vraća prolazne N/A redove kada skill nije pozvan, njegovo učitavanje nije uspelo ili telo uputstava nije dostupno. Ako zapis toka rada nedostaje, oba evaluatora vraćaju N/A uz oznaku neuspeha.
Njihova zbirna funkcija izostavlja N/A redove iz prosečne ocene. Kada su svi redovi N/A, zadržava nulu kao privremenu ocenu i objedinjuje oznake prolaznosti pojedinačnih redova. Zato broj i oznaku treba tumačiti zajedno sa njihovim nazivom i razlogom.
Ako je potrebno obavezno usmeravanje, uparite ocenjivače sa proverom učitavanja imenovanog skill-a. Da biste procenili praćenje uputstava, pre nego što oznaku prolaznosti shvatite kao ocenu, proverite da li su instrukcije i dokazi o izvršavanju zabeleženi. BIG CHANGE je pregledao dokumentaciju i izvorni kod, ali nije pokretao ove evaluatore.
