Tavus navodi da je 26 od 54 osobe u jednosminutnom video razgovoru sa novim modelom Griffin-Lite poverovalo da razgovara sa stvarnom osobom. To je upečatljiv rezultat studije koju je sproveo Tavus, ali meri odgovore na konkretan razgovor i pitanje. Griffin-Lite je i dalje istraživačka probna verzija za odabrane testere, a Tavus navodi da razvija mere za obaveštavanje korisnika pre nego što model postane dostupan kupcima.

Suštinska promena

  • Šta se promenilo: Tavus je razvoj istraživanja video-asistenta usmerio ka sistemu koji u istom razgovoru sluša i posmatra, a istovremeno generiše lice i glas. U kratkim razgovorima koje je sproveo Tavus, 26 od 54 osobe poverovalo je da razgovara sa čovekom.
  • Zašto je to važno: Timovima koji razvijaju video-agente, ritam razgovora i izražajan video mogu da olakšaju interakciju sa interfejsom. Ista studija pokazuje zašto pozivaocima treba jasno reći da razgovaraju sa AI sistemom, i to od samog početka.
  • Šta treba pratiti: Griffin-Lite je dostupan samo odabranim istraživačima koji učestvuju u testiranju. Tavus navodi da razvija funkcije za obaveštavanje korisnika i dodatne bezbednosne postupke; njihov oblik i efikasnost, kao i pristup kupaca i cena Griffin-a, još nisu objavljeni.

Šta je mereno rezultatom 26 od 54

U Tavusovom istraživačkom izveštaju od 1. oktobra učesnicima je rečeno da će tokom jednominutnog video razgovora biti povezani sa drugim učesnikom kako bi pričali o tome čemu se raduju ove godine. Umesto toga, sagovornik je bio AI persona kompanije Tavus koju pokreće Griffin-Lite. Nakon razgovora ljudi su ocenili razmenu i odgovorili da li su se zapitali da njihov sagovornik nije stvarna osoba. Tavus im je zatim otkrio da su razgovarali sa AI-em.

Od 54 učesnika koji su razgovarali sa Griffin-Lite-om, njih 26 reklo je da je sagovornik stvarna osoba, odnosno oko 48%. Tavus navodi da je isti protokol primenio na ranije sisteme Phoenix-4.5, Sparrow-2 i Raven-1; u toj grupi je jedna od 41 osobe rekla da je njen sagovornik čovek. Reč je o različitim grupama pozivalaca, a ne o merenju pre i posle na istim ljudima. U objavi se ne utvrđuje kako bi se odgovori promenili u dužim razgovorima, na druge teme ili pri svakodnevnoj upotrebi u kojoj ljudi znaju da se može pojaviti AI agent.

Tavus ovaj rezultat opisuje kao položen Tjuringov test za video u realnom vremenu. To je opis kompanije za njenu jednominutnu studiju, a ne univerzalna potvrda razgovora nalik ljudskom. RuntimeWire u svom nezavisnom izveštaju o predstavljanju takođe opisuje rezultat od 48% kao mali nalaz studije koju je sproveo Tavus i napominje da probna verzija još nije dostupna kupcima. Studija pruža dokaz o procenama učesnika u navedenim uslovima; ona nije nezavisno ponovljen test stope obmane.

Zaseban test meri kvalitet interakcije

Na rang-listi NVIDIA VideoFDB Griffin-Lite je dobio 3,83 od 5 za generisanje i 3,73 za percepciju. U testu se koriste snimci stvarnih video razgovora i ocenjivanje jezičkim modelom prema utvrđenim kriterijumima. Generisanje meri prikladnost glasa, lica i razgovornog ponašanja modela; percepcija meri odgovore na zvuk i video osobe. U NVIDIA-inoj tabeli Griffin-Lite je iznad navedenih sistema u obe kategorije, dok su rezultati za ljudske referentne primere 3,92 i 4,20.

Te ocene mere drugačiji zadatak od pitanja pozivaocima da li misle da je sagovornik čovek. Razlikuju se i skupovi za poređenje i uslovi: u tabeli za generisanje nalaze se sistemi koji povezuju govor sa avatarom, dok su u tabeli za percepciju obuhvaćeni sistemi testirani uz zvuk i video ili, u zasebnim redovima, samo uz zvuk. Rang-lista potvrđuje rezultat prema objavljenim kriterijumima NVIDIA-e. Ona ne potvrđuje Tavusov rezultat od 48% u razgovorima niti pokazuje kako bi se Griffin pokazao kao proizvod za korisničku podršku, podučavanje ili zdravstvo.

Kako Tavus opisuje sistem

Tavus opisuje Griffin kao sistem od dva dela. Kontinuirani razgovorni model prima zvuk i video pozivaoca i određuje šta će se reći, kada će se govoriti i kako će se to izraziti. Sistemi za generisanje govora i videa u realnom vremenu pretvaraju te instrukcije u glas i pokretnu sliku. Kompanija navodi da sistem može da sluša dok govori, prepusti reč drugoj strani kada ga prekine i reaguje na vizuelni kontekst, umesto da čeka završetak svake replike. To su tehnički opisi i demonstracije kompanije Tavus; BIG CHANGE nije pristupio probnoj verziji niti merio ponašanje sistema.

Ova razlika je važna zato što samo generisano lice nije čitava interakcija. Sistem koji reaguje na pauze, pogled i prekide mogao bi da utiče na to da li se pozivalac oseća shvaćeno ili primećuje da razgovara sa softverom. Rezultat VideoFDB-a pruža ocenjeno poređenje razgovornog ponašanja prema protokolu testa. Studija Tavusovih razgovora sa ljudima pruža uži uvid u procenu identiteta. Nijedno ne zamenjuje javne dokaze o pouzdanosti tokom dužeg rada, obaveštavanju korisnika u primeni uživo ili njihovom informisanom pristanku.

Pristup i predstojeća odluka

Tavus navodi da je Griffin-Lite dostupan samo odabranim pouzdanim testerima kao istraživačka probna verzija i da nije dostupan korisnicima Tavus-a. Kompanija je objavila obrazac za prijavu za testiranje. Griffin još nije dostupan preko opšte platforme ili javnog API-ja, a u objavi se ne navodi njegova cena. Postojeći modeli Phoenix, Raven i Sparrow ostaju zasebna linija proizvoda koja se trenutno nudi.

Kompanija navodi da radi na funkcijama za obaveštavanje korisnika i dodatnim bezbednosnim postupcima pre šireg izdanja. Nije objavila datum, detalje rešenja za obaveštavanje ni dokaze o njegovoj efikasnosti. Zato se pri proceni video-agenta u realnom vremenu postavlja konkretno pitanje: kako će pozivalac znati ko ili šta je sa druge strane i kako će se to proveravati pre nego što Griffin postane proizvod za kupce?

Izvori i dodatna literatura