xAI je 14. oktobra objavio Grok Voice 3.0 putem svog hostovanog Voice Agent API-ja. Za tim koji bira glasovnog agenta za korisničku podršku, aktuelna tabela govor-u-govor kompanije Artificial Analysis pokazuje napredak od 15,1 procentnog poena u simuliranim zadacima podrške u odnosu na Grok Voice 2.0, malu promenu u zasebnoj meri uspešnosti zadataka i sporiji prvi zvučni odgovor.

xAI navodi da alias grok-voice-latest sada automatski vodi na 3.0. Aktuelni vodič za API takođe nudi verzionisano ime grok-voice-3.0 za timove koji moraju da fiksiraju izdanje. WebSocket krajnja tačka, parametri sesije i događaji ostaju isti kao u 2.0, prema xAI-ju. Korisnici aliasa ne moraju da migriraju aplikaciju, mada je novi model iza promenljivog aliasa razlog da ponove sopstvene testove poziva u aplikaciji.

Velika promena

  • Šta se promenilo: Grok Voice 3.0 zamenio je 2.0 iza API aliasa grok-voice-latest. Artificial Analysis sada navodi rezultat od 71,6% na svom simuliranom testu korisničke podrške, naspram 56,5% za 2.0.
  • Zašto je važno: Ta mera proverava da li agent postiže ispravno stanje baze podataka u unapred pripremljenim problemima iz avio-saobraćaja, maloprodaje i telekomunikacija. Relevantnija je za tok rada podrške od opšte ocene audio-rezonovanja, iako je i dalje simulacija.
  • Šta pratiti: Isti evaluator izmerio je 0,81 sekundu do prvog zvuka za 3.0, naspram 0,70 sekundi za 2.0. Timovi bi pre promene implementacije sa fiksiranom verzijom trebalo da provere sopstveno vreme odgovora, završavanje zadataka i naplativo trajanje sesije.

Rezultat podrške i kašnjenje odgovora

U svojoj metodologiji, Artificial Analysis opisuje τ-Voice kao test u kom simulirani korisnik zove agenta opremljenog dokumentom sa pravilima i alatima za određenu oblast. Njegovi zadaci iz avio-saobraćaja, maloprodaje i telekomunikacija imaju definisana konačna stanja baze podataka, a rezultat je prosek tri pokušaja. Aktuelna tabela daje Grok Voice 3.0 rezultat od 71,6%, naspram 56,5% za Grok Voice 2.0: rast od 15,1 procentnog poena u tim uslovima testiranja. Evaluacija koristi simuliranog korisnika, generisani govor, transkripciju i model za ocenjivanje. Ne meri udeo stvarnih pozivalaca čije probleme rešava implementirana usluga.

Zasebna stopa uspešnosti zadataka u Speech Agent Arena raste samo sa 94,6% za 2.0 na 94,8% za 3.0. Ona broji odgovarajuće razgovore sa ispravnim završnim pozivima alata koji dovršavaju zadatak; koristi drugačiji test od τ-Voice. Ukupan indeks Artificial Analysis raste sa 81,3 na 86,9. Njegova aktuelna verzija daje jednaku težinu audio-rezonovanju, τ-Voice testu, slepoj preferenciji pozivalaca i uspešnosti zadataka u Areni. Nijedna od tih brojki sama ne dokazuje napredak u svakom zadatku korisničke podrške.

Za brzinu, Artificial Analysis navodi prosečno vreme do prvog zvuka na svojim Big Bench Audio pitanjima. Grok Voice 3.0 zahteva 0,81 sekundu, a 2.0 zahteva 0,70 sekundi. Novom modelu je zato u tom testu trebalo 0,11 sekundi duže da počne da govori, iako xAI njegovu latenciju opisuje kao „ispod jedne sekunde“ u najavi izdanja. Merenje se završava pri prvom zvučnom izlazu; ne meri kašnjenje čitavog poziva niti vreme rešavanja problema.

Šta obuhvata navedena cena glasa

xAI navodi cenu od 0,08 dolara po minutu, odnosno 4,80 dolara po satu, za zvuk govor-u-govor kod obe verzije. Njegova stranica sa cenama modela dodaje 0,004 dolara za svaki naplativi tekstualni događaj conversation.item.create. Uz podrazumevano otkrivanje smene govornika server_vad, audio-merač računa trajanje sesije. Uz režim pritisni-za-govor računa poslati i primljeni zvuk. Stalno otvorena desetominutna sesija zato po navedenoj tarifi za trajanje košta 0,80 dolara za zvuk, pre zasebno naplaćenih tekstualnih događaja. Taj proračun zasniva se na xAI cenovniku, a ne na računu BIG CHANGE-a ili testiranom pozivu.

Programerima je potreban xAI API ključ za serversku WebSocket vezu ili kratkotrajan token za klijentsku aplikaciju. Vodič za API dokumentuje wss://api.x.ai/v1/realtime, parametar upita model, događaj session.update za uputstva, glas i otkrivanje smene govornika, kao i povratne događaje sa strimingom zvuka. xAI navodi ograničenje od deset istovremenih sesija po timu i najduže trajanje sesije od 120 minuta. Tim za podršku i dalje bi morao da obezbedi sopstvena pravila, alate, granice korišćenja podataka korisnika i tok eskalacije; objavljena konfiguracija testa ne pokazuje kako će ta konkretna implementacija raditi.

xAI takođe navodi da Starlink obrađuje 20.000 poziva dnevno pomoću Grok Voice-a i rešava oko 70% bez čoveka. To su operativni podaci koje je saopštila kompanija; sintetički testovi Artificial Analysis ih ne potvrđuju. BIG CHANGE je pregledao dokumentaciju izdanja, API-ja i testova. Nismo koristili API, zvali agenta podrške niti ponovili evaluaciju.

Izvori i dodatna literatura