Tavus наводи да је 26 од 54 особе у једносминутном видео разговору са новим моделом Griffin-Lite поверовало да разговара са стварном особом. То је упечатљив резултат студије коју је спровео Tavus, али мери одговоре на конкретан разговор и питање. Griffin-Lite је и даље истраживачка пробна верзија за одабране тестере, а Tavus наводи да развија мере за обавештавање корисника пре него што модел постане доступан купцима.

Суштинска промена

  • Шта се променило: Tavus је развој истраживања видео-асистента усмерио ка систему који у истом разговору слуша и посматра, а истовремено генерише лице и глас. У кратким разговорима које је спровео Tavus, 26 од 54 особе поверовало је да разговара са човеком.
  • Зашто је то важно: Тимовима који развијају видео-агенте, ритам разговора и изражајан видео могу да олакшају интеракцију са интерфејсом. Иста студија показује зашто позиваоцима треба јасно рећи да разговарају са AI системом, и то од самог почетка.
  • Шта треба пратити: Griffin-Lite је доступан само одабраним истраживачима који учествују у тестирању. Tavus наводи да развија функције за обавештавање корисника и додатне безбедносне поступке; њихов облик и ефикасност, као и приступ купаца и цена Griffin-а, још нису објављени.

Шта је мерено резултатом 26 од 54

У Tavusовом истраживачком извештају од 1. октобра учесницима је речено да ће током једноминутног видео разговора бити повезани са другим учесником како би причали о томе чему се радују ове године. Уместо тога, саговорник је био AI персона компаније Tavus коју покреће Griffin-Lite. Након разговора људи су оценили размену и одговорили да ли су се запитали да њихов саговорник није стварна особа. Tavus им је затим открио да су разговарали са АИ-ем.

Од 54 учесника који су разговарали са Griffin-Лите-ом, њих 26 рекло је да је саговорник стварна особа, односно око 48%. Tavus наводи да је исти протокол применио на раније системе Phoenix-4.5, Sparrow-2 и Raven-1; у тој групи је једна од 41 особе рекла да је њен саговорник човек. Реч је о различитим групама позивалаца, а не о мерењу пре и после на истим људима. У објави се не утврђује како би се одговори променили у дужим разговорима, на друге теме или при свакодневној употреби у којој људи знају да се може појавити AI агент.

Tavus овај резултат описује као положен Тјурингов тест за видео у реалном времену. То је опис компаније за њену једноминутну студију, а не универзална потврда разговора налик људском. РунтимеWире у свом независном извештају о представљању такође описује резултат од 48% као мали налаз студије коју је спровео Tavus и напомиње да пробна верзија још није доступна купцима. Студија пружа доказ о проценама учесника у наведеним условима; она није независно поновљен тест стопе обмане.

Засебан тест мери квалитет интеракције

На ранг-листи NVIDIA VideoFDB Griffin-Lite је добио 3,83 од 5 за генерисање и 3,73 за перцепцију. У тесту се користе снимци стварних видео разговора и оцењивање језичким моделом према утврђеним критеријумима. Генерисање мери прикладност гласа, лица и разговорног понашања модела; перцепција мери одговоре на звук и видео особе. У NVIDIA-иној табели Griffin-Lite је изнад наведених система у обе категорије, док су резултати за људске референтне примере 3,92 и 4,20.

Те оцене мере другачији задатак од питања позиваоцима да ли мисле да је саговорник човек. Разликују се и скупови за поређење и услови: у табели за генерисање налазе се системи који повезују говор са аватаром, док су у табели за перцепцију обухваћени системи тестирани уз звук и видео или, у засебним редовима, само уз звук. Ранг-листа потврђује резултат према објављеним критеријумима NVIDIA-е. Она не потврђује Tavusов резултат од 48% у разговорима нити показује како би се Griffin показао као производ за корисничку подршку, подучавање или здравство.

Како Tavus описује систем

Tavus описује Griffin као систем од два дела. Континуирани разговорни модел прима звук и видео позиваоца и одређује шта ће се рећи, када ће се говорити и како ће се то изразити. Системи за генерисање говора и видеа у реалном времену претварају те инструкције у глас и покретну слику. Компанија наводи да систем може да слуша док говори, препусти реч другој страни када га прекине и реагује на визуелни контекст, уместо да чека завршетак сваке реплике. То су технички описи и демонстрације компаније Tavus; BIG CHANGE није приступио пробној верзији нити мерио понашање система.

Ова разлика је важна зато што само генерисано лице није читава интеракција. Систем који реагује на паузе, поглед и прекиде могао би да утиче на то да ли се позивалац осећа схваћено или примећује да разговара са софтвером. Резултат VideoFDB-а пружа оцењено поређење разговорног понашања према протоколу теста. Студија Tavusових разговора са људима пружа ужи увид у процену идентитета. Ниједно не замењује јавне доказе о поузданости током дужег рада, обавештавању корисника у примени уживо или њиховом информисаном пристанку.

Приступ и предстојећа одлука

Tavus наводи да је Griffin-Lite доступан само одабраним поузданим тестерима као истраживачка пробна верзија и да није доступан корисницима Tavus-а. Компанија је објавила образац за пријаву за тестирање. Griffin још није доступан преко опште платформе или јавног АПИ-ја, а у објави се не наводи његова цена. Постојећи модели Phoenix, Равен и Спарроw остају засебна линија производа која се тренутно нуди.

Компанија наводи да ради на функцијама за обавештавање корисника и додатним безбедносним поступцима пре ширег издања. Није објавила датум, детаље решења за обавештавање ни доказе о његовој ефикасности. Зато се при процени видео-агента у реалном времену поставља конкретно питање: како ће позивалац знати ко или шта је са друге стране и како ће се то проверавати пре него што Griffin постане производ за купце?

Извори и додатна литература