OpenAI je 5. oktobra najavio textGrain, nevidljivi vodeni žig koji menja statistički obrazac reči koje modeli biraju. Kompanija kaže da počinje postepeno uvođenje kao odgovor na pravila EU o poreklu teksta. Odgovarajući detektor može da traži taj obrazac u odlomku, ali rezultat pruža samo ograničen nagoveštaj o tome da li je OpenAI sistem generisao ili obradio tekst.

Glavna promena

  • Šta se promenilo: OpenAI prelazi sa istraživanja porekla teksta na ograničeno uvođenje. Podobni izlazi ChatGPT-a i Codex-a u EU dobiće vodeni žig u narednim nedeljama; pojedini korisnici API-ja već sada mogu da ga uključe širom sveta.
  • Zašto je važno: Organizacije koje procenjuju AI tekst možda će ubuduće imati signal ugrađen u sam način izražavanja. Objavljeni rezultati OpenAI-ja pokazuju zašto je rezultat detektora potrebno posmatrati u kontekstu: kratki ili strogo ograničeni odlomci i izmenjen tekst mogu da izmaknu detekciji, a mogući su i lažno pozitivni rezultati.
  • Šta treba pratiti: Prvi test je koliko pouzdano signal opstaje u uobičajenoj upotrebi, kroz tekstove različite dužine, teme i jezike. OpenAI ograničava pristup detektoru na odobrene istraživače i stručne organizacije dok procenjuje te granice.

Dva načina uvođenja, različit pristup

OpenAI kaže da će u narednim nedeljama dodati textGrain u tekstualne izlaze ChatGPT-a i Codex-a koji ispunjavaju uslove na svim planovima u Evropskoj uniji. To je planirano regionalno uvođenje, a ne tvrdnja da svaki odgovor u EU već danas nosi vodeni žig. Za API korisnici širom sveta mogu da izaberu ovu opciju za pojedine modele od 5. oktobra; vodeni žig je podrazumevano isključen. OpenAI navodi da korisnici mogu da ga uključe u podešavanjima projekta ili organizacije i izaberu podržane modele. Spisak podobnih modela prikazuje se u tim podešavanjima i može da se menja.

TextGrain funkcioniše na osnovu izbora modela među mogućim rečima ili delovima reči, koji se nazivaju tokeni. OpenAI kaže da tajni ključ usmerava sitne promene tih izbora tokom generisanja. Detektor sa odgovarajućim ključem i podešavanjima zatim proverava da li odlomak sadrži nastali statistički obrazac. Vodeni žig ne dodaje skrivene znakove, razmake ni vidljive znakove interpunkcije. Zato prilikom kopiranja teksta nije potrebno prenositi zasebne metapodatke, ali očuvanje reči bez izmena ne garantuje da će signal moći da se otkrije.

Ta razlika takođe ograničava ko može da proveri odlomak. OpenAI prima prijave za pristup detektoru teksta, u početku od odobrenih istraživača i stručnih organizacija. Prilikom pokretanja neće otvoriti detektor za javnost. Njegovi javni alati za proveru podržanih slika i zvuka odvojeni su i ne omogućavaju otvorenu proveru textGrain-a.

Signal može da promakne ili da bude pogrešno otkriven

OpenAI navodi stope detekcije pri ciljanoj stopi lažno pozitivnih rezultata od 1% u jednoj proceni. Kod psiholoških tekstova detektor je pronašao vodeni žig u oko 80% uzoraka od 200 tokena i oko 95% uzoraka od 400 tokena. Kompanija kaže da je detekcija bila znatno niža kod matematike, gde ima manje slobode u formulaciji. To su rezultati procene kompanije u određenim uslovima, a ne izmerena stopa uspešnosti za tekstove iz stvarnog sveta.

U drugom testu kompanije na odlomcima od 400 tokena, izmene su oslabile signal: zamena 10% reči sinonimima snizila je detekciju sa oko 92% na 66%; zamena 25% snizila ju je na 17%. Dokumentacija OpenAI-ja navodi i prevođenje, opsežno parafraziranje, kratke odgovore i kod kao teže slučajeve. Kompanija kaže da se detekcija razlikuje po jeziku. Zato negativan rezultat ne dokazuje da je tekst napisala osoba. Odlomak može biti prekratak, izmenjen, nastao pre uvođenja ili ga može generisati model ili proizvod van obuhvata vodenog žiga.

I pozitivan rezultat ima ograničenja. Detektor može pogrešno da prijavi vodeni žig. Ako pronađe signal, OpenAI kaže da je to dokaz da je njegov sistem verovatno generisao ili obradio barem deo odlomka. Rezultat ne meri koliko je osoba doprinela, ne identifikuje nalog ili upit i ne utvrđuje ko je napisao tekst, kome pripada ili ko je odgovoran za njega. Ne može ni da proveri da li je odlomak tačan. Sam rezultat ne otkriva osobu koja je koristila alat.

OpenAI planira dodatne procene i kaže da namerava da objavi textGrain kao tehnologiju otvorenog koda. Za sada je praktična promena uža: deo novog teksta koji generiše OpenAI nosiće mašinski čitljiv signal, dok načini provere i zaključci koje signal podržava ostaju ograničeni. Ovaj tekst zasniva se na najavi i dokumentaciji za pomoć OpenAI-ja; BIG CHANGE nije generisao tekst sa vodenim žigom niti pokretao detektor.