Sinimulan ng OpenAI ang paglalabas ng text watermark, ngunit limitado ang napapatunayan ng detector

Inanunsyo ng OpenAI ang textGrain noong Oktubre 5, isang di-nakikitang watermark na nagbabago sa estadistikal na padron ng mga salitang pinipili ng mga modelo nito. Ayon sa kumpanya, sinisimulan nito ang paunti-unting paglulunsad bilang tugon sa mga tuntunin ng EU tungkol sa pinagmulan ng teksto. Maaaring hanapin ng katugmang detector ang padron sa isang sipi, ngunit limitado lamang ang pahiwatig ng resulta kung ang teksto ay ginawa o pinroseso ng sistema ng OpenAI.

Ang malaking pagbabago

• Ano ang nagbago: Inililipat ng OpenAI ang pagpapatunay ng pinagmulan ng teksto mula sa usaping pananaliksik tungo sa limitadong paglulunsad. Magkakaroon ng watermark sa mga kwalipikadong output ng ChatGPT at Codex sa EU sa mga susunod na linggo; maaari nang mag-opt in ngayon sa buong mundo ang piling customer ng API.
• Bakit ito mahalaga: Sa hinaharap, maaaring magkaroon ng signal sa mismong pananalita ang mga organisasyong sumusuri ng AI text. Ipinapakita ng inilathalang resulta ng OpenAI kung bakit kailangan ng konteksto ang resulta ng detector: maaaring hindi matukoy ang maiikli o mahigpit ang pagkakasulat na sipi at ang tekstong inedit, at posible pa rin ang maling positibong resulta.
• Ano ang dapat bantayan: Ang agarang pagsubok ay kung gaano kaaasahang nananatili ang signal sa karaniwang paggamit, sa iba-ibang haba, paksa at wika. Nililimitahan ng OpenAI ang access sa detector para sa mga aprubadong mananaliksik at ekspertong organisasyon habang sinusuri nito ang mga hangganang ito.

Dalawang paglulunsad, magkaibang access

Ayon sa OpenAI, idadagdag nito ang textGrain sa mga kwalipikadong output ng teksto ng ChatGPT at Codex sa lahat ng plan sa European Union sa mga susunod na linggo. Isa itong nakaplanong panrehiyong paglulunsad, hindi pahayag na may watermark na ngayon ang bawat sagot sa EU. Para sa API, maaaring mag-opt in ang mga customer sa buong mundo para sa piling modelo simula Oktubre 5; naka-off bilang default ang watermarking. Ayon sa OpenAI, maaari itong i-enable ng mga customer sa mga setting ng proyekto o organisasyon at pumili ng mga suportadong modelo. Makikita sa mga setting na iyon ang listahan ng mga kwalipikadong modelo at maaari itong magbago.

Gumagana ang TextGrain sa pamamagitan ng mga pinipili ng modelo mula sa mga posibleng salita o bahagi ng salita, na tinatawag na token. Ayon sa OpenAI, ginagabayan ng isang lihim na susi ang maliliit na pagbabago sa mga pagpiling iyon habang bumubuo ng teksto. Pagkatapos, sinusuri ng detector na may katugmang susi at mga setting kung taglay ng sipi ang nagresultang estadistikal na padron. Walang idinadagdag na nakatagong karakter, espasyo o nakikitang bantas ang watermark. Kaya hindi kailangang may dalang hiwalay na metadata kapag kinopya ang teksto, bagaman hindi ginagarantiyang matutukoy ang signal kahit hindi binago ang mga salita.

Nililimitahan din ng pagkakaibang iyon kung sino ang maaaring sumuri ng sipi. Tumatanggap ang OpenAI ng mga aplikasyon para sa text detector, na sa simula ay para sa mga aprubadong mananaliksik at ekspertong organisasyon. Hindi nito bubuksan sa publiko ang detector sa paglulunsad. Hiwalay ang mga pampublikong tool nito sa pagpapatunay ng mga suportadong larawan at audio; hindi nagbibigay ang mga iyon ng bukas na pagsusuri para sa textGrain.

Maaaring hindi makita ang signal o mapagkamalang naroon ito

Iniulat ng OpenAI ang mga rate ng pagtukoy batay sa isang target na false positive rate na 1% sa isang pagsusuri. Sa mga siping pang-psychology, nakakita ng watermark ang detector nito sa humigit-kumulang 80% ng mga sample na 200 token at humigit-kumulang 95% ng mga sample na 400 token. Ayon sa kumpanya, mas mababa nang malaki ang pagtukoy sa matematika, kung saan mas limitado ang kalayaan sa pagpili ng salita. Mga resulta ito ng pagsusuri ng kumpanya sa itinakdang mga kondisyon, hindi sukat ng tagumpay sa tekstong nakikita sa totoong mundo.

Pinahina ng mga pag-edit ang signal sa isa pang pagsubok ng kumpanya sa mga siping 400 token: nang palitan ng kasingkahulugan ang 10% ng mga salita, bumaba ang pagtukoy mula humigit-kumulang 92% tungo sa 66%; nang 25% ang pinalitan, bumaba ito sa 17%. Mas mahirap ding sitwasyon ang pagsasalin, malawakang paraphrase, maiikling sagot at code ayon sa dokumentasyon ng OpenAI. Sinasabi ng kumpanya na nag-iiba ang pagtukoy ayon sa wika. Kaya hindi mapatutunayan ng negatibong resulta na tao ang sumulat ng teksto. Maaaring masyadong maikli ang sipi, nabago, ginawa bago ang paglulunsad, o ginawa ng modelong o produktong hindi saklaw ng watermark.

May hangganan din ang positibong resulta. Maaaring mag-ulat nang mali ang detector na may watermark. Kapag nakakita ito ng signal, ayon sa OpenAI, ebidensiya iyon na malamang na gumawa o nagproseso ang sistema nito ng kahit bahagi ng sipi. Hindi nito sinusukat kung gaano kalaki ang ambag ng isang tao, kinikilala ang account o prompt, o tinutukoy kung sino ang sumulat, nagmamay-ari o mananagot sa teksto. Hindi rin nito napapatunayang tama ang sipi. Hindi matutukoy ng resulta lamang ang taong gumamit ng tool.

Plano ng OpenAI ang higit pang pagsusuri at sinasabing nilalayon nitong ilabas ang textGrain bilang open-source na teknolohiya. Sa ngayon, mas makitid ang praktikal na pagbabago: magkakaroon ng signal na nababasa ng makina ang ilang bagong tekstong ginawa ng OpenAI, samantalang nananatiling limitado ang paraan ng pagsuri rito at ang mga konklusyong sinusuportahan nito. Batay ang aming ulat sa anunsyo at dokumentasyon ng tulong ng OpenAI; hindi gumawa ang BIG CHANGE ng tekstong may watermark o nagpatakbo ng detector.