OpenAI mulai meluncurkan watermark teks, dengan batasan pada hal yang bisa dibuktikan oleh detektor

OpenAI mengumumkan textGrain pada 5 Oktober, sebuah watermark tak kasatmata yang mengubah pola statistik kata-kata pilihan modelnya. Perusahaan mengatakan peluncuran bertahap ini dimulai sebagai tanggapan atas aturan UE tentang asal-usul teks. Detektor yang sesuai dapat mencari pola tersebut dalam suatu bagian teks, tetapi hasilnya hanya memberi petunjuk terbatas tentang apakah sistem OpenAI membuat atau memproses teks itu.

Perubahan utama

• Apa yang berubah: OpenAI beralih dari menjadikan asal-usul teks sebagai persoalan riset ke peluncuran terbatas. Keluaran ChatGPT dan Codex yang memenuhi syarat di UE akan diberi watermark dalam beberapa pekan mendatang; pelanggan API tertentu sudah dapat memilih untuk mengaktifkannya di seluruh dunia.
• Mengapa ini penting: Organisasi yang menilai teks AI mungkin kelak memiliki sinyal yang tertanam dalam susunan katanya. Hasil yang dipublikasikan OpenAI menunjukkan mengapa hasil detektor perlu dilihat dengan konteks: bagian teks yang pendek atau sangat dibatasi, serta teks yang telah diedit, dapat lolos dari deteksi; hasil positif palsu juga tetap mungkin terjadi.
• Hal yang perlu dipantau: Uji awalnya adalah seberapa andal sinyal itu bertahan dalam penggunaan biasa pada teks dengan panjang, topik, dan bahasa yang beragam. OpenAI membatasi akses detektor bagi peneliti yang disetujui dan organisasi ahli sambil mengevaluasi batasan tersebut.

Dua peluncuran, akses yang berbeda

OpenAI mengatakan akan menambahkan textGrain ke keluaran teks ChatGPT dan Codex yang memenuhi syarat di semua paket di Uni Eropa dalam beberapa pekan mendatang. Ini adalah peluncuran regional yang direncanakan, bukan klaim bahwa setiap jawaban di UE sudah memakai watermark saat ini. Untuk API, pelanggan di seluruh dunia dapat memilih model tertentu mulai 5 Oktober; watermark dinonaktifkan secara default. OpenAI mengatakan pelanggan dapat mengaktifkannya di pengaturan proyek atau organisasi dan memilih model yang didukung. Daftar model yang memenuhi syarat terlihat di pengaturan tersebut dan dapat berubah.

TextGrain bekerja melalui pilihan model di antara kemungkinan kata atau bagian kata, yang disebut token. OpenAI mengatakan sebuah kunci rahasia mengarahkan sedikit perubahan pada pilihan tersebut selama proses pembuatan. Detektor dengan kunci dan pengaturan yang cocok kemudian memeriksa apakah suatu bagian teks mengandung pola statistik yang dihasilkan. Watermark ini tidak menambahkan karakter tersembunyi, spasi, atau tanda baca yang terlihat. Karena itu, menyalin teks tidak memerlukan metadata terpisah, meski mempertahankan kata-katanya tetap utuh tidak menjamin sinyal dapat dideteksi.

Perbedaan itu juga membatasi siapa yang dapat memeriksa suatu bagian teks. OpenAI menerima permohonan untuk detektor teks, awalnya dari peneliti yang disetujui dan organisasi ahli. Saat diluncurkan, detektor tidak dibuka untuk umum. Alat verifikasi publiknya untuk gambar dan audio yang didukung merupakan layanan terpisah; alat tersebut tidak menyediakan pemeriksaan textGrain secara terbuka.

Sinyal dapat luput atau terdeteksi secara keliru

OpenAI melaporkan tingkat deteksi pada tingkat positif palsu sasaran sebesar 1% dalam satu evaluasi. Untuk bagian teks psikologi, detektornya menemukan watermark pada sekitar 80% sampel 200 token dan sekitar 95% sampel 400 token. Perusahaan mengatakan deteksi jauh lebih rendah untuk matematika, yang memiliki lebih sedikit keleluasaan dalam pemilihan kata. Ini adalah hasil evaluasi perusahaan dalam kondisi tertentu, bukan tingkat keberhasilan terukur untuk teks yang ditemui di dunia nyata.

Dalam uji perusahaan lainnya terhadap bagian teks sepanjang 400 token, penyuntingan melemahkan sinyal: mengganti 10% kata dengan sinonim menurunkan deteksi dari sekitar 92% menjadi 66%; penggantian 25% menurunkannya menjadi 17%. Dokumentasi OpenAI juga menyebut penerjemahan, parafrasa besar-besaran, jawaban singkat, dan kode sebagai kasus yang lebih sulit. Perusahaan mengatakan tingkat deteksi berbeda menurut bahasa. Karena itu, hasil negatif tidak dapat membuktikan bahwa manusia yang menulis teks tersebut. Bagiannya mungkin terlalu pendek, telah diubah, dibuat sebelum peluncuran, atau dihasilkan model maupun produk yang tidak tercakup watermark.

Hasil positif juga memiliki batasan. Detektor dapat keliru menyatakan bahwa suatu teks mengandung watermark. Jika menemukan sinyal, OpenAI mengatakan hal itu menjadi bukti bahwa sistemnya kemungkinan membuat atau memproses setidaknya sebagian teks tersebut. Hasil itu tidak mengukur seberapa besar kontribusi seseorang, mengidentifikasi akun atau prompt, maupun memastikan siapa yang menulis, memiliki, atau bertanggung jawab atas teks itu. Hasil tersebut juga tidak dapat memverifikasi keakuratan teks. Hasil itu saja tidak dapat mengidentifikasi orang yang menggunakan alat.

OpenAI berencana melakukan evaluasi lebih lanjut dan mengatakan ingin merilis textGrain sebagai teknologi sumber terbuka. Untuk saat ini, perubahan praktisnya lebih terbatas: sebagian teks baru yang dibuat OpenAI akan memuat sinyal yang dapat dibaca mesin, sementara cara memeriksanya dan kesimpulan yang didukung sinyal tersebut tetap terbatas. Artikel ini didasarkan pada pengumuman dan dokumentasi bantuan OpenAI; BIG CHANGE tidak membuat teks ber-watermark ataupun menjalankan detektornya.