Agen AI Instinct dapat bertindak melalui akun yang terhubung

Tulisan Zoë Schiffer pada 24 September tentang penggunaan Instinct memuat daya tarik sekaligus batas agen AI personal. Ia melaporkan bahwa agen tersebut menemukan perubahan jadwal penerbangan yang membuatnya berhak atas pengembalian dana sekitar $550, membatalkan tiket, dan memesan ulang perjalanan pulangnya. Ia juga melaporkan bahwa agen itu membatalkan pesanan DoorDash yang terlambat setelah ia memerintahkannya untuk melakukannya hanya jika ia bisa memperoleh pengembalian dana. Ia kehilangan $64. Itu adalah hasil dari penggunaan layanan oleh seorang jurnalis, bukan ukuran keandalan Instinct bagi pengguna lain.

Perbedaan praktisnya terletak pada apa yang terjadi setelah agen mengambil keputusan. Instinct mengatakan bahwa layanan ini terhubung ke aplikasi dan perangkat, termasuk email dan pesan, serta dapat menggunakan ponsel dan komputer atas nama pengguna. Jawaban keliru dalam percakapan dapat diabaikan. Pembatalan, pesan, atau pembelian melalui akun yang terhubung menimbulkan konsekuensi di sistem layanan tersebut.

Perubahan besar

• Yang berubah: Dalam beta privat Instinct, permintaan teks dapat memicu tindakan di layanan yang terhubung. Ketentuan yang berlaku saat ini, direvisi 26 Agustus, mengizinkan akses dan pengindeksan data terhubung, tindakan sebagai respons atas masukan pengguna, serta perjanjian atau transaksi atas nama pengguna.
• Mengapa ini penting: Tindakan dapat menimbulkan biaya atau komitmen pada akun pengguna. Reporter WIRED mengatakan Instinct membatalkan pesanan DoorDash meski ia menetapkan syarat pengembalian dana, sehingga ia kehilangan $64; ketentuan Instinct menempatkan tanggung jawab atas tindakan dan konsekuensinya pada pengguna.
• Yang perlu dicermati: Ketentuan publik tidak menetapkan persetujuan baru untuk setiap tindakan. Memutuskan koneksi layanan juga membiarkan data yang sudah diindeks tetap tersimpan sampai pengguna mengajukan permintaan penghapusan tersendiri, dan dokumen publik tidak menyebutkan berapa lama penghapusan itu selesai.

Akses, tindakan, dan salinan tersimpan adalah izin yang berbeda

Batas pertama adalah akses ke informasi. Halaman produk Instinct mencantumkan email, pesan, layar, audio, dan lokasi sebagai informasi yang dapat digunakan asistennya. Kebijakan privasinya menyatakan bahwa akses bergantung pada izin yang diberikan pengguna. Kebijakan itu juga menjelaskan kemungkinan akses ke komunikasi privat, informasi pembayaran, dan kredensial akun ketika pengguna memilih untuk memberikannya. Karena itu, menghubungkan akun dapat membuka akses yang lebih luas daripada satu informasi yang dibutuhkan untuk tugas tertentu, kecuali integrasi dan pengaturannya membatasi akses tersebut.

Batas kedua adalah wewenang untuk bertindak. Ketentuannya menyatakan bahwa Instinct dapat mengambil tindakan yang dinilainya sesuai dengan masukan pengguna. Untuk pembelian melalui layanan terhubung, ketentuan tersebut menganggap pengguna sebagai pembeli dan mengarahkan sengketa pembelian ke layanan itu. Ketentuan juga menyatakan bahwa pengguna bertanggung jawab atas konsekuensi tindakan, termasuk konsekuensi finansial dan kontraktual. Ketentuan ini menjelaskan posisi kontraktual perusahaan; ketentuan tersebut tidak menentukan bagaimana sengketa tertentu akan diputuskan. Pembatalan senilai $64 yang dialami Schiffer menunjukkan secara konkret bagaimana syarat dalam instruksi dapat terabaikan pada batas ini. WIRED menyatakan Instinct tidak menanggapi permintaan komentar mereka.

Batas ketiga adalah penyimpanan data. Ketentuan menyatakan bahwa memutuskan koneksi layanan tidak otomatis menghentikan Instinct menggunakan data yang telah diindeks; pengguna dapat mengajukan permintaan penghapusan terpisah melalui ruang kerjanya. Kebijakan privasi juga menyatakan bahwa memutuskan koneksi integrasi pihak ketiga tidak menghapus data yang sudah dikumpulkan. Dalam laporan Agustus, TechCrunch menguraikan pengalaman pengguna yang mengatakan agen itu masih dapat merangkum email mereka setelah koneksi diputus, serta penambahan berikutnya berupa alat untuk menghapus data eksternal. Laporan tersebut terbit sebelum ketentuan dan kebijakan privasi yang berlaku saat ini, yang keduanya direvisi pada 26 Agustus. Dokumen terkini menyediakan cara bagi pengguna untuk meminta penghapusan, tetapi teks publik tidak menetapkan kapan setiap salinan terhapus atau memungkinkan kami memverifikasi apa yang terjadi pada data para pengguna tersebut.

Tanggal revisi yang sama penting untuk pelatihan model. TechCrunch mengutip versi ketentuan terdahulu yang memberikan lisensi luas dan “kekal serta tidak dapat dicabut”. Frasa itu tidak muncul dalam ketentuan publik saat ini. Ketentuan terkini masih mengizinkan penggunaan sebagian materi pengguna untuk melatih model, dengan opsi menolak yang berlaku ke depan dan pengecualian untuk materi yang ditandai demi tinjauan keselamatan. Kebijakan privasi secara terpisah menyatakan bahwa informasi yang diterima langsung melalui API Google Workspace tidak digunakan untuk melatih atau meningkatkan model AI. Menganggap semua data terhubung tunduk pada aturan pelatihan yang sama akan mengabaikan perbedaan tersebut.

Kendali konfirmasi kurang jelas dalam dokumen publik. Dokumen tersebut mengizinkan tindakan, tetapi tidak menjelaskan adanya langkah persetujuan universal sebelum setiap pembatalan, pesan, atau pembelian. TechCrunch melaporkan pengalaman seorang penguji yang menyebut Instinct mengirim email tanpa meminta persetujuan terlebih dahulu. Itu adalah laporan tentang satu insiden, bukan pengujian sistematis atas pengaturan saat ini. Sebelum menghubungkan akun penting, pengguna perlu mengetahui tindakan mana yang memerlukan konfirmasi di produk, batas pengeluaran atau akun apa yang tersedia, serta cara mencabut akses dan meminta penghapusan data yang diindeks. Teks kebijakan publik saja tidak menjawab ketiga hal tersebut.

Sebuah pengujian terdahulu di The Atlantic menggambarkan pilihan paparan yang lebih terbatas. Lila Shroff menggunakan nomor telepon sementara, tidak menghubungkan akun pribadi yang penting, dan memberikan kartu virtual baru kepada Instinct yang ia nonaktifkan setelah pengujian. Metode itu tidak menguji perilaku agen saat terhubung penuh ke kotak masuk. Contoh tersebut menunjukkan bagaimana seorang reporter membatasi wewenang yang bersedia ia berikan.

Kebijakan privasi Instinct yang diterbitkan mengakui adanya risiko pembayaran atau komunikasi yang tidak diinginkan serta kemungkinan instruksi menyesatkan dari pihak ketiga. Hal itu sangat relevan ketika agen membaca pesan sambil bertindak melalui akun pengguna. Pengembalian dana yang berhasil dalam laporan WIRED bergantung pada akses dan izin untuk membatalkan; kerugian $64 terjadi dalam jenis tindakan pendelegasian yang sama. Setiap layanan yang dihubungkan memperluas tindakan yang dapat dilakukan agen sekaligus hal yang mungkin perlu dibatalkan oleh pengguna.