Anthropic menyatakan telah mulai memberi enam karyawan organisasi nirlaba METR akses ke sistem internalnya untuk menilai risiko AI. Pengaturan ini memberi tim kecil dari luar kesempatan melihat pekerjaan perusahaan lebih dekat daripada yang tersedia lewat peluncuran model publik atau laporan risiko. Anthropic tetap mengendalikan informasi yang diterima tim dan dapat meminta materi tertentu dihapus dari analisis yang diterbitkan METR.

Anthropic mengumumkan kerja sama ini pada 15 Oktober dan memperbarui pernyataannya pada 16 Oktober untuk memperjelas ketentuan publikasi saat ini. Pengumuman tersebut menjelaskan pengaturan akses, bukan penilaian METR yang sudah selesai atas risiko Anthropic. Nilainya bagi pembaca bergantung pada apa yang dapat diperiksa METR dan apa yang bisa dijelaskan laporan akhirnya mengenai batasan yang ada.

Perubahan besar

  • Apa yang berubah: Anthropic menyatakan enam karyawan METR memiliki perangkat keras perusahaan, ruang kantor, serta akses alat internal yang kurang lebih sebanding dengan tim penilaian risikonya sendiri. METR diharapkan menerbitkan analisis tingkat risiko, insiden, atau praktik Anthropic.
  • Mengapa ini penting: Evaluator dari luar mungkin dapat memeriksa bukti internal yang tidak dapat dilihat publik. Laporan METR nantinya juga dapat menjelaskan batasan penting pada akses dan penghapusan informasi, sehingga membantu pembaca menimbang kesimpulannya.
  • Yang perlu diperhatikan: Anthropic menyatakan tidak dapat memveto publikasi METR, tetapi dapat meminta penghapusan informasi berdasarkan kategori yang ditetapkan sebelumnya dan pada akhirnya memutuskan apa yang termasuk di dalamnya. Pengumuman ini tidak menetapkan hasil penilaian apa pun dari pengaturan tim yang ditempatkan di dalam perusahaan tersebut.

Apa yang dapat diakses keenam evaluator

Anthropic menyatakan telah menerima enam karyawan METR dengan perangkat keras perusahaan, ruang kantor, serta akses alat dan sistem internal yang ‘kurang lebih setara’ dengan tim penilaian risikonya. Perusahaan mendorong staf berbagi informasi relevan kepada mereka sebagaimana kepada rekan kerja yang menangani risiko penyelarasan AI. Perusahaan menyebut data pelanggan, informasi yang dilindungi hak kerahasiaan antara pengacara dan klien, serta arsitektur model sebagai contoh kategori yang dikecualikan. Menurutnya, informasi arsitektur terkadang dapat dibagikan jika sangat relevan, dengan persetujuan internal yang eksplisit.

Itu merupakan uraian akses yang cukup terperinci, tetapi bukan daftar setiap dataset, sistem, atau wawancara yang benar-benar telah digunakan tim. Pernyataan Anthropic menyebut tim bekerja di bawah perjanjian yang dapat ditegakkan secara hukum dan karyawan METR lainnya, termasuk peneliti di proyek Anthropic lain, dipisahkan dari pekerjaan ini. BIG CHANGE telah menelaah pernyataan publik; kami belum memeriksa perjanjian atau sistem internalnya.

Dokumen usulan METR tanggal 14 Oktober untuk penilaian kehilangan kendali menjelaskan jenis bukti yang diinginkannya dari pengembang AI terdepan. Ada tiga pertanyaan: apakah agen AI internal mungkin melakukan tindakan yang sangat merugikan, apakah pemantauan akan mendeteksi dan menghentikannya, serta apakah penelitian yang digerakkan AI dapat mempercepat kemampuan melampaui laju pengamanan. Untuk menjawabnya, METR menjelaskan kemungkinan akses ke checkpoint model, transkrip internal, sistem pemantauan, dan ukuran kemajuan penelitian. Dokumen ini merupakan usulan bagi berbagai pengembang, bukan inventaris materi yang telah diberikan Anthropic dalam kerja sama ini.

Hak publikasi dan batasannya

Anthropic menyatakan METR dapat menerbitkan analisis tingkat risiko, insiden, atau praktik perusahaan tanpa veto Anthropic. Perusahaan dapat meminta penghapusan informasi dalam kategori yang telah ditentukan. Klarifikasi 16 Oktober menambahkan bahwa Anthropic pada akhirnya memutuskan apakah informasi termasuk kategori tersebut, sementara METR berhak membuat pernyataan tertentu tentang akses dan informasi yang diterimanya. Dengan demikian, hak menerbitkan temuan berjalan bersamaan dengan kendali perusahaan atas rincian sensitif.

Dokumen kebijakan METR tentang bekerja dengan perusahaan AI menyatakan laporannya seharusnya mengungkap cakupan dan durasi pekerjaan, batas akses yang memengaruhi kesimpulan, penghapusan informasi yang penting, serta tekanan yang mungkin membentuk hasil. METR menyatakan berupaya membuat ringkasan penghapusan ketika perusahaan membuang informasi penting bagi kesimpulannya. Ini adalah praktik dan tujuan yang dinyatakan METR; publik belum dapat memeriksa penerapannya dalam laporan tim baru yang ditempatkan di perusahaan ini.

METR juga mengakui bahwa penilaian sukarela bergantung pada perusahaan yang memberi akses dan mengizinkan publikasi. Menurutnya, perusahaan dapat menahan akses atau menghapus materi dengan cara yang memengaruhi bukti yang diterima publik. Usulan 14 Oktober menyebut kegiatan ini akan berfokus pada pertanyaan teknis tentang kehilangan kendali dan tidak merupakan audit keamanan, tata kelola organisasi, atau kepatuhan. METR menyatakan ilmu yang mendasarinya belum dapat memberi jaminan meyakinkan bahwa pengembangan berlangsung aman.

Anthropic menjelaskan pendekatan tiga tingkat bagi evaluator lain. Pengaturan dengan METR berada pada tingkat ketiga, dengan akses menyerupai karyawan dan hak publikasi. Tingkat sebelumnya menawarkan penyelidikan yang lebih sempit atau hak publikasi yang lebih terbatas. Uraian tingkat tersebut merupakan rencana Anthropic dan ketentuan kerja sama saat ini, bukan bukti bahwa semua mitra memiliki akses seperti METR.

Ujian publik atas pengaturan ini akan terlihat dalam laporan METR: pertanyaan risiko apa yang diselidiki, bukti internal apa yang dapat diperiksa, serta batasan atau penghapusan apa yang dapat dijelaskan. Pernyataan saat ini menetapkan ketentuan yang diumumkan Anthropic dan pendekatan yang diterbitkan METR. Pernyataan itu tidak menetapkan temuan tentang keamanan Anthropic atau efektivitas evaluasi oleh tim yang ditempatkan di dalam perusahaan.

Sumber dan bacaan lanjutan