Saat pelatih AI menggunakan AI, produk yang hilang adalah penilaian manusia

Perusahaan mempekerjakan orang untuk membandingkan jawaban model, menjelaskan kekurangannya, dan memberikan contoh pekerjaan yang lebih baik. Dalam situasi ini, jawaban yang tampak rapi hanya sebagian dari hasil yang dipesan. Pembeli mungkin membayar penilaian yang tidak berasal dari model yang sedang diuji.

404 Media melaporkan bahwa tiga kontraktor yang bekerja pada proyek terkait OpenAI menjelaskan adanya aturan yang melarang penggunaan AI, dan dua di antaranya mengatakan kontraktor telah dikeluarkan dari proyek karena melakukannya. Mercor, yang menyediakan dua orang yang diwawancarai, mengatakan kepada publikasi itu bahwa kontraknya melarang penggunaan model bahasa besar untuk menyelesaikan pekerjaan proyek dan pelanggaran yang terkonfirmasi mengakibatkan pemutusan akses. OpenAI menolak berkomentar. Kami belum melihat dokumen proyek privat atau memverifikasi kasus perorangan secara independen.

Pertanyaan yang relevan melampaui satu platform kontraktor: ketika perusahaan meminta pemeriksaan manusia yang independen, bagaimana perusahaan membedakan pekerjaan tersebut dari tugas yang boleh dibantu AI?

Perubahan besar

• Yang berubah: Sengketa kontraktor yang dilaporkan menyingkap konflik mengenai apa yang seharusnya dihasilkan pekerjaan pelatihan AI: jawaban yang telah diselesaikan atau penilaian manusia yang independen.
• Mengapa ini penting: Program percontohan publik Mercor menjadikan penilaian profesional sebagai ukuran. Mengganti pemeringkatan tersebut dengan hasil buatan model mengubah apa yang diukur oleh evaluasi itu, sekalipun kirimannya ditulis dengan baik.
• Yang perlu dipantau: Keputusan penting bagi pembeli jasa evaluasi adalah tahap mana yang memerlukan penilaian tanpa bantuan AI. Ketentuan itu harus tercantum dalam instruksi tugas agar pekerja dapat melihatnya sebelum menerima pekerjaan.

Independensi bisa menjadi hal yang dibeli

Asisten AI berguna ketika tugasnya adalah menghasilkan draf pertama dengan cepat. Asisten menjadi masalah ketika tugasnya menyediakan jawaban rujukan atau perbandingan independen, tetapi perbedaan itu tidak diungkapkan.

Daftar publik Mercor untuk pilot evaluasi model domain bisnis menjelaskan persyaratannya dengan sangat jelas. Para ahli menyelesaikan tugas profesional, memeringkat lima upaya model, memberi skor, dan menulis alasan berbasis bukti. Daftar itu menyatakan tidak ada rubrik atau jawaban baku karena penilaian profesional adalah ukuran yang dinilai. Penggunaan asisten AI dilarang saat menyelesaikan tugas, memeringkat, memberi skor, dan menulis alasan.

Ketentuan tersebut menjelaskan satu program percontohan. Perbandingannya bergantung pada penilaian profesional itu sendiri; menyerahkan penilaian tersebut kepada model akan mengubah eksperimennya.

Umpan balik sintetis tidak otomatis merupakan data buruk

Kita mungkin tergoda mengaitkan setiap respons pelatihan yang dihasilkan AI dengan “keruntuhan model”. Kesimpulan itu akan melampaui bukti yang tersedia di sini. Penelitian yang diterbitkan di Nature menelaah proses pelatihan rekursif ketika data buatan menggantikan data yang diambil dari distribusi awal. Dalam eksperimen tersebut, model berturut-turut kehilangan informasi tentang distribusi yang mendasarinya. Rancangan itu bukan penelitian terhadap pekerjaan kontraktor yang dilaporkan, dan makalah tersebut tidak dapat memberi tahu kita apakah penilaian tertentu memengaruhi model OpenAI yang telah diterapkan.

Studi lain tentang keruntuhan model menunjukkan mengapa pembedaan ini penting. Para penulis menemukan keruntuhan ketika data sintetis dari setiap generasi menggantikan data nyata asli, tetapi dalam eksperimen mereka berhasil menghindarinya ketika data nyata tetap digunakan dan data sintetis dari generasi berikutnya ditambahkan di sampingnya. Hasil tersebut tidak membuktikan bahwa setiap campuran aman. Namun, hasil itu menunjukkan bahwa “dihasilkan AI” saja bukan diagnosis yang memadai; asal-usul data, pemilihan, dan proses pelatihan juga penting.

Jelaskan alur kerja yang diizinkan secara tegas

Instruksi kerja perlu menyebutkan alat yang diizinkan, tahap yang membutuhkan penilaian tanpa bantuan AI, dan cara pekerja harus mengungkapkan bantuan yang digunakan. Program percontohan Mercor menetapkan independensi saat menyelesaikan tugas maupun mengevaluasinya. Pembeli yang memesan pekerjaan berbantuan AI perlu menjelaskan penilaian profesional apa yang tetap diharapkan dari pekerja.

Proses peninjauan juga memerlukan kehati-hatian. Laporan 404 Media menyebutkan bahwa satu dokumen internal memperingatkan peninjau agar tidak menggunakan alat deteksi AI dan menyebut alat tersebut tidak andal. Hal itu sejalan dengan prinsip manajemen dasar: tanda baca, kecepatan, atau gaya bahasa yang rapi bukan bukti bahwa seseorang menggunakan model. Peninjau dapat memeriksa apakah alasan yang diberikan merujuk pada bahan sumber, meminta pekerja menjelaskan keputusan, membandingkan kiriman berulang, dan menyelidiki catatan alat yang dikumpulkan proyek secara sah. Jangan biarkan satu petunjuk gaya saja menentukan nasib pekerja.

Pekerja membutuhkan aturan yang bisa dipersoalkan, bukan permainan tebak-tebakan

Kontraktor independen dapat kehilangan akses proyek dengan cepat. Karena itu, sistem yang kredibel perlu menampilkan aturan sebelum pekerjaan berbayar dimulai, membedakan dugaan pelanggaran dari pelanggaran yang terkonfirmasi, dan menyediakan jalur bagi pekerja untuk menjelaskan bukti yang relevan. Ini adalah rekomendasi untuk proses yang adil, bukan klaim mengenai hak berdasarkan kontrak atau hukum tertentu.

Sementara itu, pekerja perlu memperlakukan kewajiban memberikan penilaian tanpa bantuan AI sebagai bagian dari spesifikasi produk. Siapa pun yang meyakini bahwa alat yang telah disetujui diperlukan dapat bertanya sebelum menggunakannya atau menolak tugas tersebut. Bantuan yang disembunyikan tidak menjadi dapat diterima hanya karena model menulis dengan baik, sebagaimana kolaborator luar yang dilarang tidak menjadi dapat diterima hanya karena jawabannya benar.

Tentukan sumber penilaian

Program percontohan publik Mercor menyatakan spesifikasi produknya dengan jelas: penilaian profesional tanpa bantuan AI. Pembeli yang memesan pekerjaan berbantuan AI juga memerlukan uraian yang sama jelasnya tentang alat yang diizinkan dan penilaian yang harus diberikan pekerja.