Dalam dua studi pecahan acak, orang yang mendapat asisten obrolan menyelesaikan lebih banyak soal saat alat itu tersedia, lalu menyelesaikan sendiri lebih sedikit soal terakhir dibanding orang yang berlatih tanpa alat tersebut. Makalah terbaru Grace Liu dan kolega juga melaporkan eksperimen pemahaman bacaan dengan hasil langsung serupa. Persistensi diukur dari apakah peserta melewatkan soal. Studi tidak melacak pembelajaran atau perilaku mereka setelah sesi.

Perubahan besar

  • Apa yang berubah: Penugasan acak memungkinkan peneliti membandingkan bantuan AI singkat dengan latihan tanpa bantuan pada soal akhir yang sama. Keunggulan akurasi kelompok AI saat dibantu berbalik setelah alat dihilangkan.
  • Mengapa penting: Mendapat jawaban benar dengan bantuan dan mampu menjawab pertanyaan berikutnya sendiri adalah hasil berbeda. Studi ini memberi alasan bagi pendidik dan perancang AI untuk mengukur keduanya.
  • Yang belum diketahui: Eksperimen berakhir setelah tes langsung tanpa bantuan. Hasilnya tidak memastikan hilangnya keterampilan jangka panjang, penurunan fokus umum, atau dampak penggunaan AI rutin selama berbulan-bulan.

Apa yang diukur dua eksperimen pecahan

Peneliti merekrut peserta AS melalui platform daring Prolific. Dalam eksperimen pertama, 354 orang secara acak ditugaskan mengerjakan soal pecahan dengan bilah samping obrolan GPT-5 untuk 12 soal pertama atau tanpa AI sepanjang studi. Setelah itu semua menjawab tiga soal akhir yang sama tanpa AI. Asisten telah diberi setiap soal dan solusinya, sehingga peserta dapat langsung meminta jawaban. Peserta juga boleh melewatkan soal; jawaban salah tidak mengurangi bayaran. Kedua kelompok melihat solusi benar setelah mengirim jawaban salah.

Setelah pengecualian terkait perhatian dan kinerja, analisis mencakup 307 orang. Pada tiga soal tanpa bantuan, kelompok yang sebelumnya memakai AI rata-rata menjawab benar 57%, dibanding 73% pada kontrol. Mereka melewatkan 20% soal, dibanding 11%. Efek terstandar yang dilaporkan: −0,42 untuk penyelesaian (interval kepercayaan 95% −0,66 hingga −0,19), dan 0,25 untuk melewatkan (0,02 hingga 0,48).

Aturan pengecualian pertama menyulitkan penafsiran perbandingan. Aturan itu mengeluarkan orang yang terlalu sedikit menjawab soal awal, tetapi pengguna AI dapat melewati ambang dengan mengirim jawaban AI. Ukuran kelompok akhir juga tidak seimbang: 185 orang di kelompok AI dan 122 di kontrol.

Eksperimen kedua merekrut 667 orang dan menguji kemampuan pecahan dasar sebelum memberi bantuan. Pada tahap utama, kelompok AI memakai bilah samping obrolan untuk 11 soal. Kontrol melihat bilah samping dengan solusi yang sudah ditampilkan pada tes awal. Kedua bilah dihilangkan sebelum tiga soal akhir tanpa bantuan yang sama. Desain ini menangani kekhawatiran pemilihan keterampilan pada studi pertama dan membuat perubahan antarmuka lebih sebanding.

Setelah pengecualian berdasarkan tes awal dan pemeriksaan perhatian, tersisa 585 orang: 308 di kelompok AI dan 277 kontrol. Kelompok yang sebelumnya memakai AI menjawab benar 71% soal akhir, dibanding 77% pada kontrol. Perbedaan terstandar −0,19 (interval kepercayaan 95% −0,36 hingga −0,03). Mereka melewatkan 10% soal, dibanding 7% pada kontrol, tetapi perbedaan keseluruhan tidak pasti secara statistik: interval efek terstandar −0,07 hingga 0,26. Replikasi ini mendukung perbedaan akurasi langsung yang lebih kecil; hasil ini sendiri tidak membuktikan perbedaan persistensi umum.

Peneliti juga membandingkan cara peserta kelompok AI mengatakan mereka memakai asisten. Dari 308 peserta yang dianalisis, 189 terutama meminta jawaban langsung, 82 mencari petunjuk atau klarifikasi, dan 37 tidak memakai AI. Kelompok jawaban langsung memiliki akurasi akhir lebih rendah dan tingkat melewatkan lebih tinggi daripada kontrol dan kelompok petunjuk. Kategori penggunaan dipilih peserta, bukan ditetapkan secara acak. Perbedaannya tidak membuktikan bahwa meminta jawaban itu sendiri menyebabkan kesenjangan.

Hasil membaca dan batas klaim

Eksperimen ketiga merekrut 201 orang untuk soal membaca bergaya SAT. Kelompok AI dapat melihat bilah samping obrolan untuk lima soal; kontrol mendapat bilah dengan kiat membaca umum. Kedua kelompok lalu menjawab tiga soal tanpa bilah. Analisis akhir mencakup 168 peserta. Kelompok yang sebelumnya memakai AI menjawab benar 76% soal akhir, dibanding 89% pada kontrol; tingkat melewatkan 8% dibanding 1%. Makalah melaporkan P=0,007 untuk akurasi dan P=0,008 untuk melewatkan. Dalam eksperimen ini, jawaban yang dikirim kurang dari lima detik juga dihitung sebagai soal yang dilewatkan.

Penugasan acak mendukung kesimpulan tentang tugas singkat ini dan fase langsung setelah bantuan berakhir. Penugasan itu tidak mengidentifikasi perubahan kemampuan atau motivasi yang bertahan lama. Penulis mengatakan mereka tidak tahu apakah efek bertahan berjam-jam atau berhari-hari, menumpuk akibat penggunaan harian, atau memudar. Asisten disiapkan untuk memberi jawaban lengkap jika diminta; eksperimen tidak menguji apakah desain bimbingan lain menghasilkan hal yang sama.

Laporan Berkeley News 9 Oktober menggambarkan penelitian ini sebagai bukti bahwa penggunaan AI singkat merusak fokus dan persistensi. Makalah mengukur jawaban benar dan soal yang dilewatkan, bukan hasil fokus tersendiri. Eksperimen pecahan kedua menemukan perbedaan tingkat melewatkan keseluruhan yang tidak pasti. Berkeley juga mengutip peneliti yang menarik implikasi lebih luas bagi keahlian dalam pendidikan dan pekerjaan. Itu menjadi perhatian untuk studi mendatang, di luar yang diukur sesi ini.

Sumber dan bacaan lebih lanjut