Multiverse mulai menggunakan alat AI bernama Compass untuk meninjau setiap sesi yang diajarkan para pengajarnya. Perusahaan mengatakan alat itu memberi manajer cara untuk menemukan kemungkinan masalah dan menawarkan pembinaan yang lebih spesifik. Para pengajar yang berbicara dengan The Guardian menggambarkan pengalaman berbeda: merasa diawasi sepanjang waktu saat bekerja dan cemas tentang hal yang mungkin ditandai sistem.

Keterangan mereka menggambarkan peralihan yang sama, dari pengamatan manusia sesekali menjadi peninjauan AI rutin. Namun, keterangan itu tidak membuktikan bahwa Compass mengambil keputusan ketenagakerjaan. Multiverse mengatakan keputusan tersebut tetap dibuat manusia.

Perubahan besar

  • Yang berubah: Multiverse mengatakan manajer sebelumnya mengamati seorang pengajar sekitar sebulan sekali. Kini Compass meninjau setiap sesi mengajar, menjadikan pelajaran perorangan sumber umpan balik berkelanjutan dan kemungkinan tanda risiko.
  • Mengapa penting: Manajer dapat lebih cepat memeriksa sesi yang ditandai, tetapi cakupan yang lebih luas juga mengubah kondisi kerja pengajar. Para pengajar mengatakan kepada The Guardian bahwa pengawasan dan kemungkinan dimintai penjelasan tentang pelajaran menimbulkan tekanan. Ini adalah kesaksian yang dilaporkan, bukan dampak yang diukur secara independen di seluruh tenaga kerja.
  • Yang perlu dipantau: Multiverse mengatakan para pengajar akan melihat laporan yang sama dengan manajer pada Oktober. Akses yang dijanjikan itu akan membuat pembedaan perusahaan antara saran AI, pemeriksaan manusia, dan manajemen kinerja lebih terlihat bagi orang-orang yang dinilai.

Apa yang ditinjau Compass

Dalam unggahan 25 September, Multiverse mengatakan Compass membandingkan sesi pengajar dengan Compass Framework dan menggabungkan temuannya dengan umpan balik pelajar. Sistem menghasilkan tinjauan untuk setiap sesi, menunjukkan kepada manajer bagian yang kualitasnya mungkin berisiko, serta menyarankan area pengembangan berdasarkan pengajaran seorang instruktur dari waktu ke waktu. Perusahaan menggambarkan keluaran itu sebagai pemicu peninjauan manusia, bukan vonis atas seorang pengajar.

The Guardian melaporkan bahwa transkrip kelas daring dianalisis dan diberi skor. Menurut laporan itu, sistem dapat menandai masalah seperti pengajar yang tidak segera mengatasi gangguan koneksi, terlalu sering menggunakan frasa pengisi, atau memberi instruksi tugas yang tidak jelas. Contoh tersebut berasal dari peliputan surat kabar tentang sistem itu; unggahan publik Multiverse tidak menerbitkan Compass Framework lengkap atau instruksi yang digunakan untuk menghasilkan setiap tanda.

Multiverse mengatakan manajer penyampaian memeriksa laporan Compass berdasarkan pengetahuan mereka, memutuskan apakah perlu bertindak, dan menyepakati sasaran pengembangan bersama pengajar. Perusahaan menyebut manajemen kinerja bertumpu pada pengamatan manusia dan Compass tidak memutuskan nasib pekerjaan siapa pun. Seorang juru bicara mengatakan kepada The Guardian bahwa tindakan paling berdampak yang dapat dilakukan agen adalah menyarankan agar seseorang meninjau suatu sesi. Pernyataan itu menjelaskan kebijakan dan alur kerja yang dimaksud perusahaan; dengan sendirinya, pernyataan itu tidak menunjukkan bagaimana setiap tanda ditangani dalam praktik.

Laporan para pengajar

Beberapa pengajar berbicara kepada The Guardian dengan syarat anonim. Seseorang mengatakan tekanan sejak sistem diperkenalkan mengganggu tidurnya. Pengajar lain mengatakan kebutuhan untuk menghindari tanda AI mengalihkan perhatian dari mengajar dan menyimak pelajar. Surat kabar itu juga menerbitkan kesaksian orang pertama dari seorang pengajar yang mengatakan manajer dapat menyelidiki penyimpangan yang tampak dari naskah mengajar, padahal sebenarnya merupakan tanggapan terhadap kebutuhan pelajar.

Ini adalah kesaksian langsung sebagaimana dilaporkan The Guardian. BIG CHANGE belum mewawancarai para pengajar atau mengukur dampak sistem terhadap kesejahteraan staf. Namun, kesaksian mereka mengangkat pertanyaan praktis bagi setiap sistem peninjauan berkelanjutan: apakah bagian yang ditandai benar-benar menunjukkan pengajaran buruk atau justru kehilangan konteks yang membuat pilihan pengajar itu tepat.

Peluncuran ini juga membatasi hal yang dapat diperiksa sendiri oleh para pengajar saat ini. Multiverse mengatakan hanya manajer yang melihat laporan selama uji coba Agustus dan pengenalan sistem pada September. Perusahaan mengatakan pengajar akan mendapat akses melalui platform pembinaan internalnya pada Oktober. Kontributor The Guardian yang menulis kesaksian orang pertama juga mengatakan manajer dapat melihat dasbor sedangkan pengajar belum bisa saat tulisan itu dibuat.

Di mana keputusan dibuat

Ada beberapa tahap antara sesi dan konsekuensi terhadap pekerjaan: Compass menghasilkan tinjauan, manajer memeriksa kemungkinan masalah, lalu seseorang memutuskan tindakan yang akan diambil. Perusahaan mengatakan manajemen kinerja formal bergantung pada pengamatan manusia. Pelaporan The Guardian menunjukkan mengapa pembedaan itu penting sekalipun tidak ada keputusan ketenagakerjaan otomatis: sebuah tanda tetap dapat memicu pemeriksaan manajer dan membentuk umpan balik yang diterima pengajar.

Prinsip AI yang diterbitkan Multiverse menyerukan transparansi dan arahan manusia. Janji akses pada Oktober menjadi ujian konkret atas komitmen tersebut bagi para pengajar, meskipun akses saja tidak membuktikan bahwa penilaiannya akurat atau staf dapat mengajukan keberatan. Materi publik yang tersedia tidak menjelaskan tingkat kesalahan sistem, seberapa sering manajer menolak tanda, atau apakah hasil ketenagakerjaan seseorang pernah bergantung pada laporan Compass. BIG CHANGE tidak menguji Compass.

Masalah dalam artikel ini adalah penggunaan AI oleh pemberi kerja untuk menilai pekerjaan mengajar. Hal ini berbeda dari aturan universitas untuk penilaian berbantuan AI terhadap mahasiswa dan dari pertimbangan manusia independen yang dibutuhkan dalam pekerjaan pelatihan AI. Dalam setiap kasus, batas yang berguna perlu disesuaikan dengan pekerjaan yang dinilai dan wewenang yang diberikan kepada sistem.