Sinasabi ng Multiverse na sinusuri ng Compass AI ang bawat sesyon ng mga instruktor

Sinimulan ng Multiverse ang paggamit ng AI tool na Compass upang suriin ang bawat sesyong itinuturo ng mga instruktor nito. Ayon sa kumpanya, natutulungan nito ang mga manager na matukoy ang mga posibleng problema at magbigay ng mas tiyak na coaching. Iba ang karanasang inilarawan ng mga instruktor na nakausap ng The Guardian: pakiramdam nila ay binabantayan sila sa buong oras ng trabaho at nababahala sila sa maaaring markahan ng sistema bilang problema.

Ipinakikita ng mga salaysay ang paglipat mula sa paminsan-minsang pagmamasid ng tao tungo sa regular na pagsusuri gamit ang AI. Hindi nito pinatutunayan na nagpapasya ang Compass tungkol sa trabaho. Ayon sa Multiverse, nananatili sa mga tao ang mga pasyang iyon.

Ang malaking pagbabago

• Ano ang nagbago: Dati, mga isang beses sa isang buwan inoobserbahan ng manager ang isang instruktor, ayon sa Multiverse. Ngayon, sinusuri ng Compass ang bawat sesyon ng pagtuturo, kaya nagiging tuluy-tuloy na pinagmumulan ng puna at posibleng mga alerto sa panganib ang bawat aralin.
• Bakit mahalaga: Mas maagang masusuri ng manager ang sesyong may alerto, ngunit binabago rin ng mas malawak na pagsubaybay ang mga kondisyon sa trabaho ng instruktor. Sinabi ng mga instruktor sa The Guardian na nagdulot sa kanila ng stress ang pagbabantay at posibilidad na kuwestiyunin sila tungkol sa isang aralin. Iniulat na testimonya ito, hindi sukat ng epekto sa buong hanay ng mga empleyado.
• Ano ang dapat bantayan:Ayon sa Multiverse, makikita na rin ng mga instruktor ang mga ulat na nakikita ng mga manager sa Oktubre. Dahil dito, mas malinaw nilang masusuri ang pagkakaiba ng mungkahi ng AI, pagsusuri ng tao at pamamahala sa performance.

Ano ang sinusuri ng Compass

Sa isang post noong Setyembre 25, sinabi ng Multiverse na inihahambing ng Compass ang mga sesyon ng instruktor sa Compass Framework nito at isinasama ang puna ng mga mag-aaral. Gumagawa ito ng pagsusuri para sa bawat sesyon, ipinakikita sa mga manager kung saan maaaring nanganganib ang kalidad, at nagmumungkahi ng mga larangan ng pag-unlad batay sa pagtuturo ng instruktor sa paglipas ng panahon. Inilalarawan ng kumpanya ang resulta bilang hudyat para sa pagsusuri ng tao, hindi hatol sa instruktor.

Iniulat ng The Guardian na sinusuri at binibigyan ng puntos ang mga transcript ng online na klase. Ayon sa ulat, maaaring mag-flag ang sistema ng mga isyung gaya ng hindi agad pagresolba ng instruktor sa pagkaantala ng koneksiyon, labis na paggamit ng mga salitang pampuno, o malabong tagubilin sa gawain. Mga halimbawang mula ito sa pag-uulat ng pahayagan tungkol sa sistema; hindi inilalathala ng pampublikong post ng Multiverse ang buong Compass Framework o ang mga tagubiling ginagamit upang lumikha ng bawat alerto.

Ayon sa Multiverse, inihahambing ng mga delivery manager ang mga ulat ng Compass sa sarili nilang kaalaman, nagpapasya kung kikilos at nakikipagkasundo sa mga instruktor sa mga layunin para sa pag-unlad. Sinasabi nitong nakasalalay sa obserbasyon ng tao ang pamamahala sa performance at walang pasya ang Compass tungkol sa trabaho ng sinuman. Sinabi ng tagapagsalita sa The Guardian na ang pinakamahalagang hakbang na maaaring gawin ng ahente ay magrekomendang suriin ng tao ang isang sesyon. Inilalarawan ng mga pahayag na ito ang patakaran at nilalayong proseso ng kumpanya; hindi nila ipinakikita kung paano hinahawakan sa aktuwal ang bawat alerto.

Ang iniulat ng mga instruktor

Ilang instruktor ang nakipag-usap sa The Guardian nang hindi inilalantad ang kanilang pagkakakilanlan. Sinabi ng isa na naapektuhan ng stress mula nang ipakilala ang sistema ang kaniyang pagtulog. Ayon naman sa isa pa, naililihis ng pangangailangang makaiwas sa marka ng AI ang pansin mula sa pagtuturo at pakikinig sa mga mag-aaral. Naglathala rin ang pahayagan ng salaysay ng isang instruktor na nagsabing iniimbestigahan ng mga manager ang mga paglihis umano sa iskrip ng pagtuturo, kahit tugon lamang pala ang mga iyon sa pangangailangan ng mga mag-aaral.

Mga personal na salaysay ang mga ito na iniulat ng The Guardian. Hindi kinapanayam ng BIG CHANGE ang mga instruktor at hindi nito sinukat ang epekto ng sistema sa kapakanan ng mga kawani. Gayunman, itinuturo ng kanilang testimonya ang isang praktikal na tanong para sa anumang sistema ng tuluy-tuloy na pagsusuri: naipakikita ba ng na-flag na bahagi ang mahinang pagtuturo, o nawawala sa sistema ang kontekstong nagbigay-katwiran sa pasya ng instruktor?

Nililimitahan din ng paunang paglulunsad ang kasalukuyang kayang suriin mismo ng mga instruktor. Ayon sa Multiverse, mga manager lamang ang nakakita sa mga ulat noong pagsubok sa Agosto at pagpapakilala noong Setyembre. Sinabi nitong magkakaroon ng access ang mga instruktor sa pamamagitan ng internal na coaching platform nito sa Oktubre. Sinabi rin ng instruktor na sumulat ng personal na salaysay sa The Guardian na manager lamang ang nakakakita sa dashboard noong isinusulat niya ang kaniyang ulat.

Kung saan napupunta ang pasya

May ilang hakbang sa pagitan ng sesyon at posibleng epekto sa trabaho: gumagawa ang Compass ng pagsusuri, tinitingnan ng manager ang posibleng suliranin, at isang tao ang nagpapasya kung anong aksiyon ang gagawin. Ayon sa kumpanya, nakasalalay sa obserbasyon ng tao ang pormal na pamamahala sa performance. Ipinakikita ng pag-uulat ng The Guardian kung bakit mahalaga ang pagkakaibang iyon kahit walang awtomatikong pasya sa trabaho: maaari pa ring mag-udyok ng masusing pagsisiyasat ng manager ang isang alerto at makaapekto sa matatanggap na puna ng instruktor.

Nanawagan ang inilathalang mga prinsipyo ng AI ng Multiverse para sa transparency at paggabay ng tao. Kongkretong pagsubok sa mga pangakong iyon para sa mga instruktor ang pangako nitong magbigay ng access sa Oktubre, bagaman hindi mapatutunayan ng access lamang na tama ang mga pagtatasa o maaaring tutulan ng kawani ang mga ito. Hindi isinasaad ng pampublikong materyal na nasuri rito ang error rate ng sistema, kung gaano kadalas tinatanggihan ng mga manager ang mga alerto, o kung nakaapekto ang ulat ng Compass sa pasya tungkol sa trabaho ng sinumang indibidwal. Hindi sinubukan ng BIG CHANGE ang Compass.

Tungkol dito ang paggamit ng mga employer ng AI upang tasahin ang gawain sa pagtuturo. Naiiba ito sa mga patakaran ng mga unibersidad sa pagmamarka sa mga mag-aaral gamit ang AI at sa independiyenteng pagpapasya ng tao sa gawaing nagsasanay ng AI. Sa bawat kaso, kailangang iakma sa gawaing sinusuri at sa awtoridad na ibinigay sa sistema ang angkop na hangganan.