Multiverse je počeo da koristi AI alatku Compass za pregled svake sesije koju drže njegovi instruktori. Kompanija navodi da njome rukovodioci mogu da uoče moguće probleme i ponude konkretnije podučavanje. Instruktori koji su razgovarali sa Guardian-om opisali su drugačije iskustvo: osećaj stalnog nadzora tokom rada i zabrinutost zbog onoga što bi sistem mogao da označi.

Ovi iskazi opisuju isti prelaz sa povremenog posmatranja uživo na redovan pregled pomoću AI-ja. Oni ne utvrđuju da Compass donosi odluke o zaposlenju. Multiverse navodi da te odluke ostaju u rukama ljudi.

Suštinska promena

  • Šta se promenilo: Multiverse navodi da je rukovodilac ranije posmatrao instruktora otprilike jednom mesečno. Compass sada pregleda svaku nastavnu sesiju, pretvarajući pojedinačne časove u stalni izvor povratnih informacija i mogućih upozorenja o rizicima.
  • Zašto je to važno: Rukovodilac može ranije da proveri sesiju označenu upozorenjem, ali širi nadzor menja i radne uslove instruktora. Instruktori su za Guardian rekli da su im nadzor i mogućnost da im se postavi pitanje o održanom času izazvali stres. To su preneti iskazi, a ne nezavisno izmeren uticaj na celu radnu snagu.
  • Na šta obratiti pažnju: Multiverse navodi da će instruktori u oktobru dobijati iste izveštaje kao rukovodioci. Obećani pristup jasnije će pokazati ljudima čiji se rad ocenjuje razliku između predloga AI-ja, ljudske provere i upravljanja učinkom.

Šta Compass pregleda

U objavi od 25. septembra, Multiverse navodi da Compass poredi sesije instruktora sa okvirom Compass Framework i kombinuje nalaze sa povratnim informacijama polaznika. Za svaku sesiju pravi izveštaj, koji rukovodiocima pokazuje gde bi kvalitet mogao biti ugrožen i predlaže oblasti za napredak na osnovu rada instruktora tokom vremena. Kompanija predstavlja izlaz kao povod za ljudsku proveru, a ne kao konačan sud o instruktoru.

Guardian navodi da se transkripti onlajn časova analiziraju i ocenjuju. Prema izveštaju lista, sistem može da označi probleme poput sporog rešavanja prekida veze, preterane upotrebe poštapalica ili nejasnih uputstava za zadatak. Ti primeri potiču iz novinskog izveštavanja o sistemu; Multiverse-ova javna objava ne sadrži ceo okvir Compass Framework niti uputstva za generisanje svakog upozorenja.

Multiverse navodi da menadžeri za isporuku proveravaju izveštaje Compass-a prema onome što već znaju, odlučuju da li treba reagovati i dogovaraju ciljeve za napredak sa instruktorima. Kompanija kaže da se upravljanje učinkom zasniva na posmatranju ljudi i da Compass ne donosi odluke o zaposlenju. Portparol je za Guardian rekao da je najvažnija radnja koju agent može da preduzme preporuka da čovek pregleda sesiju. Te izjave opisuju politiku i planirani tok rada kompanije; same po sebi ne pokazuju kako se svako upozorenje obrađuje u praksi.

Šta su prijavili instruktori

Nekoliko instruktora razgovaralo je sa Guardian-om pod uslovom anonimnosti. Jedan je rekao da je stres od uvođenja sistema uticao na san. Drugi je rekao da mu je pokušaj izbegavanja negativne AI ocene odvraćao pažnju od držanja časa i slušanja polaznika. List je objavio i iskaz jednog instruktora iz prvog lica koji navodi da su rukovodioci mogli da istražuju navodna odstupanja od nastavnog scenarija, iako su zapravo bila odgovor na potrebe polaznika.

To su iskazi iz prve ruke koje prenosi Guardian. BIG CHANGE nije razgovarao sa instruktorima niti merio uticaj sistema na njihovu dobrobit. Svedočenja ipak ukazuju na praktično pitanje za svaki sistem stalnog nadzora: da li označeni odlomak pokazuje loše predavanje ili propušta kontekst zbog kog je odluka instruktora bila primerena.

Uvođenje sistema takođe ograničava ono što instruktori trenutno mogu sami da provere. Multiverse navodi da su tokom testiranja u avgustu i uvođenja u septembru izveštaje videli samo rukovodioci. Kompanija kaže da će instruktori u oktobru dobiti pristup preko interne platforme za podučavanje. Autor iskaza u prvom licu za Guardian takođe je rekao da su rukovodioci videli kontrolnu tablu, ali instruktori nisu, u vreme pisanja teksta.

Gde se donosi odluka

Između sesije i posledice po radno mesto ima nekoliko koraka: Compass sastavlja izveštaj, rukovodilac proverava mogući problem, a osoba odlučuje šta će preduzeti. Kompanija navodi da formalno upravljanje učinkom zavisi od ljudskog posmatranja. Izveštavanje Guardian-a pokazuje zašto je ta razlika važna i kada odluke o zaposlenju nisu automatizovane: upozorenje i dalje može da privuče pažnju rukovodioca i utiče na povratne informacije koje instruktor dobija.

U objavljenim načelima AI-ja kompanije Multiverse traže se transparentnost i ljudsko usmeravanje. Obećanje o oktobarskom pristupu konkretan je test tih obaveza prema instruktorima, iako sam pristup ne bi dokazao tačnost procena niti mogućnost zaposlenih da ih ospore. Javno dostupni materijali ne otkrivaju stopu greške sistema, koliko često rukovodioci odbacuju upozorenja ni da li je izveštaj Compass-a uticao na ičiji ishod zaposlenja. BIG CHANGE nije testirao Compass.

Ovde je reč o tome kako poslodavci koriste AI za procenu nastavnog rada. To se razlikuje od pravila univerziteta o upotrebi AI-ja za ocenjivanje studentskih radova i od nezavisne ljudske procene u radu na obuci AI modela. U svakom slučaju, potrebna granica zavisi od posla koji se ocenjuje i ovlašćenja dodeljenih sistemu.