Multiverse је почео да користи AI алатку Compass за преглед сваке сесије коју држе његови инструктори. Компанија наводи да њоме руководиоци могу да уоче могуће проблеме и понуде конкретније подучавање. Инструктори који су разговарали са The Guardian-ом описали су другачије искуство: осећај сталног надзора током рада и забринутост због онога што би систем могао да означи.

Ови искази описују исти прелаз са повременог посматрања уживо на редован преглед помоћу AI-ја. Они не утврђују да Compass доноси одлуке о запослењу. Multiverse наводи да те одлуке остају у рукама људи.

Суштинска промена

  • Шта се променило: Multiverse наводи да је руководилац раније посматрао инструктора отприлике једном месечно. Compass сада прегледа сваку наставну сесију, претварајући појединачне часове у стални извор повратних информација и могућих упозорења о ризицима.
  • Зашто је то важно: Руководилац може раније да провери сесију означену упозорењем, али шири надзор мења и радне услове инструктора. Инструктори су за The Guardian рекли да су им надзор и могућност да им се постави питање о одржаном часу изазвали стрес. То су пренети искази, а не независно измерен утицај на целу радну снагу.
  • На шта обратити пажњу: Multiverse наводи да ће инструктори у октобру добијати исте извештаје као руководиоци. Обећани приступ јасније ће показати људима чији се рад оцењује разлику између предлога AI-ја, људске провере и управљања учинком.

Шта Compass прегледа

У објави од 25. септембра, Multiverse наводи да Compass пореди сесије инструктора са оквиром Compass Framework и комбинује налазе са повратним информацијама полазника. За сваку сесију прави извештај, који руководиоцима показује где би квалитет могао бити угрожен и предлаже области за напредак на основу рада инструктора током времена. Компанија представља излаз као повод за људску проверу, а не као коначан суд о инструктору.

The Guardian наводи да се транскрипти онлајн часова анализирају и оцењују. Према извештају листа, систем може да означи проблеме попут спорог решавања прекида везе, претеране употребе поштапалица или нејасних упутстава за задатак. Ти примери потичу из новинског извештавања о систему; Multiverse-ова јавна објава не садржи цео оквир Compass Framework нити упутства за генерисање сваког упозорења.

Multiverse наводи да менаџери за испоруку проверавају извештаје Compass-а према ономе што већ знају, одлучују да ли треба реаговати и договарају циљеве за напредак са инструкторима. Компанија каже да се управљање учинком заснива на посматрању људи и да Compass не доноси одлуке о запослењу. Портпарол је за The Guardian рекао да је најважнија радња коју агент може да предузме препорука да човек прегледа сесију. Те изјаве описују политику и планирани ток рада компаније; саме по себи не показују како се свако упозорење обрађује у пракси.

Шта су пријавили инструктори

Неколико инструктора разговарало је са The Guardian-ом под условом анонимности. Један је рекао да је стрес од увођења система утицао на сан. Други је рекао да му је покушај избегавања негативне AI оцене одвраћао пажњу од држања часа и слушања полазника. Лист је објавио и исказ једног инструктора из првог лица који наводи да су руководиоци могли да истражују наводна одступања од наставног сценарија, иако су заправо била одговор на потребе полазника.

То су искази из прве руке које преноси The Guardian. BIG CHANGE није разговарао са инструкторима нити мерио утицај система на њихову добробит. Сведочења ипак указују на практично питање за сваки систем сталног надзора: да ли означени одломак показује лоше предавање или пропушта контекст због ког је одлука инструктора била примерена.

Увођење система такође ограничава оно што инструктори тренутно могу сами да провере. Multiverse наводи да су током тестирања у августу и увођења у септембру извештаје видели само руководиоци. Компанија каже да ће инструктори у октобру добити приступ преко интерне платформе за подучавање. Аутор исказа у првом лицу за The Guardian такође је рекао да су руководиоци видели контролну таблу, али инструктори нису, у време писања текста.

Где се доноси одлука

Између сесије и последице по радно место има неколико корака: Compass саставља извештај, руководилац проверава могући проблем, а особа одлучује шта ће предузети. Компанија наводи да формално управљање учинком зависи од људског посматрања. Извештавање The Guardian-а показује зашто је та разлика важна и када одлуке о запослењу нису аутоматизоване: упозорење и даље може да привуче пажњу руководиоца и утиче на повратне информације које инструктор добија.

У објављеним начелима AI-ја компаније Multiverse траже се транспарентност и људско усмеравање. Обећање о октобарском приступу конкретан је тест тих обавеза према инструкторима, иако сам приступ не би доказао тачност процена нити могућност запослених да их оспоре. Јавно доступни материјали не откривају стопу грешке система, колико често руководиоци одбацују упозорења ни да ли је извештај Compass-а утицао на ичији исход запослења. BIG CHANGE није тестирао Compass.

Овде је реч о томе како послодавци користе AI за процену наставног рада. То се разликује од правила универзитета о употреби AI-ја за оцењивање студентских радова и од независне људске процене у раду на обуци AI модела. У сваком случају, потребна граница зависи од посла који се оцењује и овлашћења додељених систему.