Multiverse는 Compass라는 AI 도구를 사용하기 시작해 강사들이 진행하는 모든 수업을 검토한다. 회사는 관리자가 잠재적 문제를 찾아 더 구체적인 코칭을 제공할 수 있게 하는 도구라고 설명한다. 강사들은 The Guardian 인터뷰에서 다른 경험을 설명했다. 업무 내내 감시당하는 느낌과 시스템이 무엇을 표시할지 모른다는 불안감이다.

양측의 설명은 사람이 가끔 관찰하던 방식에서 AI가 일상적으로 검토하는 방식으로 바뀌었다는 점에서 일치한다. 이 설명만으로 Compass가 고용 결정을 내린다고 입증되지는 않는다. Multiverse는 그런 결정은 여전히 사람이 내린다고 말한다.

큰 변화

  • 무엇이 달라졌나: Multiverse는 관리자가 이전에는 강사를 한 달에 한 번쯤 관찰했다고 말한다. 이제 Compass가 모든 수업을 검토하면서 개별 강의는 지속적인 피드백과 잠재적 위험 표시의 자료가 됐다.
  • 왜 중요한가: 관리자는 표시된 수업을 더 빨리 확인할 수 있지만, 더 넓은 범위의 검토는 강사의 근무 조건도 바꾼다. 강사들은 수업에 대한 감시와 그로 인해 질문을 받을 가능성이 스트레스를 일으켰다고 The Guardian에 말했다. 이는 보도된 증언이지 전체 노동력에 미친 영향을 독립적으로 측정한 결과는 아니다.
  • 앞으로 지켜볼 점: Multiverse는 10월부터 강사도 관리자와 같은 보고서를 보게 될 것이라고 말한다. 이 약속이 이행되면 평가받는 사람들이 AI 제안과 사람의 확인, 성과 관리 사이의 회사 구분을 더 분명히 볼 수 있다.

Compass는 무엇을 검토하나

Multiverse는 9월 25일 게시물에 따르면 Compass는 강사의 수업을 Compass Framework와 비교하고 학습자 피드백을 결합한다. 매 수업에 대한 검토 결과를 작성해 관리자가 품질이 위험할 수 있는 지점을 찾도록 돕고, 강사의 시간에 따른 강의 기록에서 발전이 필요한 영역을 제안한다. 회사는 이 결과가 강사에 대한 판정이 아니라 사람이 검토하도록 유도하는 계기라고 설명한다.

The Guardian은 온라인 수업의 녹취록을 분석하고 점수를 매긴다고 보도한다. 신문 보도에 따르면 시스템은 강사가 연결 장애를 신속히 해결하지 못하거나 군더더기 표현을 지나치게 많이 쓰거나 과제 지시를 불명확하게 제시한 경우 등을 표시할 수 있다. 이런 사례는 신문이 시스템에 관해 보도한 내용이다. Multiverse가 공개한 게시물은 전체 Compass Framework나 각 표시를 생성하는 데 사용된 지침을 공개하지 않는다.

Multiverse는 프로그램 운영 관리자가 Compass 보고서를 자신이 아는 내용과 대조해 확인하고, 조치 여부를 결정하며, 강사와 발전 목표를 합의한다고 말한다. 성과 관리는 사람의 관찰에 기반하며 Compass는 누구의 고용에 대해서도 결정을 내리지 않는다는 입장이다. 대변인은 The Guardian에 에이전트가 취할 수 있는 가장 중대한 조치는 사람이 수업을 검토하도록 권고하는 것이라고 말했다. 이러한 설명은 회사의 정책과 예정된 업무 흐름을 나타낼 뿐 실제로 모든 표시가 어떻게 처리되는지 보여 주지는 않는다.

강사들이 전한 내용

여러 강사가 익명을 조건으로 The Guardian과 이야기했다. 한 강사는 시스템이 도입된 뒤 받은 스트레스가 수면에 영향을 줬다고 말했다. 다른 강사는 AI의 표시를 피하려는 부담 때문에 수업 진행과 학습자에게 귀 기울이는 데서 주의가 분산됐다고 전했다. 신문은 한 강사의 1인칭 기고문도 실었다. 그에 따르면 관리자는 강의 대본에서 벗어난 것처럼 보이는 행동을 조사할 수 있었지만, 실제로는 학습자의 필요에 대응한 것이었다.

이는 The Guardian이 보도한 당사자들의 직접 증언이다. BIG CHANGE는 강사들을 인터뷰하거나 시스템이 교직원의 복지에 미친 영향을 측정하지 않았다. 다만 이들의 증언은 지속적 검토 시스템에 실질적인 질문을 제기한다. 표시된 대목이 형편없는 강의를 포착한 것인지, 아니면 강사의 선택을 적절하게 만든 맥락을 놓친 것인지 하는 문제다.

현재 강사들이 직접 확인할 수 있는 범위도 도입 일정 때문에 제한된다. Multiverse는 8월 시험 운영과 9월 도입 기간에는 관리자만 보고서를 봤다고 말한다. 10월에는 내부 코칭 플랫폼을 통해 강사에게도 접근 권한을 제공할 예정이라고 밝혔다. The Guardian의 1인칭 기고자도 기사 작성 당시 관리자는 대시보드를 볼 수 있었지만 강사는 볼 수 없었다고 전했다.

결정 권한은 어디에 있나

수업에서 고용상 결과에 이르기까지는 몇 단계가 있다. Compass가 검토 결과를 생성하고, 관리자가 우려 가능성을 확인하며, 사람이 취할 조치를 결정한다. 회사는 공식적인 성과 관리가 사람의 관찰에 달려 있다고 말한다. 자동화된 고용 결정이 없더라도 The Guardian의 보도는 이 구분이 중요한 이유를 보여 준다. 표시 하나가 여전히 관리자의 감시를 촉발하고 강사가 받는 피드백에 영향을 줄 수 있다.

Multiverse의 공개된 AI 원칙은 투명성과 사람의 지도를 약속한다. 10월에 강사에게 접근 권한을 제공하겠다는 약속은 강사를 대상으로 그 약속을 구체적으로 시험하는 계기가 된다. 다만 접근 권한만으로 평가의 정확성이나 직원이 이의를 제기할 수 있는지를 입증할 수는 없다. 공개 자료로는 시스템의 오류율과 관리자가 표시를 거부하는 빈도, Compass 보고서가 개인의 고용 결과에 영향을 준 사례가 있는지 알 수 없다. BIG CHANGE는 Compass를 시험하지 않았다.

여기서 다루는 문제는 고용주가 AI로 강의 업무를 평가하는 것이다. 이는 학생 AI 보조 채점에 관한 대학들의 규칙 및 AI 훈련 업무에서 요구되는 독립적인 인간 판단과는 다른 문제다. 각각의 경우 평가 대상 업무와 시스템에 부여된 권한에 맞는 구체적인 경계를 정하는 것이 중요하다.