A Multiverse começou a usar uma ferramenta de IA chamada Compass para analisar todas as aulas ministradas por seus instrutores. A empresa diz que ela permite aos gestores identificar possíveis problemas e oferecer orientações mais específicas. Instrutores que falaram ao The Guardian descreveram outra experiência: a sensação de serem observados durante todo o trabalho e a ansiedade sobre o que o sistema poderia sinalizar.

Os relatos descrevem a mesma mudança: da observação humana ocasional para a análise rotineira por IA. Eles não demonstram que o Compass tome decisões de emprego. A Multiverse afirma que essas decisões continuam a cargo de pessoas.

A grande mudança

  • O que mudou: A Multiverse afirma que antes um gestor observava cada instrutor cerca de uma vez por mês. Agora, o Compass analisa todas as aulas, transformando cada sessão em uma fonte contínua de feedback e possíveis alertas de risco.
  • Por que isso importa: Um gestor pode verificar mais cedo uma aula sinalizada, mas a visão mais ampla também muda as condições de trabalho do instrutor. Instrutores disseram ao The Guardian que a vigilância e a possibilidade de serem questionados sobre uma aula causam estresse. Esse é um depoimento publicado, não um efeito medido de forma independente em toda a equipe.
  • O que acompanhar: A Multiverse diz que, em outubro, os instrutores terão acesso aos mesmos relatórios que os gestores. Esse acesso prometido tornará mais visível para as pessoas avaliadas a distinção feita pela empresa entre sugestões da IA, verificações humanas e gestão de desempenho.

O que o Compass analisa

Em uma publicação de 25 de setembro, a Multiverse diz que o Compass compara as aulas dos instrutores com seu Compass Framework e combina os resultados com o feedback dos alunos. A ferramenta produz uma análise de cada sessão, aponta aos gestores onde a qualidade pode estar em risco e sugere áreas de desenvolvimento com base no trabalho do instrutor ao longo do tempo. A empresa descreve o resultado como um ponto de partida para avaliação humana, não como um veredito sobre o instrutor.

O The Guardian informa que as transcrições das aulas online são analisadas e pontuadas. Segundo a reportagem, o sistema pode sinalizar problemas como um instrutor não resolver rapidamente uma interrupção na conexão, usar muitas expressões de preenchimento ou dar instruções pouco claras sobre uma tarefa. Esses exemplos vêm da apuração do jornal sobre o sistema; a publicação da Multiverse não apresenta o Compass Framework completo nem as instruções usadas para gerar cada alerta.

A Multiverse afirma que gestores de ensino conferem os relatórios do Compass com base no que sabem, decidem se devem agir e definem metas de desenvolvimento com os instrutores. Segundo a empresa, a gestão de desempenho se baseia na observação humana e o Compass não decide o emprego de ninguém. Um porta-voz disse ao The Guardian que a ação de maior consequência que o agente pode tomar é recomendar que uma pessoa analise uma aula. Essas declarações descrevem a política e o fluxo de trabalho pretendido pela empresa; por si só, não demonstram como cada alerta é tratado na prática.

O que os instrutores relataram

Vários instrutores falaram ao The Guardian sob condição de anonimato. Um disse que o estresse desde a implantação do sistema havia afetado seu sono. Outro contou que a necessidade de evitar uma avaliação negativa da IA desviava sua atenção de dar a aula e ouvir os alunos. O jornal também publicou o relato em primeira pessoa de um instrutor, segundo o qual gestores podiam investigar aparentes desvios do roteiro de ensino que, na verdade, respondiam às necessidades dos alunos.

São relatos em primeira mão conforme publicados pelo The Guardian. A BIG CHANGE não entrevistou os instrutores nem mediu o efeito do sistema no bem-estar da equipe. Ainda assim, os depoimentos apontam uma questão prática para qualquer sistema de análise contínua: se um trecho sinalizado registra um ensino inadequado ou perde o contexto que tornou apropriada a escolha do instrutor.

A implantação também limita o que os instrutores podem verificar por conta própria neste momento. A Multiverse diz que, durante os testes em agosto e a introdução em setembro, somente os gestores viam os relatórios. A empresa afirma que os instrutores terão acesso por meio de sua plataforma interna de orientação em outubro. O colaborador que escreveu um relato em primeira pessoa para o The Guardian também disse que, na época da publicação, os gestores podiam ver o painel, mas os instrutores não.

Onde fica a decisão

Há várias etapas entre uma aula e uma consequência profissional: o Compass gera uma análise, um gestor verifica uma possível preocupação e uma pessoa decide o que fazer. A empresa afirma que a gestão formal de desempenho depende da observação humana. A reportagem do The Guardian mostra por que essa distinção importa mesmo quando não há uma decisão automatizada de emprego: um alerta ainda pode levar um gestor a examinar o trabalho e influenciar o feedback recebido pelo instrutor.

Os princípios de IA publicados pela Multiverse defendem transparência e orientação humana. A promessa de acesso em outubro é um teste concreto desses compromissos para os instrutores, embora o acesso, por si só, não demonstre que as avaliações sejam precisas ou que a equipe possa contestá-las. Os materiais públicos disponíveis não informam a taxa de erro do sistema, com que frequência os gestores rejeitam alertas nem se algum resultado profissional individual dependeu de um relatório do Compass. A BIG CHANGE não testou a ferramenta.

O tema aqui é o uso de IA por empregadores para avaliar o trabalho docente. É diferente das regras de universidades para o uso de IA na avaliação de alunos e do julgamento humano independente buscado no trabalho de treinamento de IA. Em cada caso, o limite adequado depende do trabalho avaliado e da autoridade atribuída ao sistema.