A Multiverse afirma que a sua IA Compass analisa todas as sessões dos formadores

A Multiverse começou a utilizar uma ferramenta de IA chamada Compass para analisar todas as aulas dadas pelos seus formadores. A empresa afirma que a ferramenta permite aos gestores identificar possíveis problemas e dar orientações mais específicas. Os formadores que falaram ao The Guardian descreveram outra experiência: a sensação de serem observados durante todo o trabalho e a ansiedade quanto ao que o sistema poderia assinalar.

Os relatos descrevem a mesma mudança: da observação humana ocasional para a análise rotineira por IA. Não demonstram que a Compass tome decisões laborais. A Multiverse afirma que essas decisões continuam a caber a pessoas.

A grande mudança

• O que mudou: A Multiverse afirma que, anteriormente, um gestor observava cada formador cerca de uma vez por mês. Agora, a Compass analisa todas as aulas, transformando cada sessão numa fonte contínua de comentários e possíveis alertas de risco.
• Porque é importante: Um gestor pode verificar mais cedo uma aula assinalada, mas a visão mais ampla também altera as condições de trabalho dos formadores. Estes disseram ao The Guardian que a vigilância e a possibilidade de serem questionados sobre uma aula causam stress. Trata-se de testemunhos publicados, não de um efeito medido de forma independente em toda a equipa.
• O que acompanhar:A Multiverse afirma que, em outubro, os formadores terão acesso aos mesmos relatórios que os gestores. Esse acesso prometido tornará mais visível para as pessoas avaliadas a distinção que a empresa estabelece entre sugestões da IA, verificações humanas e gestão do desempenho.

O que analisa a Compass

Numa publicação de 25 de setembro, a Multiverse afirma que a Compass compara as aulas dos formadores com o seu Compass Framework e combina os resultados com os comentários dos alunos. A ferramenta produz uma análise de cada sessão, indica aos gestores onde a qualidade pode estar em risco e sugere áreas de desenvolvimento com base no trabalho do formador ao longo do tempo. A empresa descreve o resultado como um ponto de partida para a avaliação humana, não como um veredicto sobre o formador.

O The Guardian noticia que as transcrições das aulas em linha são analisadas e pontuadas. Segundo a reportagem, o sistema pode assinalar problemas como um formador não resolver rapidamente uma falha de ligação, usar demasiadas expressões de preenchimento ou dar instruções pouco claras sobre uma tarefa. Estes exemplos resultam da investigação do jornal sobre o sistema; a publicação da Multiverse não apresenta o Compass Framework completo nem as instruções utilizadas para gerar cada alerta.

A Multiverse afirma que os gestores pedagógicos analisam os relatórios da Compass à luz do que sabem, decidem se devem agir e definem objetivos de desenvolvimento com os formadores. Segundo a empresa, a gestão do desempenho baseia-se na observação humana e a Compass não decide o emprego de ninguém. Um porta-voz disse ao The Guardian que a ação mais consequente que o agente pode tomar é recomendar que uma pessoa analise uma aula. Estas declarações descrevem a política e o fluxo de trabalho pretendido pela empresa; por si só, não demonstram como cada alerta é tratado na prática.

O que relataram os formadores

Vários formadores falaram ao The Guardian sob anonimato. Um afirmou que o stress desde a implementação do sistema tinha afetado o seu sono. Outro contou que a necessidade de evitar uma avaliação negativa da IA desviava a sua atenção de dar a aula e ouvir os alunos. O jornal publicou também o testemunho na primeira pessoa de um formador, segundo o qual os gestores podiam investigar aparentes desvios do plano de ensino que, na verdade, respondiam às necessidades dos alunos.

São testemunhos em primeira mão tal como publicados pelo The Guardian. A BIG CHANGE não entrevistou os formadores nem mediu o efeito do sistema no bem-estar da equipa. Ainda assim, os testemunhos apontam uma questão prática para qualquer sistema de análise contínua: se um trecho assinalado regista um ensino inadequado ou perde o contexto que tornou apropriada a escolha do formador.

A implementação também limita aquilo que os formadores podem verificar por si próprios neste momento. A Multiverse afirma que, durante os testes em agosto e a introdução em setembro, apenas os gestores viam os relatórios. A empresa diz que, em outubro, os formadores terão acesso através da sua plataforma interna de orientação. O colaborador que escreveu um testemunho na primeira pessoa para o The Guardian também afirmou que, na altura da publicação, os gestores podiam ver o painel, mas os formadores não.

Onde fica a decisão

Há várias etapas entre uma aula e uma consequência profissional: a Compass gera uma análise, um gestor verifica uma possível preocupação e uma pessoa decide o que fazer. A empresa afirma que a gestão formal do desempenho depende da observação humana. A reportagem do The Guardian mostra por que razão esta distinção é importante mesmo quando não há uma decisão laboral automatizada: um alerta ainda pode levar um gestor a analisar o trabalho e influenciar os comentários recebidos pelo formador.

Os princípios de IA publicados publicados pela Multiverse defendem a transparência e a orientação humana. A promessa de acesso em outubro é um teste concreto destes compromissos para os formadores, embora o acesso, por si só, não demonstre que as avaliações sejam precisas ou que a equipa possa contestá-las. Os materiais públicos disponíveis não indicam a taxa de erro do sistema, a frequência com que os gestores rejeitam alertas nem se algum resultado profissional individual dependeu de um relatório da Compass. A BIG CHANGE não testou a ferramenta.

O tema aqui é a utilização de IA pelos empregadores para avaliar o trabalho docente. É diferente das regras de universidades para o uso de IA na avaliação de alunos e do julgamento humano independente buscado no trabalho de treinamento de IA. Em cada caso, o limite adequado depende do trabalho avaliado e da autoridade atribuída ao sistema.