Multiverse affirme que son IA Compass analyse chaque cours donné par ses formateurs

Multiverse a commencé à utiliser un outil d’IA appelé Compass pour analyser chaque cours dispensé par ses formateurs. L’entreprise affirme que cet outil aide les responsables à repérer d’éventuels problèmes et à proposer un accompagnement plus ciblé. Les formateurs interrogés par The Guardian ont décrit une tout autre expérience : le sentiment d’être surveillés tout au long de leur travail et l’anxiété face à ce que le système pourrait signaler.

Ces témoignages décrivent le passage d’observations humaines occasionnelles à une évaluation régulière par l’IA. Ils ne démontrent pas que Compass prend des décisions concernant l’emploi. Multiverse affirme que ces décisions restent du ressort des personnes.

Le changement majeur

• Ce qui a changé : Selon Multiverse, auparavant, un responsable observait un formateur environ une fois par mois. Désormais, Compass analyse chaque cours, faisant de chaque leçon une source continue de retours et d’éventuels signaux de risque.
• Pourquoi c’est important : Un responsable peut vérifier plus rapidement un cours signalé, mais cette observation plus large modifie aussi les conditions de travail du formateur. Des enseignants ont déclaré au Guardian que cette surveillance et la possibilité d’être interrogés au sujet d’un cours étaient sources de stress. Il s’agit de témoignages rapportés, et non d’une mesure indépendante de l’effet sur l’ensemble du personnel.
• À surveiller : Multiverse affirme que les formateurs auront accès aux mêmes rapports que les responsables en octobre. Cette promesse permettra aux personnes évaluées de mieux voir comment l’entreprise distingue les suggestions de l’IA, les vérifications humaines et la gestion des performances.

Ce que Compass évalue

Dans un billet publié le 25 septembre, Multiverse explique que Compass compare les cours des formateurs à son référentiel Compass Framework et combine cette analyse avec les retours des apprenants. Pour chaque séance, l’outil produit une évaluation qui indique aux responsables où la qualité pourrait être menacée et suggère des pistes de progression tirées de l’enseignement du formateur au fil du temps. L’entreprise présente ces résultats comme une invitation à la vérification humaine, et non comme un jugement sur un formateur.

Le Guardian rapporte que les transcriptions des cours en ligne sont analysées et notées. Selon son article, le système peut signaler, par exemple, qu’un formateur n’a pas résolu assez rapidement une interruption de connexion, qu’il utilise beaucoup de mots de remplissage ou qu’il donne des consignes de tâche peu claires. Ces exemples proviennent de l’enquête du journal sur le système ; le billet public de Multiverse ne publie ni la totalité du Compass Framework ni les consignes utilisées pour générer chaque alerte.

Multiverse affirme que les responsables pédagogiques vérifient les rapports de Compass à la lumière de ce qu’ils savent, décident d’agir ou non et conviennent avec les formateurs d’objectifs de progression. Selon l’entreprise, la gestion des performances repose sur l’observation humaine et Compass ne prend aucune décision concernant l’emploi de qui que ce soit. Un porte-parole a déclaré au Guardian que la mesure la plus lourde de conséquences que l’agent puisse prendre est de recommander à une personne de vérifier une séance. Ces propos décrivent la politique annoncée par l’entreprise et le fonctionnement prévu ; ils ne montrent pas, à eux seuls, comment chaque alerte est traitée dans la pratique.

Ce que les formateurs ont rapporté

Plusieurs formateurs ont parlé au Guardian sous couvert d’anonymat. L’un d’eux a déclaré que le stress provoqué par l’introduction du système perturbait son sommeil. Un autre a expliqué que la nécessité d’éviter une mauvaise évaluation de l’IA détournait son attention de son cours et de l’écoute des apprenants. Le journal a également publié le témoignage à la première personne d’un formateur : selon lui, les responsables pouvaient enquêter sur des écarts apparents au script pédagogique qui étaient en réalité des réponses aux besoins des apprenants.

Il s’agit de témoignages de première main rapportés par The Guardian. BIG CHANGE n’a pas interrogé les formateurs et n’a pas mesuré les effets du système sur le bien-être du personnel. Leurs témoignages soulèvent toutefois une question pratique pour tout dispositif d’évaluation continue : une alerte signale-t-elle un enseignement de mauvaise qualité, ou écarte-t-elle le contexte qui rendait le choix du formateur approprié ?

Le déploiement limite également ce que les formateurs peuvent actuellement vérifier eux-mêmes. Multiverse indique que, lors des tests en août et de la mise en service en septembre, seuls les responsables avaient accès aux rapports. L’entreprise affirme que les formateurs y auront accès par l’intermédiaire de sa plateforme interne d’accompagnement en octobre. Le contributeur du Guardian qui a publié un témoignage à la première personne indiquait lui aussi que les responsables pouvaient consulter le tableau de bord, contrairement aux formateurs à la date de publication.

Où se situe la décision

Plusieurs étapes séparent un cours d’une conséquence professionnelle : Compass produit une évaluation, un responsable vérifie un problème potentiel, puis une personne décide de la suite à donner. L’entreprise affirme que la gestion formelle des performances repose sur l’observation humaine. L’enquête du Guardian montre pourquoi cette distinction compte, même en l’absence de décision automatisée concernant l’emploi : une alerte peut tout de même déclencher l’examen d’un responsable et influencer les retours reçus par le formateur.

Les principes d’IA publiés par Multiverse prônent la transparence et l’accompagnement humain. La promesse d’un accès en octobre constitue un test concret de ces engagements envers les formateurs, même si l’accès, à lui seul, ne prouverait ni l’exactitude des évaluations ni la possibilité pour le personnel de les contester. Les informations publiques disponibles ne précisent pas le taux d’erreur du système, la fréquence à laquelle les responsables rejettent les alertes, ni si une décision concernant l’emploi d’une personne s’est appuyée sur un rapport de Compass. BIG CHANGE n’a pas testé Compass.

La question porte ici sur l’utilisation de l’IA par des employeurs pour évaluer le travail pédagogique. Elle diffère des règles des universités concernant la notation assistée par IA des étudiants et du jugement humain indépendant recherché dans le travail d’entraînement de l’IA. Dans chaque cas, la limite pertinente dépend précisément du travail évalué et de l’autorité accordée au système.