Multiverse начала использовать инструмент ИИ Compass для проверки каждого занятия, которое проводят ее преподаватели. По словам компании, он помогает руководителям замечать возможные проблемы и давать более адресные рекомендации. Преподаватели, поговорившие с изданием The Guardian, описали иной опыт: ощущение, что за ними наблюдают на протяжении всей работы, и тревогу из-за того, что может отметить система.

В этих рассказах описан переход от периодического наблюдения со стороны человека к регулярной проверке занятий с помощью ИИ. Они не доказывают, что Compass принимает кадровые решения. Multiverse заявляет, что такие решения остаются за людьми.

Главное изменение

  • Что изменилось: По словам Multiverse, раньше менеджер наблюдал за занятием преподавателя примерно раз в месяц. Теперь Compass проверяет каждый урок, превращая отдельные занятия в постоянный источник обратной связи и возможных сигналов риска.
  • Почему это важно: Менеджер может быстрее проверить занятие, отмеченное системой, но постоянный контроль меняет и условия работы преподавателя. Учителя рассказали The Guardian, что наблюдение и возможность получить вопросы о проведенном уроке вызывают стресс. Это свидетельства, приведенные изданием, а не независимо измеренный эффект для всего коллектива.
  • На что обратить внимание: Multiverse обещает, что в октябре преподаватели получат доступ к тем же отчетам, что и менеджеры. Такая открытость поможет оценить, насколько ясно компания отделяет предложения ИИ от проверки человеком и управления эффективностью.

Что проверяет Compass

В публикации от 25 сентября Multiverse сообщает, что Compass сопоставляет занятия преподавателей с Compass Framework и объединяет результаты с отзывами учеников. Для каждого занятия формируется отчет, который показывает менеджерам, где качество может быть под угрозой, и предлагает направления развития на основе работы преподавателя за длительный период. Компания описывает результат как повод для проверки человеком, а не как вердикт о преподавателе.

The Guardian сообщает, что система анализирует и оценивает расшифровки онлайн-занятий. По данным издания, она может отмечать такие проблемы, как неспособность преподавателя быстро решить сбой подключения, чрезмерное использование слов-паразитов или неясные инструкции к заданию. Эти примеры основаны на журналистском материале о системе; в публичной публикации Multiverse не приведены полная версия Compass Framework или инструкции, по которым формируется каждый сигнал.

Multiverse утверждает, что менеджеры по работе с преподавателями сверяют отчеты Compass со своими знаниями, решают, следует ли действовать, и согласуют с преподавателями цели развития. По словам компании, управление эффективностью основано на наблюдениях людей, а Compass не принимает решений о чьей-либо работе. Представитель компании сказал The Guardian, что самое серьезное действие, на которое способен агент, — рекомендовать человеку проверить занятие. Это изложение политики компании и предполагаемого процесса; само по себе оно не показывает, как на практике обрабатывается каждый сигнал.

Что рассказали преподаватели

Несколько преподавателей поговорили с The Guardian на условиях анонимности. Один сказал, что стресс после внедрения системы повлиял на сон. Другой рассказал, что необходимость избегать отметки ИИ отвлекает от ведения занятия и внимания к ученикам. Издание также опубликовало рассказ преподавателя от первого лица: менеджеры могли расследовать кажущееся отступление от сценария урока, хотя на деле это была реакция на потребности учеников.

Это свидетельства очевидцев, переданные The Guardian. BIG CHANGE не беседовал с преподавателями и не измерял влияние системы на их самочувствие. Однако их рассказы поднимают практический вопрос для любой системы постоянного контроля: отличает ли отмеченный фрагмент плохое преподавание от ситуации, когда теряется контекст, сделавший действия преподавателя уместными.

Нынешний запуск также ограничивает возможности преподавателей самим проверить оценку. По данным Multiverse, во время августовского тестирования и сентябрьского внедрения отчеты видели только менеджеры. Компания обещает предоставить преподавателям доступ через внутреннюю платформу обучения в октябре. Автор рассказа от первого лица в The Guardian также сообщил, что на момент подготовки материала панель была доступна менеджерам, но не преподавателям.

Кто принимает решение

Между занятием и возможными последствиями для работы есть несколько этапов: Compass формирует отчет, менеджер проверяет возможную проблему, после чего человек решает, что делать. Компания заявляет, что формальное управление эффективностью зависит от наблюдений людей. Журналистский материал The Guardian показывает, почему это различие важно, даже если автоматизированных кадровых решений нет: сигнал все равно может вызвать проверку со стороны менеджера и повлиять на получаемую преподавателем обратную связь.

Опубликованные принципы ИИ Multiverse призывают к прозрачности и человеческому руководству. Обещанный на октябрь доступ к отчетам — конкретная проверка этих обязательств для преподавателей, хотя сам доступ не доказывает точность оценок или возможность их оспорить. В открытых материалах нет данных о частоте ошибок системы, о том, как часто менеджеры отклоняют сигналы, и о том, зависело ли какое-либо индивидуальное кадровое решение от отчета Compass. BIG CHANGE не тестировал Compass.

Здесь речь идет о применении ИИ работодателями для оценки преподавательской работы. Это отличается от правил университетов по оцениванию студенческих работ с помощью ИИ и от необходимости независимого человеческого суждения при обучении ИИ. В каждом случае граница контроля должна учитывать конкретный вид оцениваемой работы и полномочия, предоставленные системе.