Multiverse zufolge überprüft die KI Compass jede Unterrichtseinheit

Multiverse setzt inzwischen ein KI-Werkzeug namens Compass ein, um jede Unterrichtseinheit seiner Lehrkräfte zu überprüfen. Das Unternehmen sagt, Führungskräfte könnten damit mögliche Probleme erkennen und gezielter beraten. Lehrkräfte, die mit The Guardian sprachen, schilderten eine andere Erfahrung: Sie fühlten sich während ihrer gesamten Arbeit beobachtet und seien angespannt, weil unklar sei, was das System als problematisch markieren könnte.

Die Berichte beschreiben denselben Wandel: Statt gelegentlicher Beobachtung durch Menschen gibt es nun routinemäßige KI-Prüfungen. Sie belegen nicht, dass Compass Personalentscheidungen trifft. Multiverse zufolge bleiben diese Entscheidungen Menschen vorbehalten.

Die große Änderung

• Was sich geändert hat: Multiverse zufolge beobachtete eine Führungskraft eine Lehrkraft früher etwa einmal im Monat. Compass prüft nun jede Unterrichtseinheit und macht einzelne Stunden zu einer fortlaufenden Quelle für Rückmeldungen und mögliche Risikohinweise.
• Warum das wichtig ist: Eine Führungskraft kann eine markierte Unterrichtseinheit schneller prüfen. Der breitere Überblick verändert jedoch auch die Arbeitsbedingungen der Lehrkräfte. Sie berichteten dem Guardian von Stress durch die Überwachung und die Möglichkeit, wegen einer Unterrichtsstunde zur Rede gestellt zu werden. Das ist eine Aussage aus der Berichterstattung und keine unabhängig gemessene Auswirkung auf die gesamte Belegschaft.
• Worauf zu achten ist: Multiverse zufolge sollen Lehrkräfte ab Oktober dieselben Berichte wie Führungskräfte sehen können. Dieser angekündigte Zugang macht für die bewerteten Personen deutlicher, wie das Unternehmen zwischen KI-Vorschlägen, menschlicher Prüfung und Leistungsbeurteilung unterscheidet.

Was Compass prüft

In einem Beitrag vom 25. September erklärt Multiverse, Compass vergleiche Unterrichtseinheiten mit dem Compass Framework und beziehe Rückmeldungen von Lernenden ein. Für jede Stunde erstelle das System eine Auswertung, die Führungskräften mögliche Qualitätsrisiken zeige und Entwicklungsbereiche auf Grundlage des Unterrichts einer Lehrkraft über längere Zeit vorschlage. Das Unternehmen beschreibt diese Auswertung als Anstoß für eine menschliche Prüfung, nicht als Urteil über eine Lehrkraft.

The Guardian berichtet, dass Transkripte von Online-Kursen analysiert und bewertet werden. Dem Bericht zufolge kann das System etwa markieren, wenn eine Lehrkraft eine Verbindungsstörung nicht schnell behebt, häufig Füllwörter verwendet oder Aufgaben unklar erklärt. Diese Beispiele stammen aus der Berichterstattung über das System. Multiverses öffentlicher Beitrag veröffentlicht weder das vollständige Compass Framework noch die Anweisungen, mit denen die einzelnen Hinweise erzeugt werden.

Multiverse zufolge prüfen zuständige Führungskräfte die Compass-Berichte anhand ihrer Kenntnisse, entscheiden über mögliche Maßnahmen und vereinbaren Entwicklungsziele mit Lehrkräften. Die Leistungsbeurteilung beruhe auf menschlicher Beobachtung; Compass entscheide nicht über den Arbeitsplatz einer Person. Ein Sprecher sagte dem Guardian, die folgenreichste Handlung, die der Agent vornehmen könne, sei die Empfehlung, eine Unterrichtseinheit von einem Menschen prüfen zu lassen. Diese Aussagen beschreiben die Richtlinien und den vorgesehenen Ablauf des Unternehmens. Sie zeigen für sich genommen nicht, wie jeder Hinweis in der Praxis behandelt wird.

Was Lehrkräfte berichteten

Mehrere Lehrkräfte sprachen unter der Bedingung der Anonymität mit The Guardian. Eine sagte, der Stress seit der Einführung des Systems beeinträchtige ihren Schlaf. Eine andere berichtete, sie achte nun stärker darauf, keinen KI-Hinweis zu erhalten, was davon ablenke, den Unterricht zu halten und den Lernenden zuzuhören. Die Zeitung veröffentlichte außerdem einen Ich-Bericht einer Lehrkraft. Darin hieß es, Führungskräfte könnten vermeintliche Abweichungen vom Unterrichtsskript untersuchen, obwohl diese tatsächlich eine Reaktion auf die Bedürfnisse der Lernenden waren.

Das sind persönliche Erfahrungsberichte, wie The Guardian sie wiedergibt. BIG CHANGE hat die Lehrkräfte weder interviewt noch die Auswirkungen des Systems auf das Wohlbefinden der Beschäftigten gemessen. Ihre Aussagen werfen jedoch eine praktische Frage für jedes System zur laufenden Überprüfung auf: Erfasst eine Markierung tatsächlich schlechten Unterricht, oder geht dabei der Kontext verloren, der die Entscheidung der Lehrkraft angemessen machte?

Derzeit können die Lehrkräfte außerdem nur eingeschränkt selbst prüfen, was das System über sie erfasst. Multiverse zufolge konnten während der Tests im August und der Einführung im September nur Führungskräfte die Berichte sehen. Ab Oktober sollen Lehrkräfte über die interne Coaching-Plattform Zugang erhalten. Auch die Ich-Berichterstatterin des Guardian schrieb, zum Zeitpunkt ihres Beitrags hätten Führungskräfte das Dashboard sehen können, Lehrkräfte jedoch nicht.

Wo die Entscheidung liegt

Zwischen einer Unterrichtseinheit und möglichen Folgen für den Arbeitsplatz liegen mehrere Schritte: Compass erstellt eine Auswertung, eine Führungskraft prüft einen möglichen Problempunkt, und ein Mensch entscheidet über das weitere Vorgehen. Das Unternehmen sagt, formelle Leistungsbeurteilungen beruhten auf menschlicher Beobachtung. Die Berichterstattung des Guardian zeigt, warum diese Unterscheidung auch dann wichtig ist, wenn keine automatisierte Personalentscheidung getroffen wird: Ein Hinweis kann trotzdem die Aufmerksamkeit einer Führungskraft auslösen und das Feedback an eine Lehrkraft prägen.

Multiverses veröffentlichte KI-Grundsätze sprechen sich für Transparenz und menschliche Anleitung aus. Der für Oktober angekündigte Zugang zu den Berichten ist ein konkreter Prüfstein für diese Zusagen gegenüber den Lehrkräften. Der Zugang allein würde jedoch weder belegen, dass die Bewertungen korrekt sind, noch dass Beschäftigte sie anfechten können. Aus den verfügbaren öffentlichen Materialien geht weder die Fehlerquote des Systems hervor noch wie oft Führungskräfte Hinweise zurückweisen oder ob eine Personalentscheidung für eine bestimmte Person von einem Compass-Bericht abhing. BIG CHANGE hat Compass nicht getestet.

Hier geht es um den Einsatz von KI durch Arbeitgeber zur Bewertung von Unterricht. Das unterscheidet sich von Regeln an Universitäten für KI-gestützte Benotung von Studierenden und von der geforderten unabhängigen menschlichen Beurteilung bei KI-Trainingsarbeit. In jedem Fall muss die Grenze danach bestimmt werden, welche Arbeit bewertet wird und welche Befugnisse dem System übertragen werden.