In zwei randomisierten Studien zu Brüchen lösten Menschen mit einem Chatassistenten mehr Aufgaben, solange er verfügbar war. Nach dessen Abschaltung lösten sie weniger der letzten Aufgaben allein als Menschen, die ohne ihn gearbeitet hatten. Der jüngste Beitrag von Grace Liu und Kollegen berichtet auch über ein Leseverständnisexperiment mit einem ähnlichen unmittelbaren Ergebnis. Ausdauer wurde daran gemessen, ob Teilnehmende eine Aufgabe übersprangen. Lernen oder Verhalten nach der Sitzung wurden nicht erfasst.

Die große Veränderung

  • Was sich änderte: Durch die zufällige Zuteilung konnten die Forschenden kurze KI-Hilfe und Übung ohne Hilfe bei denselben Abschlussaufgaben vergleichen. Der Genauigkeitsvorsprung der KI-Gruppe während der Unterstützung kehrte sich nach Entfernen des Werkzeugs um.
  • Warum es wichtig ist: Eine richtige Antwort mit Hilfe und die Fähigkeit, die nächste Frage allein zu beantworten, sind unterschiedliche Ergebnisse. Die Studien geben Lehrkräften und KI-Entwicklern einen Grund, beides zu messen.
  • Was noch offen ist: Die Experimente endeten nach einem unmittelbaren Test ohne Hilfe. Sie belegen weder einen dauerhaften Kompetenzverlust noch einen allgemeinen Rückgang der Konzentration oder Folgen routinemäßiger KI-Nutzung über Monate.

Was die beiden Bruchrechenexperimente maßen

Die Forschenden rekrutierten US-Teilnehmende über die Onlineplattform Prolific. Im ersten Experiment wurden 354 Personen zufällig einer von zwei Bedingungen zugewiesen: GPT-5-Chat-Seitenleiste für die ersten zwölf Fragen oder während des gesamten Ablaufs keine KI. Danach bearbeiteten alle ohne KI dieselben drei Abschlussfragen. Der Assistent hatte jede Aufgabe samt Lösung erhalten, sodass Teilnehmende direkt nach einer Antwort fragen konnten. Sie durften auch Fragen überspringen; falsche Antworten minderten die Bezahlung nicht. Beide Gruppen sahen nach einer falschen Antwort die richtige Lösung.

Nach Ausschlüssen wegen Aufmerksamkeit und Leistung umfasste die Analyse 307 Personen. Bei den drei Aufgaben ohne Hilfe löste die frühere KI-Gruppe durchschnittlich 57% richtig, die Kontrollgruppe 73%. Sie übersprang 20% der Aufgaben gegenüber 11%. Die berichteten standardisierten Effekte betrugen −0,42 für das Lösen (95%-Konfidenzintervall −0,66 bis −0,19) und 0,25 für das Überspringen (Intervall 0,02 bis 0,48).

Die erste Ausschlussregel erschwerte die Deutung dieses Vergleichs. Sie entfernte Personen, die zu wenige frühe Aufgaben gelöst hatten; wer KI nutzte, konnte diese Schwelle jedoch mit eingereichten KI-Antworten erreichen. Auch die endgültigen Gruppen waren ungleich groß: 185 in der KI-Gruppe und 122 in der Kontrolle.

Das zweite Experiment rekrutierte 667 Personen und testete ihre grundlegenden Bruchrechenkenntnisse, bevor jemand Hilfe erhielt. In der Hauptphase hatte die KI-Gruppe bei elf Fragen eine Chat-Seitenleiste. Die Kontrollgruppe sah eine Seitenleiste mit Lösungen, die im Vortest bereits angezeigt worden waren. Beide Seitenleisten verschwanden vor denselben drei Abschlussfragen ohne Hilfe. Damit griff das Design die Sorge zur Kompetenzselektion aus der ersten Studie auf und machte den Schnittstellenwechsel besser vergleichbar.

Nach Ausschlüssen anhand des Vortests und einer Aufmerksamkeitsprüfung blieben 585 Personen: 308 in der KI-Gruppe und 277 in der Kontrolle. Die frühere KI-Gruppe löste 71% der Abschlussfragen richtig, die Kontrolle 77%. Die standardisierte Differenz betrug −0,19 (95%-Konfidenzintervall −0,36 bis −0,03). Sie übersprang 10% der Aufgaben gegenüber 7% in der Kontrolle; der Gesamtunterschied war statistisch unsicher. Das berichtete Intervall des standardisierten Effekts reichte von −0,07 bis 0,26. Diese Replikation stützt einen kleineren unmittelbaren Genauigkeitsunterschied, belegt für sich aber keinen allgemeinen Unterschied bei der Ausdauer.

Die Forschenden verglichen auch, wie Personen in der KI-Gruppe den Assistenten nach eigener Aussage nutzten. Von 308 analysierten KI-Teilnehmenden berichteten 189, hauptsächlich direkte Antworten zu erhalten, 82 suchten Hinweise oder Erläuterungen und 37 nutzten keine KI. Die Gruppe mit direkten Antworten erreichte eine geringere Abschlussgenauigkeit und übersprang häufiger als Kontrolle und Hinweisgruppe. Die Teilnehmenden wählten diese Nutzungskategorien selbst; sie wurden nicht zufällig zugewiesen. Die Unterschiede zeigen nicht, dass das Fragen nach Antworten selbst die Lücke verursachte.

Das Leseergebnis und die Grenzen der Aussage

Das dritte Experiment rekrutierte 201 Personen für lesebezogene Aufgaben im SAT-Stil. Die KI-Gruppe konnte bei fünf Fragen eine Chat-Seitenleiste nutzen; die Kontrolle erhielt darüber allgemeine Lesetipps. Danach beantworteten beide Gruppen drei Fragen ohne Seitenleiste. Die Endanalyse umfasste 168 Teilnehmende. Die frühere KI-Gruppe beantwortete 76% der Abschlussfragen richtig, die Kontrolle 89%; die Überspringraten lagen bei 8% und 1%. Der Beitrag nennt P=0,007 für Genauigkeit und P=0,008 für Überspringen. In diesem Experiment galt auch eine in weniger als fünf Sekunden eingereichte Antwort als übersprungen.

Die zufällige Zuteilung stützt Schlussfolgerungen zu diesen kurzen Aufgaben und der unmittelbaren Phase nach Ende der Hilfe. Sie weist keine dauerhafte Veränderung der Fähigkeit oder Motivation nach. Die Autoren können nicht sagen, ob die Effekte Stunden oder Tage anhalten, sich durch tägliche Nutzung summieren oder nachlassen. Der Assistent war darauf eingestellt, auf Nachfrage vollständige Antworten zu geben; ob ein anderes Tutorium denselben Effekt hätte, wurde nicht getestet.

Der Bericht von Berkeley News vom 9. Oktober beschreibt die Arbeit als Beleg dafür, dass kurze KI-Nutzung Konzentration und Ausdauer beeinträchtigt. Der Beitrag maß richtige Antworten und übersprungene Aufgaben, nicht ein gesondertes Konzentrationsergebnis. Im zweiten Bruchrechenexperiment war der Gesamtunterschied beim Überspringen unsicher. Berkeley zitiert außerdem weitergehende Überlegungen eines Forschers zu Fachkenntnissen in Bildung und Beruf. Das sind Fragen für künftige Studien und gehen über die Messungen dieser Sitzungen hinaus.

Quellen und weiterführende Lektüre