Dans deux études randomisées sur les fractions, les personnes disposant d’un assistant conversationnel ont résolu davantage de problèmes tant qu’il était disponible, puis en ont résolu seules moins parmi les derniers que celles ayant travaillé sans lui. Le dernier article de Grace Liu et ses collègues présente aussi une expérience de compréhension écrite aux résultats immédiats similaires. La persévérance était mesurée par le fait de passer une question. L’apprentissage et le comportement après la séance n’ont pas été suivis.

Le grand changement

  • Ce qui a changé : L’affectation aléatoire a permis de comparer une brève aide de l’IA à une pratique sans aide sur les mêmes problèmes finaux. L’avantage de précision du groupe avec IA pendant l’assistance s’est inversé après le retrait de l’outil.
  • Pourquoi c’est important : Obtenir une bonne réponse avec de l’aide et pouvoir répondre seul à la question suivante sont deux résultats distincts. Les études donnent aux enseignants et aux concepteurs d’IA une raison de mesurer les deux.
  • Ce qui reste inconnu : Les expériences se sont terminées après un test immédiat sans aide. Elles ne permettent pas d’établir une perte durable de compétences, une baisse générale de la concentration ou les effets d’un usage régulier de l’IA pendant des mois.

Ce que mesuraient les deux expériences sur les fractions

Les chercheurs ont recruté des participants américains sur la plateforme en ligne Prolific. Dans la première expérience, 354 personnes ont été réparties au hasard entre une barre latérale GPT-5 pour les 12 premières questions et une condition sans IA. Ensuite, tous ont répondu aux mêmes trois questions finales sans IA. L’assistant connaissait chaque problème et sa solution, donc un participant pouvait demander directement la réponse. Il pouvait aussi passer une question, sans pénalité financière en cas d’erreur. Les deux groupes voyaient la solution correcte après une mauvaise réponse.

Après les exclusions liées à l’attention et aux performances, l’analyse portait sur 307 personnes. Aux trois questions sans aide, l’ancien groupe IA en a résolu 57 % correctement en moyenne, contre 73 % pour le témoin. Il a passé 20 % des questions, contre 11 %. Les effets standardisés rapportés étaient de −0,42 pour la résolution (IC à 95 % : −0,66 à −0,19) et de 0,25 pour les omissions (0,02 à 0,48).

La première règle d’exclusion compliquait l’interprétation. Elle écartait les personnes ayant résolu trop peu de questions initiales, mais un utilisateur d’IA pouvait franchir ce seuil en soumettant des réponses générées par l’IA. Les groupes finaux étaient aussi déséquilibrés : 185 personnes avec IA et 122 témoins.

La deuxième expérience a recruté 667 personnes et testé leurs bases en fractions avant toute aide. Dans la phase principale, le groupe IA disposait de la barre de conversation pour 11 questions ; le témoin voyait les solutions déjà révélées au prétest. Les deux barres ont disparu avant les mêmes trois questions finales sans aide. Cette conception répondait au problème de sélection des compétences du premier essai et rendait le changement d’interface plus comparable.

Après les exclusions fondées sur le prétest et un contrôle d’attention, il restait 585 personnes : 308 avec IA et 277 témoins. Le groupe ayant utilisé l’IA auparavant a réussi 71 % des questions finales, contre 77 %. La différence standardisée était de −0,19 (IC à 95 % : −0,36 à −0,03). Il a passé 10 % des questions, contre 7 %, mais la différence globale était statistiquement incertaine : l’intervalle rapporté allait de −0,07 à 0,26. Cette réplication appuie une différence immédiate plus faible de précision ; elle n’établit pas à elle seule une différence générale de persévérance.

Les chercheurs ont aussi comparé l’usage déclaré de l’assistant dans le groupe IA. Parmi les 308 participants analysés, 189 demandaient surtout des réponses directes, 82 cherchaient des indices ou des précisions et 37 n’utilisaient pas l’IA. Le groupe des réponses directes avait une précision finale plus faible et davantage d’omissions que le témoin et le groupe des indices. Les participants ont choisi eux-mêmes leur catégorie ; elle n’a pas été attribuée au hasard. Ces différences ne prouvent pas que demander une réponse a causé l’écart.

Le résultat en lecture et les limites de l’affirmation

La troisième expérience a recruté 201 personnes pour des questions de lecture de type SAT. Le groupe IA pouvait consulter une barre de conversation pour cinq questions ; le témoin avait des conseils généraux de lecture. Ensuite, les deux groupes ont répondu à trois questions sans barre. L’analyse finale comprenait 168 personnes. L’ancien groupe IA a réussi 76 % des dernières questions, contre 89 % pour le témoin ; les omissions étaient de 8 % et 1 %. L’article indique P=0,007 pour la précision et P=0,008 pour les omissions. Une réponse envoyée en moins de cinq secondes comptait aussi comme omission.

L’affectation aléatoire étaye des conclusions sur ces tâches brèves et la phase immédiate après l’aide. Elle ne montre pas de changement durable de capacité ou de motivation. Les auteurs ignorent si les effets durent des heures ou des jours, s’accumulent avec l’usage quotidien ou s’estompent. L’assistant était configuré pour fournir une réponse complète à la demande ; les expériences n’ont pas testé un autre modèle de tutorat.

Le reportage de Berkeley News du 9 octobre présente ce travail comme la preuve qu’un bref usage de l’IA nuit à la concentration et à la persévérance. L’étude a mesuré les bonnes réponses et les omissions, pas un résultat distinct de concentration. La deuxième expérience sur les fractions a trouvé une différence globale incertaine des omissions. Berkeley cite aussi une interprétation plus large d’un chercheur sur l’expertise dans l’éducation et le travail. Ces questions relèvent d’études futures et dépassent les mesures de ces séances.

Sources et lectures complémentaires