分数を扱った2件の無作為化研究では、チャットアシスタントが使える間、参加者はより多くの問題を解いた。しかしツールを外すと、使わずに取り組んだ人より最後の問題を自力で解いた数が少なかった。 Grace Liuらの最新論文は同様の即時結果が出た読解実験も報告する。粘り強さは参加者が問題を飛ばしたかどうかで測定した。セッション後の学習や行動は追跡していない。

大きな変化

  • 何が変わったか： 無作為割り当てにより、同じ最後の問題で短時間のAI支援と支援なしの練習を比較できた。支援中にAI群が示した正答率の優位は、ツールを外すと逆転した。
  • なぜ重要か： 支援を受けて正答することと、次の質問に一人で答えることは別の結果だ。教育者とAI設計者が両方を測る理由を、この研究は示している。
  • 未解明の点： 実験は直後の支援なしテストで終了した。長期的な技能低下、全般的な集中力低下、数か月にわたる日常的なAI使用の影響は示せない。

2つの分数実験で測ったこと

研究者はオンラインサービスProlificを通じて米国の参加者を募った。最初の実験では354人を無作為に分け、最初の12問でGPT-5のチャットサイドバーを使う群と、全期間AIを使わない群にした。その後、全員がAIなしで同じ最後の3問に答えた。アシスタントには各問題と解答が与えられ、参加者は直接答えを尋ねられた。問題は飛ばせ、誤答でも報酬は減らなかった。誤答送信後は両群に正解が表示された。

注意力と成績による除外後、分析対象は307人だった。支援なしの3問では、先にAIを使った群の平均正答率は57%、対照群は73%。問題を飛ばした割合は20%対11%。標準化効果は解答で−0.42（95%信頼区間−0.66〜−0.19）、スキップで0.25（0.02〜0.48）。

最初の除外規則により比較の解釈が難しくなった。初期問題をほとんど解かなかった人を除いたが、AI利用者はAIの答えを提出して基準を通過できた。最終人数も不均衡で、AI群185人、対照群122人だった。

2つ目の実験では667人を募り、支援前に基本的な分数能力を調べた。主な段階ではAI群が11問でチャットサイドバーを使い、対照群には事前テストで提示済みの解法を示すサイドバーがあった。同じ最後の3問の前に両方を外した。この設計は最初の研究の技能選択の懸念に対応し、インターフェース変更を比較しやすくした。

事前テストと注意力確認による除外後、585人が残った。AI群308人、対照群277人。先にAIを使った群の最後の問題の正答率は71%、対照群は77%。標準化差は−0.19（95%信頼区間−0.36〜−0.03）。スキップ率は10%対7%だが、全体差は統計的に不確かで、報告区間は−0.07〜0.26。この再現実験は小さな即時の正答率差を支持するが、それだけで全体的な粘り強さの差を示さない。

研究者はAI群の参加者がアシスタントをどう使ったと答えたかも比較した。分析した308人のうち、189人は主に直接答えを求め、82人はヒントや説明を求め、37人はAIを使わなかったとした。直接回答群は対照群やヒント群より最後の正答率が低く、スキップ率が高かった。利用区分は参加者が選び、無作為に割り当てられていない。この差から、答えを求める行為自体が差を生んだとは言えない。

読解の結果と主張の限界

3つ目の実験ではSAT形式の読解問題のため201人を募った。AI群は5問でチャットサイドバーを参照でき、対照群には一般的な読解助言があった。その後、両群はサイドバーなしで3問に答えた。最終分析は168人。先にAIを使った群の正答率は76%、対照群は89%、スキップ率は8%対1%。論文は正答率P=0.007、スキップP=0.008と報告する。5秒未満で送信した答えもスキップと数えた。

無作為割り当ては短い課題と支援終了直後の段階についての結論を支えるが、能力や動機の長期的変化は示さない。効果が数時間・数日続くのか、日常利用で蓄積するのか、薄れるのかは分からないと著者らは述べる。アシスタントは求められれば完全な答えを出す設定で、別の指導設計でも同じ結果になるかは試していない。

また、10月9日のBerkeley News記事は、短時間のAI利用が集中力と粘り強さを損なう証拠として紹介する。論文が測ったのは正答とスキップで、集中力そのものは別途測定していない。2つ目の分数実験では全体的なスキップ率の差は不確かだった。Berkeleyは教育や仕事における専門性について研究者の広い解釈も紹介する。これらは今後の研究課題で、今回の測定範囲を超える。

出典と関連資料