两项随机分数题研究中,使用聊天助手的人在工具可用时解出更多题;工具撤下后,他们独立解出的末尾题少于未使用工具的人。 Grace Liu 及同事的最新论文还报告了一项阅读理解实验,结果也呈现类似的即时变化。研究用参与者是否跳题衡量坚持性,没有追踪实验后的学习或行为。

重大变化

  • 变化内容: 随机分配使研究者能够比较短暂 AI 辅助与无辅助练习在相同末尾题目上的表现。AI 组在辅助期间的准确率优势,在工具撤下后逆转。
  • 为何重要: 借助工具答对和独立回答下一题是不同结果。这些研究让教育者和 AI 设计者有理由同时衡量两者。
  • 仍未知之处: 实验在立即进行的无辅助测试后结束。它们无法证明技能长期受损、整体专注力下降或数月常规使用 AI 的影响。

两项分数题实验测量了什么

研究者通过在线平台 Prolific 招募美国参与者。第一项实验将 354 人随机分组:前 12 题使用 GPT-5 聊天侧栏,或全程不使用 AI。随后所有人都在无 AI 情况下回答相同的三道末尾题。助手已获得每道题及其解法,因此参与者可以直接索要答案。参与者也可跳题,答错不会扣报酬。两组在提交错答后都会看到正确解法。

按注意力和表现排除后,分析纳入 307 人。在三道无辅助题目中,先前使用 AI 组平均答对 57%,对照组为 73%;跳题率分别为 20% 和 11%。标准化效应为:答题 −0.42(95% 置信区间 −0.66 至 −0.19),跳题 0.25(0.02 至 0.48)。

第一项排除规则让比较难以解释。它排除了早期答题过少的人,但 AI 用户可能通过提交 AI 答案越过门槛。最终两组人数也不均:AI 组 185 人,对照组 122 人。

第二项实验招募 667 人,并在提供帮助前测试基础分数能力。主要阶段中,AI 组在 11 道题上使用聊天侧栏;对照组看到预试中已展示的解法。两种侧栏都在相同的三道无辅助末尾题前撤下。该设计回应第一项研究中的技能选择问题,也让界面变化更可比。

按预试和注意力检查排除后,剩下 585 人:AI 组 308 人,对照组 277 人。先前使用 AI 组答对末尾题的比例为 71%,对照组为 77%。标准化差异 −0.19(95% 置信区间 −0.36 至 −0.03)。AI 组跳题率为 10%,对照组为 7%,但总体差异在统计上不确定:报告的区间为 −0.07 至 0.26。这项重复试验支持较小的即时准确率差异;本身不能确立整体坚持性差异。

研究者还比较了 AI 组参与者自述的助手用法。在分析的 308 人中,189 人主要索要直接答案,82 人寻求提示或解释,37 人没有使用 AI。直接答案组的末尾准确率较低、跳题率高于对照组和提示组。使用类别由参与者自行选择,并非随机分配。这些差异不能证明索要答案本身造成了差距。

阅读结果与主张的局限

第三项实验招募 201 人回答 SAT 风格阅读题。AI 组可在五道题上使用聊天侧栏;对照组侧栏提供一般阅读提示。随后两组都在无侧栏情况下回答三题。最终分析纳入 168 人。先前使用 AI 组末尾题答对率为 76%,对照组为 89%;跳题率分别为 8% 和 1%。论文报告准确率 P=0.007、跳题 P=0.008。该实验中,五秒内提交的答案也算跳题。

随机分配支持关于这些短任务及辅助刚结束后即时阶段的结论,但无法识别能力或动机的长期变化。作者称,他们无法判断效果会持续数小时或数天、随每日使用累积,还是消退。助手被设置为按需提供完整答案;实验没有测试不同辅导设计是否会产生相同结果。

其中10 月 9 日的 Berkeley News 报道将该研究描述为短暂使用 AI 会损害专注力和坚持性的证据。论文测量了正确答案和跳题,没有单独测量专注力。第二项分数题实验发现总体跳题率差异不确定。Berkeley 还引用研究者关于教育与工作中专业能力的延伸解读。这些是未来研究议题,超出本次实验测量范围。

来源与延伸阅读