무작위 분수 연구 두 건에서 대화형 보조 도구를 받은 사람들은 도구를 사용할 수 있는 동안 더 많은 문제를 풀었다. 그러나 도구를 없앤 뒤 마지막 문제 중 혼자 푼 수는 도구 없이 연습한 사람들보다 적었다. Grace Liu와 동료들의 최신 논문 은 비슷한 즉각적 결과를 보인 독해 실험도 보고한다. 지속성은 참가자가 문제를 건너뛰었는지로 측정했다. 세션 이후의 학습이나 행동은 추적하지 않았다.

주요 변화

  • 무엇이 달라졌나: 무작위 배정으로 연구진은 동일한 마지막 문제에서 짧은 AI 도움과 도움 없는 연습을 비교할 수 있었다. 도움을 받는 동안 AI 집단이 보인 정확도 우위는 도구를 제거하자 뒤집혔다.
  • 왜 중요한가: 도움을 받아 정답을 얻는 것과 다음 문제에 혼자 답할 수 있는 것은 서로 다른 결과다. 이 연구는 교육자와 AI 설계자가 두 결과를 모두 측정할 이유를 제시한다.
  • 아직 알 수 없는 점: 실험은 즉각적인 무도움 시험 뒤 끝났다. 지속적인 기술 손실, 전반적인 집중력 저하, 수개월 동안 일상적으로 AI를 쓸 때의 효과를 입증할 수 없다.

두 분수 실험이 측정한 것

연구진은 온라인 플랫폼 Prolific을 통해 미국 참가자를 모집했다. 첫 실험에서는 354명을 무작위로 나눠 첫 12문항에서 GPT-5 채팅 사이드바를 쓰거나 전체 과정에서 AI를 쓰지 않고 분수 문제를 풀게 했다. 이후 모두 AI 없이 같은 마지막 세 문항을 풀었다. 보조 도구는 각 문제와 해법을 제공받았으므로 참가자는 답을 직접 요청할 수 있었다. 참가자는 문제를 건너뛸 수도 있었고 오답에 따른 보수 삭감은 없었다. 두 집단 모두 오답 제출 뒤 정답 해법을 확인했다.

주의력과 수행 기준에 따른 제외 후 분석에는 307명이 포함됐다. 도움 없이 푼 세 문항에서 이전 AI 집단은 평균 57%를 맞혔고 대조군은 73%였다. 건너뛴 비율은 각각 20%와 11%였다. 보고된 표준화 효과는 정답 풀이 −0.42(95% 신뢰구간 −0.66~−0.19), 건너뛰기 0.25(구간 0.02~0.48)였다.

첫 번째 제외 기준은 이 비교를 해석하기 어렵게 만들었다. 초반 문제를 너무 적게 푼 사람을 제외했지만, AI 사용자는 AI 답을 제출해 기준을 통과할 수 있었다. 최종 집단 규모도 달랐다. AI 집단은 185명, 대조군은 122명이었다.

두 번째 실험은 667명을 모집해 도움을 주기 전에 기초 분수 능력을 시험했다. 본 단계에서 AI 집단은 11문항에 채팅 사이드바를 사용했다. 대조군은 사전 검사에서 공개된 해법을 보여주는 사이드바를 사용했다. 두 사이드바 모두 같은 마지막 세 무도움 문항 전에 사라졌다. 이 설계는 첫 연구의 기술 선택 우려를 다루고 인터페이스 변화를 더 잘 비교할 수 있게 했다.

사전 검사와 주의력 확인에 따른 제외 후 585명이 남았다. AI 집단 308명, 대조군 277명이었다. 이전 AI 집단은 마지막 문항의 71%를 맞혔고 대조군은 77%였다. 표준화 차이는 −0.19, 95% 신뢰구간은 −0.36~−0.03이었다. 건너뛰기는 AI 집단 10%, 대조군 7%였지만 전체 차이는 통계적으로 불확실했다. 표준화 효과의 보고 구간은 −0.07~0.26이었다. 이 반복 실험은 더 작은 즉각적 정확도 차이를 뒷받침하지만, 그 자체로 전반적인 지속성 차이를 입증하지는 않는다.

연구진은 AI 집단 안에서 참가자들이 보조 도구를 어떻게 썼다고 말했는지도 비교했다. 분석된 AI 참가자 308명 중 189명은 주로 직접 답을 얻었다고 했고, 82명은 힌트나 설명을 구했다고 했으며, 37명은 AI를 쓰지 않았다고 했다. 직접 답을 얻은 집단은 대조군과 힌트 집단보다 마지막 정확도가 낮고 건너뛰기율이 높았다. 사용 범주는 참가자가 선택했으며 무작위 배정되지 않았다. 범주 간 차이로 답을 요청한 행위 자체가 격차의 원인이라고 볼 수 없다.

독해 결과와 주장의 한계

세 번째 실험은 SAT 형식 독해 문항을 풀 201명을 모집했다. AI 집단은 다섯 문항에서 채팅 사이드바를 볼 수 있었고 대조군에는 일반적인 독해 요령이 표시된 사이드바가 있었다. 이후 두 집단 모두 사이드바 없이 세 문항에 답했다. 최종 분석은 168명을 포함했다. 이전 AI 집단은 마지막 문항의 76%를 맞혔고 대조군은 89%였다. 건너뛰기율은 각각 8%와 1%였다. 논문은 정확도 P=0.007, 건너뛰기 P=0.008을 보고했다. 이 실험에서는 5초 이내에 제출한 답도 건너뛰기로 계산했다.

무작위 배정은 이 짧은 과제와 도움 종료 직후 단계에 관한 결론을 뒷받침한다. 능력이나 동기의 지속적 변화를 밝혀주지는 않는다. 저자들은 효과가 몇 시간 또는 며칠 지속되는지, 매일 사용하면서 누적되는지, 아니면 사라지는지 알 수 없다고 말한다. 보조 도구는 요청 시 완전한 답을 제공하도록 설정됐다. 다른 튜터링 설계에서도 같은 결과가 나오는지는 실험하지 않았다.

10월 9일자 Berkeley News 보도는 짧은 AI 사용이 집중력과 지속성을 해친다는 증거로 이 연구를 설명한다. 논문은 정답과 건너뛰기를 측정했으며 별도의 집중력 결과는 측정하지 않았다. 두 번째 분수 실험에서 전체 건너뛰기율 차이는 불확실했다. Berkeley는 교육과 직업 전반의 전문성에 대한 연구자의 해석도 인용한다. 이는 향후 연구 과제이며 이번 세션이 측정한 범위를 넘어선다.

출처와 더 읽을거리