Sa dalawang randomisadong pag-aaral sa fractions, mas maraming problema ang nalutas ng mga taong may chat assistant habang magagamit ito. Nang alisin ang tool, mas kaunti sa mga huling problema ang nalutas nila nang mag-isa kaysa sa mga taong nagtrabaho nang wala nito. Ang pinakabagong papel nina Grace Liu at mga kasamahan ay nag-uulat din ng eksperimento sa pag-unawa sa binasa na may kahalintulad na agarang resulta. Sinukat ang pagpupursige batay sa paglaktaw ng tanong. Hindi sinubaybayan ang pagkatuto o asal matapos ang sesyon.

Ang malaking pagbabago

  • Ano ang nagbago: Dahil sa randomisasyon, naihambing ng mga mananaliksik ang maikling tulong ng AI at pagsasanay nang walang tulong sa parehong mga huling problema. Nabura ang lamang ng pangkat na AI sa katumpakan nang alisin ang tool.
  • Bakit ito mahalaga: Magkaibang resulta ang makakuha ng tamang sagot sa tulong at masagot nang mag-isa ang susunod na tanong. May dahilan ang mga guro at tagadisenyo ng AI na sukatin ang dalawa.
  • Ano ang hindi pa alam: Natapos ang mga eksperimento matapos ang agarang pagsusulit nang walang tulong. Hindi nito mapatutunayan ang pangmatagalang pagkawala ng kasanayan, pangkalahatang paghina ng pokus, o epekto ng regular na paggamit ng AI sa loob ng mga buwan.

Ano ang sinukat ng dalawang eksperimento sa fractions

Kumuha ang mga mananaliksik ng mga kalahok mula sa US sa online platform na Prolific. Sa unang eksperimento, random na itinalaga ang 354 katao na gumamit ng GPT-5 chat sidebar sa unang 12 tanong o hindi gumamit ng AI kailanman. Pagkatapos, sinagutan ng lahat ang parehong tatlong huling tanong nang walang AI. Naibigay na sa assistant ang bawat problema at solusyon nito kaya maaaring direktang hingin ng kalahok ang sagot. Maaari ring lumaktaw ng tanong; walang bawas sa bayad ang maling sagot. Ipinakita sa dalawang pangkat ang tamang solusyon matapos magsumite ng maling sagot.

Matapos alisin ang mga kalahok batay sa atensyon at pagganap, 307 katao ang nasama sa pagsusuri. Sa tatlong tanong na walang tulong, 57% ang karaniwang nasagutan nang tama ng dating pangkat na AI, kumpara sa 73% ng kontrol. Nilaktawan nila ang 20% ng mga tanong, kumpara sa 11%. Ang iniulat na standardized effect ay −0.42 sa pagsagot (95% confidence interval −0.66 hanggang −0.19) at 0.25 sa paglaktaw (0.02 hanggang 0.48).

Nagpahirap sa interpretasyon ng paghahambing ang unang tuntunin sa pag-aalis. Inalis nito ang mga taong kakaunti ang nasagot sa unang mga tanong, ngunit maaaring makapasa rito ang gumagamit ng AI sa pamamagitan ng pagsusumite ng sagot ng AI. Hindi rin pantay ang huling mga pangkat: 185 sa pangkat na AI at 122 sa kontrol.

Kumuha ang ikalawang eksperimento ng 667 katao at sinubok ang batayang kakayahan sa fractions bago magbigay ng tulong. Sa pangunahing bahagi, may chat sidebar ang pangkat na AI sa 11 tanong. Sidebar naman na nagpapakita ng mga solusyong nailahad na sa paunang pagsusulit ang ginamit ng kontrol. Inalis ang dalawang sidebar bago ang parehong tatlong huling tanong na walang tulong. Tinugunan ng disenyo ang usapin sa pagpili ng kasanayan sa unang pag-aaral at ginawang mas maihahambing ang pagbabago sa interface.

Matapos ang mga pag-aalis batay sa paunang pagsusulit at pagsusuri sa atensyon, 585 katao ang natira: 308 sa pangkat na AI at 277 sa kontrol. Tama ang 71% ng huling tanong ng dating pangkat na AI, kumpara sa 77% ng kontrol. −0.19 ang standardized difference, na may 95% confidence interval na −0.36 hanggang −0.03. Nilaktawan nito ang 10% ng tanong, kumpara sa 7% ng kontrol, ngunit hindi tiyak sa istatistika ang kabuuang pagkakaiba: −0.07 hanggang 0.26 ang iniulat na interval ng standardized effect. Sinusuportahan ng replikasyong ito ang mas maliit na agarang agwat sa katumpakan; hindi nito mag-isang pinatutunayan ang pangkalahatang pagkakaiba sa pagpupursige.

Inihambing din ng mga mananaliksik kung paano raw ginamit ng mga tao sa pangkat na AI ang assistant. Sa 308 sinuring kalahok na AI, 189 ang nagsabing pangunahing direktang sagot ang hinihingi, 82 ang naghahanap ng pahiwatig o paglilinaw, at 37 ang hindi gumamit ng AI. Mas mababa ang huling katumpakan at mas mataas ang paglaktaw sa pangkat na direktang sagot kaysa sa kontrol at pangkat na pahiwatig. Ang mga kalahok ang pumili ng kategorya ng paggamit; hindi ito itinalaga nang random. Hindi pinatutunayan ng pagkakaiba na ang paghingi mismo ng sagot ang sanhi ng agwat.

Ang resulta sa pagbasa at mga hangganan ng pahayag

Kumuha ang ikatlong eksperimento ng 201 katao para sa mga tanong sa pagbasa na kahawig ng SAT. Nakagamit ang pangkat na AI ng chat sidebar sa limang tanong; may sidebar naman na pangkalahatang payo sa pagbasa ang kontrol. Pagkatapos, sumagot ang dalawa sa tatlong tanong nang walang sidebar. 168 kalahok ang nasama sa huling pagsusuri. Tama ang 76% ng huling tanong ng dating pangkat na AI, kumpara sa 89% ng kontrol; 8% ang nilaktawan, kumpara sa 1%. Iniulat ng papel ang P=0.007 para sa katumpakan at P=0.008 para sa paglaktaw. Sa eksperimentong ito, itinuring ding paglaktaw ang sagot na ipinasa nang wala pang limang segundo.

Sinusuportahan ng randomisasyon ang mga konklusyon tungkol sa maiikling gawaing ito at sa agarang yugtong kasunod ng pagtigil ng tulong. Hindi nito natutukoy ang pangmatagalang pagbabago sa kakayahan o motibasyon. Hindi matiyak ng mga may-akda kung tumatagal nang ilang oras o araw ang epekto, naiipon sa araw-araw na paggamit, o nawawala. Nakaayos ang assistant na magbigay ng buong sagot kapag hiniling; hindi sinubok ng mga eksperimento kung magbubunga rin ng kaparehong resulta ang ibang disenyo ng pagtuturo.

Sa ulat noong Oktubre 9, Berkeley News ay naglalarawan sa gawain bilang ebidensiyang nakapipinsala sa pokus at pagpupursige ang maikling paggamit ng AI. Tamang sagot at paglaktaw ang sinukat ng papel, hindi hiwalay na sukatan ng pokus. Hindi tiyak ang kabuuang pagkakaiba sa paglaktaw sa ikalawang eksperimento sa fractions. Sinipi rin ng Berkeley ang mas malawak na paliwanag ng mananaliksik tungkol sa kadalubhasaan sa edukasyon at trabaho. Mga usapin ito para sa susunod na pag-aaral, lampas sa sinukat ng mga sesyon.

Mga sanggunian at karagdagang babasahin