U dve randomizovane studije o razlomcima, ljudi koji su dobili čet asistenta rešili su više zadataka dok je bio dostupan, a zatim su sami rešili manje završnih zadataka nego ljudi koji su radili bez njega. Najnoviji rad Grejs Liu i saradnika donosi i eksperiment razumevanja pročitanog sa sličnim neposrednim ishodom. Istrajnost je merena time da li su učesnici preskočili zadatak. Njihovo učenje i ponašanje posle sesije nisu praćeni.

Najvažnija promena

  • Šta se promenilo: Nasumična raspodela omogućila je istraživačima da uporede kratku AI pomoć sa vežbanjem bez pomoći na istim završnim zadacima. Prednost AI grupe u tačnosti tokom rada uz pomoć preokrenula se kada je alat uklonjen.
  • Zašto je važno: Tačan odgovor uz pomoć i sposobnost da se na sledeće pitanje odgovori samostalno različiti su ishodi. Studije daju nastavnicima i dizajnerima AI sistema razlog da mere oba.
  • Šta ostaje nepoznato: Eksperimenti su završeni neposrednim testom bez pomoći. Ne mogu da utvrde trajan gubitak veštine, opšti pad koncentracije ili posledice rutinske upotrebe AI tokom više meseci.

Šta su merila dva eksperimenta s razlomcima

Istraživači su preko onlajn platforme Prolific regrutovali učesnike iz SAD. U prvom eksperimentu, 354 osobe su nasumično raspoređene da rešavaju zadatke s razlomcima uz bočnu traku čet-a GPT-5 tokom prvih 12 pitanja ili bez AI tokom celog postupka. Zatim su svi bez AI odgovarali na ista tri završna pitanja. Asistent je dobio svaki zadatak i njegovo rešenje, pa je učesnik mogao neposredno da zatraži odgovor. Učesnici su mogli i da preskoče pitanje, a netačan odgovor nije umanjivao isplatu. Obe grupe su posle slanja pogrešnog odgovora videle tačno rešenje.

Posle isključivanja zbog pažnje i učinka, u analizu je ušlo 307 osoba. Na tri pitanja bez pomoći, ranija AI grupa tačno je rešila prosečno 57%, a kontrolna grupa 73%. Preskočila je 20% pitanja, naspram 11% u kontroli. Prijavljeni standardizovani efekti bili su −0,42 za rešavanje, uz interval poverenja od 95% od −0,66 do −0,19, i 0,25 za preskakanje, uz interval od 0,02 do 0,48.

Prvo pravilo isključivanja otežalo je tumačenje poređenja. Izbacilo je ljude koji su rešili premalo ranih pitanja, ali je osoba koja koristi AI mogla da pređe prag slanjem AI odgovora. Završne grupe su bile i nejednake: 185 u AI grupi i 122 u kontrolnoj.

Drugi eksperiment je regrutovao 667 osoba i testirao osnovno znanje razlomaka pre nego što je iko dobio pomoć. Tokom glavne faze, AI grupa je imala čet bočnu traku za 11 pitanja. Kontrolna grupa je imala traku sa rešenjima prikazanim tokom prethodnog testa. Obe trake su uklonjene pre ista tri završna pitanja bez pomoći. Time se odgovorilo na zabrinutost zbog odabira veština u prvoj studiji, a promena interfejsa postala uporedivija.

Posle isključivanja na osnovu prethodnog testa i provere pažnje, ostalo je 585 osoba: 308 u AI grupi i 277 u kontroli. Ranija AI grupa tačno je rešila 71% završnih pitanja, a kontrolna 77%. Standardizovana razlika bila je −0,19, uz interval poverenja od 95% od −0,36 do −0,03. Preskočila je 10% pitanja, naspram 7% u kontroli, ali je ukupna razlika bila statistički neizvesna: prijavljeni interval standardizovanog efekta bio je od −0,07 do 0,26. Ova replikacija podržava manju neposrednu razliku u tačnosti; sama po sebi ne utvrđuje opštu razliku u istrajnosti.

Istraživači su uporedili i kako su ljudi iz AI grupe rekli da koriste asistenta. Od 308 analiziranih učesnika iz AI grupe, 189 je navelo da uglavnom traži direktne odgovore, 82 da traži nagoveštaje ili pojašnjenje, a 37 da ne koristi AI. Grupa direktnih odgovora imala je nižu završnu tačnost i više preskakanja nego kontrola i grupa nagoveštaja. Učesnici su sami izabrali kategoriju upotrebe; nije nasumično dodeljena. Razlike između njih ne pokazuju da je samo traženje odgovora izazvalo jaz.

Rezultat čitanja i granice tvrdnje

Treći eksperiment je regrutovao 201 osobu za pitanja čitanja u stilu SAT testa. AI grupa je mogla da koristi čet bočnu traku tokom pet pitanja; kontrola je imala traku sa opštim savetima za čitanje. Zatim su obe grupe bez trake odgovorile na tri pitanja. Završna analiza obuhvatila je 168 učesnika. Ranija AI grupa tačno je odgovorila na 76% završnih pitanja, a kontrola na 89%; preskakanje je bilo 8% prema 1%. Rad navodi P=0,007 za tačnost i P=0,008 za preskakanje. U ovom eksperimentu, odgovor poslat za manje od pet sekundi takođe se računao kao preskakanje.

Nasumična raspodela podržava zaključke o ovim kratkim zadacima i neposrednoj fazi po završetku pomoći. Ne utvrđuje trajnu promenu sposobnosti ili motivacije. Autori kažu da ne mogu da odrede da li se efekti zadržavaju satima ili danima, akumuliraju svakodnevnom upotrebom ili nestaju. Asistent je podešen da na zahtev pruži potpune odgovore; eksperimenti nisu testirali da li bi drugačiji oblik podučavanja dao isti rezultat.

U članku Berkeley News od 9. oktobra opisuje opisuje rad kao dokaz da kratka upotreba AI narušava koncentraciju i istrajnost. Rad je merio tačne odgovore i preskakanje, a ne poseban ishod koncentracije. Drugi eksperiment s razlomcima našao je neizvesnu ukupnu razliku u stopi preskakanja. Berkeley prenosi i istraživačeve šire zaključke o stručnosti u obrazovanju i radu. To su teme za buduća istraživanja, izvan onoga što su ove sesije merile.

Izvori i dodatno čitanje