У две рандомизоване студије о разломцима, људи који су добили чет асистента решили су више задатака док је био доступан, а затим су сами решили мање завршних задатака него људи који су радили без њега. Најновији рад Грејс Лиу и сарадника доноси и експеримент разумевања прочитаног са сличним непосредним исходом. Истрајност је мерена тиме да ли су учесници прескочили задатак. Учење и понашање после сесије нису праћени.

Најважнија промена

  • Шта се променило: Насумична расподела омогућила је истраживачима да упореде кратку AI помоћ са вежбањем без помоћи на истим завршним задацима. Предност AI групе у тачности током помоћи преокренула се када је алат уклоњен.
  • Зашто је важно: Тачан одговор уз помоћ и способност да се на следеће питање одговори самостално различити су исходи. Студије дају наставницима и дизајнерима AI система разлог да мере оба.
  • Шта остаје непознато: Експерименти су завршени непосредним тестом без помоћи. Не могу да утврде трајан губитак вештине, општи пад концентрације или последице редовне употребе AI током више месеци.

Шта су мерила два експеримента с разломцима

Истраживачи су преко онлајн платформе Prolific регрутовали учеснике из САД. У првом експерименту, 354 особе су насумично распоређене да решавају задатке с разломцима уз бочну траку чет-а GPT-5 током првих 12 питања или без AI током целог поступка. Затим су сви без AI одговарали на иста три завршна питања. Асистент је добио сваки задатак и његово решење, па је учесник могао непосредно да затражи одговор. Учесници су могли и да прескоче питање, а нетачан одговор није умањивао исплату. Обе групе су виделе тачно решење после слања погрешног одговора.

После искључивања због пажње и учинка, у анализу је ушло 307 особа. На три питања без помоћи, ранија AI група тачно је решила просечно 57%, а контролна група 73%. Прескочила је 20% питања, наспрам 11%. Пријављени стандардизовани ефекти били су −0,42 за решавање (95% интервал поверења −0,66 до −0,19) и 0,25 за прескакање (интервал 0,02 до 0,48).

Прво правило искључивања отежало је тумачење поређења. Искључило је људе који су решили премало раних питања, али је особа која користи AI могла да пређе праг слањем AI одговора. Завршне групе су биле и неједнаке: 185 у AI групи и 122 у контролној.

Други експеримент је регрутовао 667 особа и тестирао основно знање разломака пре него што је ико добио помоћ. Током главне фазе, AI група је имала чет бочну траку за 11 питања. Контролна група је имала траку са решењима већ приказаним у претходном тесту. Обе траке су уклоњене пре иста три завршна питања без помоћи. Овај дизајн је решио забринутост због избора вештина у првој студији и учинио промену интерфејса упоредивијом.

После искључивања на основу претходног теста и провере пажње, остало је 585 особа: 308 у AI групи и 277 у контроли. Ранија AI група тачно је решила 71% завршних питања, а контролна 77%. Стандардизована разлика била је −0,19 (95% интервал поверења −0,36 до −0,03). Прескочила је 10% питања, наспрам 7% у контроли, али је укупна разлика била статистички неизвесна: пријављени интервал стандардизованог ефекта износио је −0,07 до 0,26. Ова репликација подржава мању непосредну разлику у тачности; сама не утврђује општу разлику у истрајности.

Истраживачи су упоредили и како су људи у AI групи рекли да користе асистента. Од 308 анализираних AI учесника, 189 је пријавило да углавном тражи директне одговоре, 82 да тражи наговештаје или објашњења, а 37 да не користи AI. Група директних одговора имала је нижу завршну тачност и више прескакања него контрола и група наговештаја. Учесници су сами бирали категорије; нису насумично додељене. Разлике не показују да је само тражење одговора изазвало јаз.

Резултат читања и границе тврдње

Трећи експеримент је регрутовао 201 особу за питања читања у SAT стилу. AI група је могла да користи чет бочну траку за пет питања; контрола је имала траку са општим саветима за читање. Затим су обе групе одговориле на три питања без траке. Завршна анализа обухватила је 168 учесника. Ранија AI група тачно је одговорила на 76% завршних питања, а контрола на 89%; прескакање је било 8% према 1%. Рад наводи P=0,007 за тачност и P=0,008 за прескакање. У овом експерименту, одговор послат за мање од пет секунди такође се рачунао као прескакање.

Насумична расподела подржава закључке о овим кратким задацима и непосредној фази после престанка помоћи. Не утврђује трајну промену способности или мотивације. Аутори кажу да не могу да утврде да ли ефекти трају сатима или данима, нагомилавају се свакодневном употребом или нестају. Асистент је био подешен да на захтев пружа потпуне одговоре; експерименти нису проверили да ли би другачији приступ подучавању дао исти исход.

Извештај Berkeley News од 9. октобра описује рад као доказ да кратка употреба AI нарушава концентрацију и истрајност. Рад је мерио тачне одговоре и прескакање, а не посебан исход концентрације. Други експеримент с разломцима утврдио је неизвесну укупну разлику у стопи прескакања. Berkeley наводи и шире тумачење истраживача о стручности у образовању и раду. То су питања за будућа истраживања, изван онога што су ове сесије мериле.

Извори и додатно читање