کسر کے دو بے ترتیب مطالعات میں چیٹ معاون رکھنے والوں نے اس کی دستیابی کے دوران زیادہ مسائل حل کیے، مگر اسے ہٹانے کے بعد آخری مسائل میں ان لوگوں سے کم خود حل کیے جنہوں نے اس کے بغیر کام کیا تھا۔ Grace Liu اور ساتھیوں کا تازہ ترین مقالہ اسی طرح کے فوری نتیجے والا مطالعۂ فہم کا تجربہ بھی رپورٹ کرتا ہے۔ ثابت قدمی اس بنیاد پر ناپی گئی کہ شرکا نے سوال چھوڑا یا نہیں۔ سیشن کے بعد سیکھنے یا رویے کا سراغ نہیں رکھا گیا۔

بڑی تبدیلی

  • کیا بدلا: بے ترتیب تقسیم سے محققین نے انہی آخری مسائل پر مختصر AI مدد اور بغیر مدد مشق کا موازنہ کیا۔ مدد کے دوران AI گروہ کی درستگی کی برتری، آلہ ہٹانے کے بعد الٹ گئی۔
  • یہ کیوں اہم ہے: مدد سے درست جواب حاصل کرنا اور اگلے سوال کا جواب اکیلے دینا الگ نتائج ہیں۔ یہ مطالعات اساتذہ اور AI ڈیزائنرز کو دونوں ناپنے کی وجہ دیتے ہیں۔
  • کیا نامعلوم ہے: تجربات فوری بغیر مدد امتحان کے بعد ختم ہوئے۔ یہ دیرپا مہارت کے نقصان، عمومی توجہ میں کمی یا مہینوں تک معمول کے AI استعمال کے اثرات ثابت نہیں کرتے۔

کسر کے دونوں تجربوں نے کیا ناپا

محققین نے Prolific آن لائن پلیٹ فارم کے ذریعے امریکا سے شرکا بھرتی کیے۔ پہلے تجربے میں 354 افراد کو بے ترتیب طور پر دو حالتوں میں رکھا گیا: پہلے 12 سوالوں کے لیے GPT-5 چیٹ سائیڈبار یا پورے وقت AI کے بغیر کام۔ پھر سب نے AI کے بغیر وہی تین آخری سوال کیے۔ معاون کو ہر مسئلہ اور اس کا حل دیا گیا تھا، اس لیے شریک براہ راست جواب مانگ سکتا تھا۔ سوال چھوڑنا ممکن تھا اور غلط جواب پر ادائیگی کم نہیں ہوتی تھی۔ غلط جواب جمع ہونے کے بعد دونوں گروہوں کو درست حل دکھایا گیا۔

توجہ اور کارکردگی کی بنیاد پر اخراج کے بعد 307 افراد تجزیے میں رہے۔ بغیر مدد کے تین سوالوں میں پہلے AI استعمال کرنے والے گروہ نے اوسطاً 57% درست کیے، جبکہ کنٹرول نے 73%۔ انہوں نے 20% سوال چھوڑے، کنٹرول نے 11%۔ رپورٹ شدہ معیاری اثر حل کرنے کے لیے −0.42 (95% اعتماد کا وقفہ −0.66 سے −0.19) اور چھوڑنے کے لیے 0.25 (0.02 سے 0.48) تھا۔

پہلے اخراج کے اصول نے موازنے کی تشریح مشکل بنائی۔ اس نے ابتدائی سوال بہت کم حل کرنے والوں کو نکالا، مگر AI استعمال کرنے والا AI کے جواب جمع کرکے حد پار کرسکتا تھا۔ آخری گروہ بھی غیر مساوی تھے: AI گروہ میں 185 اور کنٹرول میں 122 افراد۔

دوسرے تجربے نے 667 افراد بھرتی کیے اور مدد سے پہلے ان کی بنیادی کسر کی صلاحیت آزمائی۔ مرکزی مرحلے میں AI گروہ کو 11 سوالوں کے لیے چیٹ سائیڈبار ملا۔ کنٹرول نے ایسا سائیڈبار دیکھا جس میں پہلے ٹیسٹ میں دکھائے گئے حل تھے۔ انہی تین آخری بغیر مدد سوالوں سے پہلے دونوں سائیڈبار ہٹا دیے گئے۔ اس ڈیزائن نے پہلے مطالعے کے مہارت-انتخاب خدشے کو سنبھالا اور انٹرفیس کی تبدیلی کو زیادہ قابل موازنہ بنایا۔

ابتدائی ٹیسٹ اور توجہ جانچ کے بعد 585 افراد باقی رہے: AI گروہ 308، کنٹرول 277۔ پہلے AI استعمال کرنے والے گروہ نے آخری سوالوں کے 71% درست کیے، کنٹرول نے 77%۔ معیاری فرق −0.19 (95% اعتماد کا وقفہ −0.36 سے −0.03) تھا۔ سوال چھوڑنے کی شرح AI گروہ میں 10%، کنٹرول میں 7% تھی، مگر مجموعی فرق شماریاتی طور پر غیر یقینی تھا: معیاری اثر کا وقفہ −0.07 سے 0.26۔ یہ اعادہ چھوٹے فوری درستگی فرق کی تائید کرتا ہے؛ اکیلا یہ مجموعی ثابت قدمی کا فرق قائم نہیں کرتا۔

محققین نے AI گروہ کے لوگوں کے بیان کردہ معاون کے استعمال کا بھی موازنہ کیا۔ تجزیہ شدہ 308 AI شرکا میں 189 نے عموماً براہ راست جواب مانگے، 82 نے اشارے یا وضاحتیں مانگیں اور 37 نے AI استعمال نہ کرنے کی اطلاع دی۔ براہ راست جواب گروہ کی آخری درستگی کم اور سوال چھوڑنے کی شرح کنٹرول اور اشارہ گروہ سے زیادہ تھی۔ استعمال کی قسم شرکا نے خود چنی، بے ترتیب طور پر نہیں دی گئی۔ یہ فرق ثابت نہیں کرتے کہ جواب مانگنے سے ہی خلا پیدا ہوا۔

مطالعے کا نتیجہ اور دعوے کی حدود

تیسرے تجربے نے SAT طرز کے مطالعے کے سوالوں کے لیے 201 افراد بھرتی کیے۔ AI گروہ پانچ سوالوں کے لیے چیٹ سائیڈبار دیکھ سکتا تھا؛ کنٹرول کو عمومی مطالعے کی تجاویز والا سائیڈبار ملا۔ پھر دونوں نے سائیڈبار کے بغیر تین سوالوں کے جواب دیے۔ آخری تجزیے میں 168 شرکا شامل تھے۔ پہلے AI استعمال کرنے والے گروہ نے آخری سوالوں کے 76% درست کیے، کنٹرول نے 89%؛ چھوڑنے کی شرح 8% اور 1% تھی۔ مقالہ درستگی کے لیے P=0.007 اور چھوڑنے کے لیے P=0.008 بتاتا ہے۔ اس تجربے میں پانچ سیکنڈ سے کم میں بھیجا جواب بھی چھوڑنا شمار ہوا۔

بے ترتیب تقسیم ان مختصر کاموں اور مدد ختم ہونے کے فوری مرحلے کے بارے میں نتیجوں کی حمایت کرتی ہے۔ یہ صلاحیت یا ترغیب میں دیرپا تبدیلی نہیں بتاتی۔ مصنفین نہیں جانتے کہ اثرات گھنٹوں یا دنوں تک رہتے، روزمرہ استعمال سے جمع ہوتے یا ختم ہوجاتے ہیں۔ معاون کو درخواست پر مکمل جواب دینے کے لیے ترتیب دیا گیا تھا؛ تجربوں نے مختلف تدریسی ڈیزائن کا نتیجہ نہیں آزمایا۔

یہ Berkeley News کی 9 اکتوبر کی رپورٹ اس کام کو اس بات کا ثبوت بتاتی ہے کہ مختصر AI استعمال توجہ اور ثابت قدمی کو نقصان پہنچاتا ہے۔ مقالے نے درست جوابات اور چھوڑے گئے سوال ناپے، توجہ کا الگ نتیجہ نہیں۔ کسر کے دوسرے تجربے میں مجموعی سوال چھوڑنے کا فرق غیر یقینی تھا۔ Berkeley نے تعلیم اور کام میں مہارت سے متعلق محقق کی وسیع تشریح بھی نقل کی۔ یہ آئندہ مطالعات کے موضوعات ہیں اور ان نشستوں کی پیمائش سے آگے ہیں۔

ذرائع اور مزید مطالعہ