மாணவர்களின் கற்றலை அளவிடாமல் AI ஆசிரியரின் பின்னூட்டத்தை StudentSim சோதிக்கிறது

ஒரு AI ஆசிரியர் மாணவர் பயன்படுத்துவாரா என்பதை அறியாமலேயே நம்பவைக்கும் குறிப்பை வழங்கலாம். StudentSim என்பது செப்டம்பர் 1 முன்வெளியீட்டு ஆய்வறிக்கையிலும் அக்டோபர் 12 Microsoft Research விளக்கக் கட்டுரையிலும் விவரிக்கப்பட்ட ஆராய்ச்சிக் கட்டமைப்பு. ஆசிரியர் அமைப்புகளை உருவாக்குவோருக்கு முன்னதாகவே பின்னூட்டச் சுட்டியை வழங்க இது முயல்கிறது. தனித்தனி மாணவர்களின் பிரதிநிதிகளாகச் செயல்பட மாதிரிகளைப் பயிற்றுவித்து, அவற்றின் தொடக்கப் பதில்களையும் வழிகாட்டலுக்கான எதிர்வினையையும் சோதிக்கிறது.

AI ஆசிரியர்களை மதிப்பிடும் ஆராய்ச்சியாளர்களுக்கு இந்த வேறுபாடு முக்கியம். தொடக்கநிலையினரைப் போலப் பேசும் மாதிரி, அந்த நபரால் தீர்க்க முடியாத கேள்விகளையும் தீர்க்கலாம். மற்றொரு மாதிரி மாணவரின் தவறுகளைக் கணித்தாலும், எழுத்துவடிவக் குறிப்பைக் கையாள வழியில்லாமல் இருக்கலாம். StudentSim அளவுகோல் இத்திறன்களைத் தனித்தனியாக அளவிடுகிறது. அதன் முடிவுகள் ஆசிரியர் அமைப்புகள் குறித்த மேலாய்வுக்கு ஆதரவளிக்கின்றன; நிஜ மாணவர்கள் மீதான விளைவு அளவிடப்படவில்லை.

பெரிய மாற்றம்

• மாறியது என்ன: இரு கட்டப் பயிற்சி முறையையும் StudentSimEval அளவுகோலையும் குழு வெளியிட்டது. சதுரங்கம், இரண்டாம் மொழியாக ஆங்கிலத்தில் எழுதுதல், கணிதம் ஆகிய துறைகளில் 60 மாணவர்களை இது உள்ளடக்குகிறது. பதிவான நடத்தையுடன் உருவகப்படுத்தி பொருந்துகிறதா, வழிகாட்டலுக்குப் பிறகு திருத்தப்பட்ட பதிலை அடைய முடியுமா என்பதைச் சோதிக்கிறது.
• இது ஏன் முக்கியம்: ஆசிரியர் அமைப்பின் உருவாக்கத்தின்போது பயன்படுத்தும் பிரதிநிதி மாதிரிக்கான பயனுள்ள சோதனைகள் இவை. வழிகாட்டல் மதிப்பெண் குறிப்பிட்ட மாணவர் உண்மையில் செய்த திருத்தப் பதிவை அல்லாமல், தரநிலையான திருத்தப்பட்ட பதிலைப் பயன்படுத்துகிறது. எனவே அதிக மதிப்பெண் கிடைப்பது, மாணவர் அந்தக் குறிப்பிலிருந்து எவ்வாறு கற்பார் என்பதை நிரூபிக்காது.
• கவனிக்க வேண்டியது: மாணவர்களுக்கான பயன்பாட்டை இந்த ஆராய்ச்சிச் சுட்டி ஆதரிப்பதற்கு முன்பு, சுயாதீன மறுஉருவாக்கமும் நிஜ மாணவர்களுடனான ஆய்வுகளும் காலப்போக்கிலான கற்றல், பாதுகாப்பு, வகுப்பறைப் பொருத்தம் ஆகியவற்றைச் சோதிக்க வேண்டும்.

இரு மதிப்பெண்கள் எதை அளவிடுகின்றன

StudentSimEval மதிப்பீட்டிற்காக 30 சதுரங்க வீரர்கள், 15 ஆங்கிலம் கற்போர், 15 கணித மாணவர்களின் பதிவுகளைப் பயிற்சியிலிருந்து ஒதுக்கி வைக்கிறது. அதன் ஆய்வறிக்கையின் முறையான வரையறைப்படி, நடத்தை ஒற்றுமை என்பது உருவகப்படுத்தியின் பதில் அந்தக் குறிப்பிட்ட மாணவரின் பதிவான பதிலை ஒத்திருக்கிறதா எனப் பார்க்கிறது. சதுரங்கத்தில் கணித்த நகர்வு வீரர் செய்த நகர்வுதானா என்பதைச் சோதிக்கிறது. நான்கு தெரிவுகளுள்ள கணிதக் கேள்விகளில் தவறான தெரிவுகள் உட்பட தேர்ந்தெடுத்த பதிலைச் சோதிக்கிறது. ஆங்கில எழுத்தில் உருவாக்கிய கட்டுரைகளின் தவறுகளின் விகிதத்தையும் வகைகளையும் மாணவரின் தவறு வடிவங்களுடன் ஒப்பிடுகிறது. ஆகவே ஒரே மதிப்பெண் பெயர் வெவ்வேறு பணிகளைக் குறிக்கிறது; பாடங்களுக்கு இடையே ஒன்றுக்கொன்று மாற்றிப் பயன்படுத்தக்கூடிய ஒரே அளவீடு அல்ல.

வழிகாட்டலுக்குப் பதிலளிக்கும் திறன் ஒரு தவறான பதிலுடனும் ஆசிரியரின் செய்தியுடனும் தொடங்கி, உருவகப்படுத்தி குறிப்பிட்ட திருத்தத்தை அடைகிறதா என்பதை மதிப்பிடுகிறது. சதுரங்கத்தில் இயந்திரம் கணிக்கும் சிறந்த நகர்வு, ஆங்கிலத்தில் திருத்தப்பட்ட எழுத்துப் பகுதி, கணிதத்தில் சரியான பதில் ஆகியவை இலக்குகள். உருவக மாணவர் வழிகாட்டலைப் பயன்படுத்திப் பதிலை நோக்கிச் செல்ல முடியுமா என்பதையே இது சோதிக்கிறது. அதே தலையீட்டிற்குப் பிறகு அந்த மாணவர் உண்மையில் அளித்த பதிலுடன் இது நேரடி ஒப்பீடு அல்ல. இத்தகைய தனிநபர் தொடர்ச்சிப் பதில்களை அளவுகோலுக்குத் தேவையான அளவில் சேகரிப்பது எதிர்காலத் தரவுச் சவாலாகவே உள்ளதாக ஆசிரியர்கள் கூறுகின்றனர்.

இந்த பயிற்சிச் செயல்முறை முதலில் ஒரே பாடத்திலுள்ள மாணவர்களின் ஒருங்கிணைந்த தரவிலிருந்து வடிவங்களைக் கற்கிறது; பின்னர் ஒரு மாணவரின் பதிவுகளுக்கேற்றவாறு உருவகப்படுத்தியைச் சிறப்பாக்குகிறது. அளவுகோலில் சதுரங்க மற்றும் கணித ஆசிரியர்களின் செய்திகள், இயந்திரத்தின் நிர்ணயிக்கப்பட்ட இலக்குகள் அல்லது சரிபார்த்த பதில்களை அடிப்படையாகக் கொண்டு மொழி மாதிரிகளால் உருவாக்கப்பட்டன; ஆங்கிலத் தொகுப்பில் ஆசிரியரின் திருத்தங்கள் உள்ளன. ஒவ்வொரு மாணவரின் பயிற்சிக்குப் பயன்படுத்தாமல் ஒதுக்கிய பதிவுகள் மதிப்பீட்டில் பயன்படுகின்றன. நிலையான பட்டியல் ஒரே தகவல்மீது முறைகளை ஒப்பிட உதவுகிறது; 60 மாணவர்கள் பரந்த பள்ளி மாணவர் சமூகத்தைப் பிரதிநிதித்துவப்படுத்துகிறார்கள் என்பதற்கு அது சான்றல்ல.

முடிவுகள் காட்டுவது என்ன

சதுரங்கத்தில், மதிப்பீட்டிற்காக ஒதுக்கிய வீரர்களின் நகர்வுகளுடன் பொருந்துவதில் StudentSim பெற்ற நடத்தை ஒற்றுமை மதிப்பெண் 0.5150. சதுரங்கத்துக்கான Maia2 மாதிரி 0.4535, வழிமொழி வழங்கப்பட்ட GPT-5.4 மாதிரி 0.2316 பெற்றன. அதன் வழிகாட்டல் பதிலளிப்பு மதிப்பெண் 0.9067; மற்ற இரண்டும் முறையே 0.2721, 0.7186 பெற்றன. ஆய்வறிக்கையின் முடிவு அட்டவணைகள் ஆங்கில எழுத்து மற்றும் கணிதத்திலும் ஒப்பீட்டு அடிப்படை மாதிரிகளைவிட அதிக மதிப்பெண்களைத் தெரிவிக்கின்றன. அத்துறைகள் வெவ்வேறு அளவீடுகளைப் பயன்படுத்துகின்றன; சோதனைப் பட்டியலில் மாணவர்களின் எண்ணிக்கையும் குறைவு.

பின்னர் குழு அளவுருக்கள் நிலைப்படுத்தப்பட்ட உருவகப்படுத்தியைப் பயன்படுத்தி AI சதுரங்க ஆசிரியருக்கு வெகுமதி அளித்தது. அதன் வழிகாட்டலால் உருவக வீரர் Stockfish இயந்திரத்தின் மதிப்பீட்டின்படி சிறந்த நகர்வைச் செய்தபோது வெகுமதி வழங்கப்பட்டது. ஆசிரியரின் பதில்களை அடையாளம் மறைத்து மதிப்பிட்ட ஆய்வில், எட்டு போட்டி சதுரங்க வீரர்கள் 30 நிலைகளுக்கான 74 இறுதிக் குறிப்புகளை வழங்கினர். StudentSim வெகுமதியால் பயிற்றுவிக்கப்பட்ட ஆசிரியரின் 90.5% பதில்கள் கடுமையான, தவறாக வழிநடத்தும் உண்மைப் பிழையற்றவையாக மதிப்பிடப்பட்டன. வலுவூட்டல் கற்றலற்ற ஆசிரியருக்கு இது 75.7%; வழிமொழி வழங்கப்பட்ட GPT-5.4 உருவகப்படுத்தியால் பயிற்றுவிக்கப்பட்ட ஆசிரியருக்கு 71.6%. அறிவிக்கப்பட்ட வழிகாட்டல் மற்றும் தனிப்பயனாக்க மதிப்பீடுகளிலும் அது முன்னிலை பெற்றது. இவை உருவாக்கப்பட்ட சதுரங்க அறிவுரைகள் குறித்த வல்லுநர்களின் தீர்ப்புகள். அந்த அறிவுரைக்குப் பிறகு மாணவர் அடைந்த முன்னேற்றத்தை இப்பரிசோதனை அளவிடவில்லை.

இந்தக் கருத்துச் சான்று ஆய்வில் மற்றொரு வடிவமைப்பு வரம்பும் உள்ளது: சதுரங்க ஆசிரியரின் வெகுமதிக்கு ஒருங்கிணைந்த மாணவர் தரவில் பயிற்றுவிக்கப்பட்ட உருவகப்படுத்தியும், கற்பித்தல் பாணி மற்றும் பலகை விவரிப்புப் பிழைகளின் சோதனைகளும் பயன்படுத்தப்பட்டன. தனித்தனியாகப் பயிற்றுவிக்கப்பட்ட மாணவர் மாதிரிகள் தனிப்பயன் வெகுமதியாகப் பயன்படுத்தப்படவில்லை. சதுரங்க இயந்திரம் நகர்வுகளுக்கு மதிப்பெண் வழங்க முடிவதும் ஆசிரியர்கள் சதுரங்கத்தைத் தேர்ந்தெடுத்ததற்கான ஒரு காரணம். அதே பயிற்சிச் சுழற்சியைத் திறந்த பதில்களைக் கொண்ட பள்ளிப் பணிகளுக்குப் பயன்படுத்தப் பொருத்தமான வெகுமதி அளவீடு தேவை.

மாணவர் பயன்பாட்டிற்கு முன்பு மீதமுள்ளவை

இந்த வெளியிடப்பட்ட களஞ்சியம் ஆராய்ச்சியாளர்களுக்கான பயிற்சி மற்றும் மதிப்பீட்டுக் குறியீட்டைக் கொண்டுள்ளது. அதன் வெளிப்படைத்தன்மை அறிக்கை கூறுவதாவது: இம்முறை சதுரங்கத்திலேயே மிக விரிவாகச் சோதிக்கப்பட்டுள்ளது; மாணவர்கள் பயன்படுத்தும் வகையில் பயன்பாட்டிற்கு விடக்கூடிய தயாரிப்பு இதில் இல்லை; அடையாளம் காணக்கூடிய மாணவரை மதிப்பிடவோ தரவரிசைப்படுத்தவோ இதைப் பயன்படுத்தக் கூடாது. Microsoft Research இதை உருவாக்கக் கருவியாக விவரிக்கிறது; வகுப்பறைத் தயாரிப்பாகவோ ஆசிரியர்களுக்கு மாற்றாகவோ அல்ல.

AI ஆசிரியர் பற்றிய கூற்றுகளைப் பரிசீலிக்கும் கல்வியாளர்களுக்கு இம்முடிவுகள் ஒரு குறுகிய தொடக்கக் கேள்விக்குப் பதிலளிக்கின்றன: இந்த அளவுகோலில் உருவக மாணவர் சில பதிவான பதில் வடிவங்களைத் தக்கவைத்து, வழிகாட்டப்பட்ட திருத்தத்திற்குப் பதிலளிக்கிறாரா? நிஜ மாணவர்கள் அறிவைத் தக்கவைக்கிறார்களா, பல அமர்வுகளில் பயனடைகிறார்களா, வகுப்பறையில் பாதுகாப்பாகவும் பயனுள்ளதாகவும் பதிலளிக்கிறார்களா என்பவை இன்னும் தீராத கேள்விகள். அத்தகைய விளைவுகளுக்கு மனிதப் பங்கேற்பாளர்களுடன் ஆய்வுகள் தேவை என ஆராய்ச்சியாளர்கள் கூறுகின்றனர். BIG CHANGE ஆய்வறிக்கை, ஆராய்ச்சி விளக்கக் கட்டுரை, குறியீட்டு ஆவணங்களை ஆய்வு செய்தது; நாங்கள் StudentSim ஐ இயக்கவோ அதன் மதிப்பெண்களைச் சுயாதீனமாக மறுஉருவாக்கவோ இல்லை.

மூலங்கள் மற்றும் கூடுதல் வாசிப்பு

• StudentSim: LLM-அடிப்படையிலான மாணவர் உருவகப்படுத்திகளைப் பயிற்றுவித்தல், முன்வெளியீட்டு ஆய்வறிக்கை பதிப்பு 1, செப்டம்பர் 1, 2026. முறைகள், அளவுகோல் வரையறைகள், முடிவு அட்டவணைகள், சதுரங்க ஆசிரியர் ஆய்வு. அளவுகோல்கள் சார்ந்த வழிகாட்டல் இலக்கு மற்றும் சரிபார்ப்பு வரம்பிற்கு இணைப்பு F ஐப் படிக்கவும்.
• Microsoft Research விளக்கம், அக்டோபர் 12, 2026. நோக்கம், முறை, வரம்புகள் பற்றிய ஆராய்ச்சிக் குழுவின் விளக்கம்; இது சுயாதீன மதிப்பீடு அல்ல.
• StudentSim குறியீடும் README ஆவணமும். ஆசிரியர்கள் வழங்கிய பயிற்சி மற்றும் மதிப்பீட்டு நுழைவுப் புள்ளிகள், துறைவாரித் தரவு தயாரிப்பு. குறியீடு கிடைப்பது மட்டுமே அறிவிக்கப்பட்ட முடிவுகளை மறுஉருவாக்குவதில்லை.
• StudentSim வெளிப்படைத்தன்மை அறிக்கை. திட்டமிட்ட ஆராய்ச்சிப் பயன்பாடுகள், மாணவர் பயன்பாட்டின் வரம்புகள், இவ்வெளியீட்டின் குறுகிய சதுரங்க மையப்படுத்தல்.