Markdown edition

AI-translated from English; not yet reviewed by a fluent editor.

# Sinusubok ng StudentSim ang feedback ng AI tutor nang hindi sinusukat ang pagkatuto ng estudyante

> Inihahambing ng StudentSim ang mga AI student simulator sa mga tala ng mag-aaral at sinusubok ang tugon sa ginabayang pagwawasto. Payo ang sinusuri ng pag-aaral nito sa chess tutor, hindi ang pagbuti ng pagkatuto ng totoong estudyante.

By BIG CHANGE Editorial

Published: 2026-10-17T18:20:35.256Z
Updated: 2026-10-17T18:20:35.256Z
Canonical: https://bigchange.ai/blog/studentsim-ai-tutor-feedback-student-learning-evidence

![Conceptual charcoal illustration of an unoccupied chair behind a chessboard on a table.](https://bigchange.ai/api/media/file/studentsim-chess-unmeasured-learner-v2.png)
AI-generated conceptual illustration by BIG CHANGE; not documentary imagery or an observed learning outcome.

Maaaring magbigay ang isang AI tutor ng kapani-paniwalang pahiwatig nang hindi alam kung gagamitin iyon ng mag-aaral. [Ang StudentSim](https://arxiv.org/abs/2609.01591v1), isang balangkas ng pananaliksik na inilarawan sa preprint noong Setyembre 1 at sa [paliwanag ng Microsoft Research noong Oktubre 12](https://www.microsoft.com/en-us/research/blog/simulating-student-learning-for-better-ai-tutoring/), ay nagsisikap magbigay ng mas maagang senyas ng feedback sa mga gumagawa ng tutor. Sinasanay nito ang mga modelo upang kumatawan sa bawat mag-aaral, saka sinusubok ang kanilang unang sagot at tugon sa paggabay.

Mahalaga ang pagkakaibang ito sa mga mananaliksik na nagsusuri ng AI tutor. Ang modelong parang baguhan magsalita ay maaari pa ring lumutas ng problemang hindi kaya ng baguhang iyon. Maaaring mahulaan ng isa pang modelo ang mga pagkakamali ng mag-aaral ngunit hindi makapagproseso ng nakasulat na pahiwatig. Magkahiwalay na sinusukat ng benchmark ng StudentSim ang mga kakayahang ito. Sinusuportahan ng mga resulta nito ang karagdagang pananaliksik sa tutor, ngunit hindi nito nasukat ang epekto sa totoong estudyante.

## Ang malaking pagbabago

- **Ano ang nagbago:** Inilathala ng pangkat ang dalawang-yugtong paraan ng pagsasanay at ang StudentSimEval, isang benchmark na saklaw ang 60 mag-aaral sa chess, pagsulat sa Ingles bilang ikalawang wika, at matematika. Sinusubok nito kung tumutugma ang simulator sa naitalang asal at kung kaya nitong makarating sa pagwawasto matapos gabayan.
- **Bakit mahalaga:** Kapaki-pakinabang na pagsusuri ang mga ito sa modelong pamalit na ginagamit habang binubuo ang tutor. Pamantayang naiwastong sagot ang ginagamit ng marka sa paggabay, hindi ang naitalang rebisyon ng mismong mag-aaral. Kaya hindi pinatutunayan ng mataas na marka kung paano matututo ang estudyante mula sa pahiwatig.
- **Ano ang dapat bantayan:** Kailangang suriin ng independiyenteng reproduksiyon at ng mga pag-aaral sa totoong mag-aaral ang pagkatuto sa paglipas ng panahon, kaligtasan, at kaangkupan sa silid-aralan bago magamit ang senyas na ito bilang batayan para sa paggamit na nakatuon sa estudyante.

## Ano ang sinusukat ng dalawang marka

Inihihiwalay ng StudentSimEval para sa pagsusuri ang mga tala ng 30 manlalaro ng chess, 15 nag-aaral ng Ingles, at 15 estudyante sa matematika. Sa [pormal na depinisyon ng papel](https://arxiv.org/html/2609.01591v1#S3), ang *pagkatugma sa asal* ay nagtatanong kung kahawig ng tugon ng simulator ang naitalang tugon ng partikular na mag-aaral. Sa chess, sinusuri kung ang hinulaang galaw ay ang mismong ginawa ng manlalaro. Sa problemang pangmatematika na may apat na pagpipilian, sinusuri ang piniling sagot, kasama ang maling opsiyon. Sa pagsulat sa Ingles, inihahambing ang dalas at uri ng mga pagkakamali sa nabuong sanaysay sa padron ng pagkakamali ng mag-aaral. Kaya magkakaibang gawain ang saklaw ng iisang pangalan ng marka, hindi isang sukat na maaaring ipagpalit sa iba't ibang asignatura.

*Ang pagtugon sa paggabay* ay nagsisimula sa maling sagot at mensahe ng tutor, saka minamarkahan kung naabot ng simulator ang itinakdang pagwawasto. Ang target ay ang pinakamahusay na galaw ayon sa engine sa chess, isang naiwastong bahagi ng sulatin sa Ingles, o ang tamang sagot sa matematika. Sinusubok nito kung magagamit ng simuladong mag-aaral ang paggabay upang lumapit sa sagot. Hindi ito direktang paghahambing sa kasunod na tugon ng mismong mag-aaral sa parehong interbensiyon. Ayon sa mga may-akda, hamon pa rin sa datos sa hinaharap ang pagkolekta ng gayong indibidwal na kasunod na tugon sa laki ng isang benchmark.

Ang [proseso ng pagsasanay](https://arxiv.org/html/2609.01591v1#S4) ay unang natututo ng mga padron mula sa pinagsamang datos ng mga estudyante sa isang asignatura, saka iniangkop ang isang simulator sa mga tala ng isang estudyante. Ang mga mensahe ng chess at math tutor sa benchmark ay ginawa gamit ang mga language model batay sa nakapirming target ng engine o sa mga nasuring tamang sagot; kasama sa korpus ng Ingles ang mga pagwawasto ng tutor. Gumagamit ang pagsusuri ng mga tala ng bawat mag-aaral na hindi isinama sa pagsasanay. Paraan ang nakapirming talaan upang maihambing ang mga metodo sa parehong materyal, hindi patunay na kinakatawan ng 60 mag-aaral ang mas malawak na populasyon ng paaralan.

## Ano ang ipinapakita ng mga resulta

Sa chess, nagtala ang StudentSim ng 0.5150 sa pagkatugma sa asal nang ihambing ang mga hula nito sa mga galaw na ibinukod mula sa mga tala ng manlalaro para sa pagsusuri, kumpara sa 0.4535 para sa modelong Maia2 na espesipiko sa chess at 0.2316 para sa GPT-5.4 na binigyan ng prompt. Ang marka nito sa pagtugon sa paggabay ay 0.9067, kumpara sa 0.2721 at 0.7186 para sa dalawa. Ang [mga talahanayan ng resulta sa papel](https://arxiv.org/html/2609.01591v1#S5) ay nag-uulat din ng mas mataas na marka kaysa sa mga modelong batayan nito sa pagsulat sa Ingles at matematika. Magkaiba ang mga sukat sa mga larangang iyon at mas kaunti ang mag-aaral sa talaan ng pagsusuri.

Pagkatapos, gumamit ang pangkat ng simulator na nakapirmi ang mga parameter upang gantimpalaan ang AI chess tutor kapag naihatid ng paggabay nito ang simuladong manlalaro sa mas mahusay na galaw, ayon sa engine na Stockfish. Sa bulag na pagsusuri ng mga tugon ng tutor, walong kompetitibong manlalaro ng chess ang nagbigay ng 74 pinal na anotasyon para sa 30 posisyon. Sa tutor na sinanay gamit ang gantimpala ng StudentSim, 90.5% ng mga tugon ang minarkahang walang malubha at mapanlinlang na pagkakamali sa katotohanan, kumpara sa 75.7% para sa tutor na walang reinforcement learning at 71.6% para sa sinanay gamit ang simulator na GPT-5.4 na binigyan ng prompt. Nanguna rin ito sa iniulat na marka sa paggabay at pag-aangkop sa indibidwal. Mga pagtataya ito ng eksperto sa nabuong payo sa chess. Hindi sinukat ng eksperimento ang pagbuti ng mag-aaral pagkatapos matanggap ang payong iyon.

May isa pang limitasyon sa disenyo ng patunay-konseptong ito: ginamit ng gantimpala ng chess tutor ang simulator na sinanay sa pinagsamang datos, kasabay ng pagsusuri sa estilo ng pagtuturo at mga pagkakamali sa paglalarawan ng chessboard. Hindi nito ginamit ang bawat hiwalay na sinanay na modelo ng estudyante bilang gantimpalang iniangkop sa indibidwal. Bahagi ng dahilan ng mga may-akda sa pagpili ng chess ay kayang markahan ng chess engine ang mga galaw; mangangailangan ng angkop na sukat ng gantimpala ang paggamit ng parehong siklo ng pagsasanay sa mga gawaing pampaaralang may bukas na sagot.

## Ano pa ang kailangan bago gamitin ng mag-aaral

Ang [inilabas na repositoryo](https://github.com/microsoft/StudentSim) ay may code para sa pagsasanay at pagsusuri na magagamit ng mga mananaliksik. Ayon sa [tala nito sa transparency](https://github.com/microsoft/StudentSim/blob/main/TRANSPARENCY.md), pinakamalawak nang nasubok sa chess ang paraang ito, wala itong kasamang produktong maipapatupad para sa estudyante, at hindi ito dapat gamitin upang tasahin o iranggo ang isang mag-aaral na maaaring makilala. Inilalarawan ng Microsoft Research ang sistema bilang kasangkapan sa pagbuo, hindi produkto para sa silid-aralan o pamalit sa guro.

Para sa mga tagapagturong nagsusuri ng mga pahayag tungkol sa AI tutor, sinasagot ng mga resultang ito ang isang makitid na paunang tanong: napapanatili ba ng simuladong mag-aaral ang ilang naitalang padron ng sagot at nakatutugon ba ito sa ginabayang pagwawasto sa benchmark na ito? Bukas pa rin kung napapanatili ng totoong mag-aaral ang kaalaman, nakikinabang sa maraming sesyon, o ligtas at kapaki-pakinabang na tumutugon sa silid-aralan. Sinasabi ng mga mananaliksik na kailangan ng mga pag-aaral na may taong kalahok para sa mga resultang iyon. Sinuri ng BIG CHANGE ang papel, paliwanag ng pananaliksik, at dokumentasyon ng code; hindi namin pinatakbo ang StudentSim o muling nakuha nang independiyente ang mga marka nito.

## Mga sanggunian at karagdagang babasahin

- [StudentSim: Pagsasanay ng mga Student Simulator na Batay sa LLM](https://arxiv.org/abs/2609.01591v1), preprint bersiyon 1, Setyembre 1, 2026. Mga metodo, depinisyon ng benchmark, talahanayan ng resulta, at pag-aaral sa chess tutor. Basahin ang Appendix F para sa target ng paggabay na batay sa pamantayan at saklaw ng pagpapatunay.
- [Paliwanag ng Microsoft Research](https://www.microsoft.com/en-us/research/blog/simulating-student-learning-for-better-ai-tutoring/), Oktubre 12, 2026. Paliwanag ng pangkat ng pananaliksik tungkol sa layunin, metodo, at limitasyon; hindi ito independiyenteng pagsusuri.
- [Code at README ng StudentSim](https://github.com/microsoft/StudentSim). Mga panimulang punto para sa pagsasanay at pagsusuri, at paghahanda ng datos ayon sa larangan, na ibinigay ng mga may-akda. Hindi sapat ang pagkakaroon ng code upang mareproduksiyon ang iniulat na mga resulta.
- [Tala ng StudentSim sa transparency](https://github.com/microsoft/StudentSim/blob/main/TRANSPARENCY.md). Nilalayong gamit sa pananaliksik, limitasyon sa paggamit para sa estudyante, at mas makitid na diin ng release sa chess.

## Sources

- [StudentSim: Pagsasanay ng mga Student Simulator na Batay sa LLM](https://arxiv.org/abs/2609.01591v1) — Preprint v1; pormal na mga sukatan, protokol para sa 60 mag-aaral, at pag-aaral sa mga eksperto sa chess.
- [Paggawa ng simulasyon ng pagkatuto ng estudyante para sa mas mahusay na AI tutoring](https://www.microsoft.com/en-us/research/blog/simulating-student-learning-for-better-ai-tutoring/) — Paliwanag ng pangkat ng pananaliksik at tahasang mga limitasyon bago ang pagpapatupad.
- [Opisyal na code ng StudentSim](https://github.com/microsoft/StudentSim) — Inilalarawan ng README ang code sa pananaliksik, paghahanda ng datos, pagsasanay at pagsusuri ng modelo; hindi ito pinatakbo ng BIG CHANGE.
- [Tala ng StudentSim sa transparency](https://github.com/microsoft/StudentSim/blob/main/TRANSPARENCY.md) — Nilalayong gamit para lamang sa pananaliksik, diin sa chess, at mga gamit na labas sa saklaw.