EmbodiedCLBench: walang tuloy-tuloy na dagdag sa tagumpay mula sa mas maraming halimbawa

EmbodiedCLBench, isang preprint na inilathala noong Oktubre 9, ang sumusubok kung magagamit ng mga AI agent ang karanasan sa payak na gawaing-bahay upang lutasin ang mga bagong kombinasyon ng mga gawaing iyon. Sa ginayang pagsusuri ng mga may-akda, nagdulot ng malaking pagbuti ang isang naunang halimbawa. Hindi maaasahang nagdagdag pa sa tagumpay ang pagdaragdag ng mga halimbawa. Kaya kapaki-pakinabang ang benchmark sa paghihiwalay ng paunang pakinabang mula sa ebidensiya ng tuloy-tuloy na pag-ipon ng kasanayan.

Ang malaking pagbabago

• Ano ang nagbago: Naglabas ang mga mananaliksik ng benchmark na may 168 payak at 100 mas mahihirap na gawaing-bahay upang subukin kung maililipat ng mga ahente ang karanasan sa mga kombinasyon ng gawaing hindi pa nila nakita.
• Paano ito gumagana: Kinukumpleto muna ng mga ahente ang magkakaugnay na payak na gawain. Pagkatapos, pumipili sila ng mga aksiyon mula sa mga kandidato sa offline na state graph na binuo mula sa household simulator na TongSim. Tagumpay ang gawain kung naaabot ng ahente ang layunin sa loob ng nakatakdang bilang ng hakbang.
• Natuklasan ng mga may-akda: Sa pangunahing paghahambing, nagpataas ang karanasan sa dalawang payak na gawain ng tagumpay sa mas mahihirap na gawain sa lahat ng walong pares ng harness at modelong sinubok. Sa mas makitid na pagsusuri sa dami ng halimbawa, malaki ang naitulong ng paglipat mula zero tungo sa isa; walang pare-parehong pataas na takbo mula isa tungo sa anim.
• Bakit ito mahalaga: Nagbibigay ang mga resulta sa mga developer ng paraan upang subukin kung ginagamit ng ahente ang bagong karanasan sa paglutas ng di-pamilyar na kombinasyon, sa halip na ipagpalagay na pagbutihin ng mas maraming nakaimbak na halimbawa ang pagganap. Ginayang pagpapasya ang sinusuri ng pag-aaral, hindi ang pagpapatakbo ng pisikal na robot.

Nagiging sunod-sunod na pagpili ang gawaing-bahay

Gumagamit ang benchmark ng TongSim, isang simulator na may mga panloob na tagpo, bagay na maaaring galawin, at mga aksiyong gaya ng paglapit, pagdakip, pagbukas at pag-on. Binubuo ng mga may-akda ang payak na gawain mula sa maiikling sunod-sunod na interaksiyon sa mga bagay. Pinagsasama ng mas mahihirap na gawain ang mga aksiyon mula sa dalawa hanggang apat na kategorya ng payak na gawain. “Ilagay ang tasa sa mesa” ang payak na halimbawa sa papel; “ayusin ang silid” naman ang mas mahirap.

Hindi kinokontrol ng ahente ang tumatakbong simulator sa inilathalang pagsusuri. Gumamit ang mga may-akda ng saradong bersiyon ng TongSim upang bumuo ng offline na state-transition graph. May larawan ng simulator at mga posibleng aksiyon ang bawat node. Inililipat ng maipapatupad na pagpili ang ahente sa ibang estado; hindi maipapatupad doon ang di-wastong aksiyon. Inuulit ng ahente ang pagpili hanggang maabot ang layunin o maubos ang mga hakbang. Ayon sa papel, ginawa ang mga paglalarawan ng gawain at mga kandidato ng aksiyon gamit ang Qwen3.7-Plus at sinuri nang mano-mano.

Tiyak ang kinalabasang sinusukat ng disenyong ito: ang antas ng tagumpay ay bahagi ng mga gawaing natapos sa loob ng limitasyon. May pinakamababang 12 hakbang ang mga mas mahihirap na gawain sa pangunahing pagsubok, at tatlong dagdag na hakbang ang pinapayagan sa aktuwal na pagsubok. Kaya maaaring magpahiwatig ang kabiguan ng maling pagkakasunod-sunod o di-mahusay na mga hakbang sa ilalim ng limitasyong iyon. Hindi nito sinusukat ang pagiging maaasahan ng paghawak, kontrol sa galaw o pagganap sa nagbabagong pisikal na tahanan.

Nakakatulong ang mga naunang gawain, pagkatapos ay humihina ang dagdag

Ang pangunahing talahanayan ng mga resulta Inihahambing nito ang mga ahenteng sumusubok sa mas mahihirap na gawain nang walang naunang halimbawa sa dalawang paraan ng pagdadala ng karanasan mula sa dalawang kaugnay na payak na gawain. Pinananatili ng in-context learning ang buong naunang interaksiyon. Pinapalitan naman ng skill learning ang mga iyon ng buod ng kasanayang Markdown na isinulat ng ahente. Sa apat na harness na ipinares sa tig-dalawang backbone model, parehong lumampas ang dalawang paraan sa katumbas na zero-shot na resulta. Halimbawa, tumaas mula 4% nang walang yugto ng pagkatuto tungo sa 34% gamit ang mga trajectory at 33% gamit ang buod ng kasanayan ang Codex harness na may Qwen3.8-Flash. Mga resulta ito ng mga may-akda sa gawain at limitasyong ito ng benchmark.

Binabago ng pagsusuri sa bilang ng halimbawa ang dami ng payak na halimbawa mula zero hanggang anim. Hermes at OpenClaw lamang ang ginamit dito ng mga may-akda, kapwa may Qwen3.8-Flash. Sa dalawang harness at dalawang paraan ng pagkatuto, itinaas ng isang halimbawa ang tagumpay sa mas mahihirap na gawain mula sa 8%–10% na saklaw na walang halimbawa tungo sa 28%–40%. Pagkaraan ng unang halimbawa, walang isa man sa apat na iniulat na kurba ang tuloy-tuloy na umakyat habang dumarami ang halimbawa. Saklaw ng natuklasan ang mga ahente at paraan ng memoryang ito sa mga kondisyon ng pagsusuri ng papel; hindi nito itinatatag ang pangkalahatang hangganan ng pakinabang mula sa karanasan.

Nagbibigay ng mas makitid na palatandaan ang pagsusuri sa aksiyon ng mga may-akda tungkol sa pagbuti. Kung ihahambing sa zero-shot na pagpapatakbo, mas kaunting di-wastong aksiyon ang pinili ng mga ahenteng may karanasan sa naitalang mga desisyon. Iniulat ng papel ang pagbawas na 13%–20% sa apat na harness na sinuri gamit ang Qwen3.8-Flash. Kaayon ito ng mas mahusay na paggamit sa mga posibleng aksiyon, ngunit hindi nito pinatutunayang natuto ang mga ahente ng matibay at pangkalahatang kasanayan.

Para sa mga mananaliksik na pumipili ng pagsusuri, mahalagang itanong kung pinahuhusay ng isang paraan ang tagumpay habang dumarami at nagiging iba-iba ang mga naunang gawain, gamit ang parehong piniling kombinasyon at limitasyon sa hakbang. Nagbibigay ang EmbodiedCLBench ng nakabalangkas na pagsubok para rito. Nananatili ang ebidensiya sa preprint at paglalabas ng proyekto ng mga may-akda noong Oktubre 9; hindi pinatakbo ng BIG CHANGE ang benchmark at wala rito ang independiyenteng pag-uulit ng mga resulta.

Mga sanggunian at karagdagang babasahin

• Jie Huang at mga kasama, “EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents,” arXiv v1, inilathala noong Oktubre 9, 2026. Itinatala ng pangunahing papel ang pagbuo ng gawain sa TongSim, offline na action graph, limitasyon sa hakbang, walong pangunahing ayos ng harness/model, at mas makitid na pagsusuri sa zero hanggang anim na halimbawa. Mga ginayang resulta ang lahat ng iniulat ng mga may-akda; preprint ito, hindi pagsubok sa pisikal na robot o independiyenteng pag-uulit.
• Pahina ng proyekto ng EmbodiedCLBench, sinuri noong Oktubre 13, 2026. Binubuod ng pahina ng mga may-akda ang benchmark at nag-uugnay sa mga inilabas na code at dataset. Inuulit nito ang mga natuklasan sa papel at hindi ito hiwalay na pinagmumulan ng eksperimento.
• Talaan ng bersiyon sa arXiv, sinuri noong Oktubre 13, 2026. Kinukumpirma nito ang pamagat ng papel, mga may-akda at petsa ng v1 noong Oktubre 9; metadata ito, hindi hiwalay na ebidensiya ng pagganap.