EmbodiedCLBench: అదనపు ఉదాహరణలతో స్థిరమైన లాభం లేదు

EmbodiedCLBench, అక్టోబర్ 9న వచ్చిన ప్రీప్రింట్, సరళమైన గృహ పనుల అనుభవాన్ని AI ఏజెంట్లు కొత్త పనుల కలయికలను పరిష్కరించడానికి ఉపయోగించగలరా అని పరీక్షిస్తుంది. రచయితల అనుకరణ మూల్యాంకనంలో ఒక ముందరి ఉదాహరణ పెద్ద మెరుగుదల ఇచ్చింది. మరిన్ని ఉదాహరణలు జోడించినా విజయం విశ్వసనీయంగా పెరగలేదు. ప్రారంభ ప్రయోజనాన్ని, నైపుణ్యాలు క్రమంగా పేరుకుపోతున్నాయనే ఆధారాన్ని వేరు చేయడానికి ఈ బెంచ్‌మార్క్ ఉపయోగపడుతుంది.

పెద్ద మార్పు

• ఏం మారింది: పరిశోధకులు 168 ప్రాథమిక, 100 అధునాతన గృహ పనులతో బెంచ్‌మార్క్ విడుదల చేశారు. చూడని పనుల కలయికలకు ఏజెంట్లు అనుభవాన్ని బదిలీ చేస్తారా అనేది దీని పరీక్ష.
• ఇది ఎలా పనిచేస్తుంది: ఏజెంట్లు ముందుగా సంబంధిత ప్రాథమిక పనులు పూర్తి చేస్తారు. తర్వాత TongSim గృహ సిమ్యులేటర్‌తో నిర్మించిన ఆఫ్‌లైన్ స్థితి గ్రాఫ్‌లోని సాధ్యమైన చర్యలను ఎంచుకుంటారు. నిర్ణీత అడుగుల పరిమితిలో లక్ష్యాన్ని చేరితే పని విజయవంతం.
• రచయితలు కనుగొన్నది: ప్రధాన పోలికలో, రెండు ప్రాథమిక పనుల అనుభవం అందుబాటులో ఉండటం పరీక్షించిన ఎనిమిది హార్నెస్-మోడల్ జతలన్నింటిలో అధునాతన పనుల విజయాన్ని పెంచింది. పరిమిత సంఖ్యా విశ్లేషణలో సున్నా నుంచి ఒక ఉదాహరణకు మారడం బాగా సహాయపడింది; ఒకటి నుంచి ఆరుకు మారితే స్థిరమైన పై ధోరణి కనిపించలేదు.
• ఇది ఎందుకు ముఖ్యం: మరిన్ని ఉదాహరణలను నిల్వ చేయడం పనితీరును పెంచుతుందని ఊహించకుండా, కొత్త అనుభవాన్ని ఏజెంట్ తెలియని కలయికల పరిష్కారానికి వాడుతుందో పరీక్షించడానికి ఈ ఫలితాలు డెవలపర్లకు మార్గం ఇస్తాయి. ఈ అధ్యయనం అనుకరణ నిర్ణయాలనే పరీక్షిస్తుంది; భౌతిక రోబోట్ పనితీరును కాదు.

గృహ పని ఎంపికల క్రమంగా మారుతుంది

ఈ బెంచ్‌మార్క్ TongSimను ఉపయోగిస్తుంది. ఇందులో ఇండోర్ దృశ్యాలు, పరస్పర చర్య చేయగల వస్తువులు, దగ్గరకు వెళ్లడం, ఎత్తడం, తెరవడం, ఆన్ చేయడం వంటి చర్యలు ఉంటాయి. వస్తువులతో చిన్న పరస్పర చర్యల క్రమాల నుంచి రచయితలు ప్రాథమిక పనులు రూపొందించారు. అధునాతన పనులు రెండు నుంచి నాలుగు ప్రాథమిక వర్గాల చర్యలను కలుపుతాయి. “కప్పును బల్లపై పెట్టడం” ప్రాథమిక ఉదాహరణ; “గదిని సర్దడం” అధునాతన ఉదాహరణ.

ప్రచురిత మూల్యాంకనంలో ఏజెంట్ నడుస్తున్న సిమ్యులేటర్‌ను నియంత్రించదు. ఆఫ్‌లైన్ స్థితి-మార్పు గ్రాఫ్ నిర్మించడానికి రచయితలు మూసివున్న TongSim సంస్కరణను వాడారు. ప్రతి నోడ్‌లో సిమ్యులేటర్ చిత్రం, సాధ్యమైన చర్యలు ఉంటాయి. అమలు చేయగల ఎంపిక ఏజెంట్‌ను మరో స్థితికి తీసుకెళ్తుంది; చెల్లని చర్యను అక్కడ అమలు చేయలేరు. లక్ష్యాన్ని చేరే వరకు లేదా అడుగులు ముగిసే వరకు ఏజెంట్ ఎంపికలను పునరావృతం చేస్తుంది. పని వివరణలు, చర్య ఎంపికలను Qwen3.7-Plus రూపొందించిందని, వాటిని చేతితో తనిఖీ చేశామని పత్రం చెబుతుంది.

ఈ రూపకల్పన కొలిచే ఫలితాన్ని స్పష్టంగా నిర్వచిస్తుంది: విజయ రేటు అనేది పరిమితిలో పూర్తి చేసిన పనుల వాటా. ప్రధాన పరీక్షలో అధునాతన పనుల అతి చిన్న మార్గం 12 అడుగులు; పరీక్షలో మరో మూడు అడుగులు అనుమతిస్తారు. కాబట్టి వైఫల్యం ఆ పరిమితిలో తప్పు లేదా అసమర్థ క్రమాన్ని సూచించవచ్చు. ఇది వస్తువును పట్టుకునే విశ్వసనీయతను, మోటార్ నియంత్రణను లేదా మారుతున్న నిజమైన ఇంట్లో పనితీరును కొలవదు.

మునుపటి పనులు సహాయపడతాయి; తర్వాత లాభాలు నిలకడగా పెరగవు

ప్రధాన ప్రధాన ఫలితాల పట్టిక ముందరి ఉదాహరణలు లేకుండా అధునాతన పనులు చేసే ఏజెంట్లను, సంబంధిత రెండు ప్రాథమిక పనుల అనుభవాన్ని ముందుకు తీసుకెళ్లే రెండు పద్ధతులతో పోలుస్తుంది. ఇన్-కాంటెక్స్ట్ లెర్నింగ్ గత పరస్పర చర్యల పూర్తి క్రమాలను ఉంచుతుంది. స్కిల్ లెర్నింగ్ వాటి స్థానంలో ఏజెంట్ రాసిన Markdown నైపుణ్య సారాంశాన్ని పెడుతుంది. నాలుగు హార్నెస్‌లలో, ఒక్కొక్కటి రెండు బేస్ మోడళ్లతో, రెండు పద్ధతులూ సంబంధిత జీరో-షాట్ ఫలితాన్ని మించాయి. ఉదాహరణకు Qwen3.8-Flashతో Codex హార్నెస్, నేర్చుకునే దశ లేకుండా 4% నుంచి, ట్రాజెక్టరీలతో 34%కి, స్కిల్ సారాంశంతో 33%కి పెరిగింది. ఇవి ఈ బెంచ్‌మార్క్ పనుల సమూహం, పరిమితిలో రచయితల ఫలితాలు.

ఉదాహరణల సంఖ్య విశ్లేషణలో ప్రాథమిక పనుల ఉదాహరణలను సున్నా నుంచి ఆరు వరకు మార్చారు. ఇక్కడ రచయితలు Qwen3.8-Flashతో Hermes, OpenClaw మాత్రమే వాడారు. రెండు హార్నెస్‌లు, రెండు నేర్చుకునే పద్ధతుల్లో, ఒక ఉదాహరణ అధునాతన పనుల విజయాన్ని ఉదాహరణలేని 8%–10% నుంచి 28%–40%కు తీసుకెళ్లింది. ఆ తర్వాత నివేదించిన నాలుగు వక్రాల్లో ఏదీ మరిన్ని ఉదాహరణలతో నిలకడగా పెరగలేదు. ఈ ఫలితం పత్రంలోని పరిస్థితుల్లోని ఏజెంట్లు, మెమరీ పద్ధతులకే వర్తిస్తుంది; అనుభవ ప్రయోజనానికి సాధారణ పరిమితిని నిర్ధారించదు.

రచయితల చర్యల విశ్లేషణ మెరుగుదలకు మరింత పరిమితమైన సూచన ఇస్తుంది. జీరో-షాట్ పరుగులతో పోల్చితే, అనుభవం ఉన్న ఏజెంట్లు నమోదైన నిర్ణయాల్లో తక్కువ చెల్లని చర్యలు ఎంచుకున్నారు. Qwen3.8-Flashతో విశ్లేషించిన నాలుగు హార్నెస్‌లలో 13%–20% తగ్గుదలని పత్రం నివేదిస్తుంది. ఇది అందుబాటులోని చర్యలను మెరుగ్గా ఉపయోగించడానికీ సరిపోతుంది; అయితే దీర్ఘకాలిక, సాధారణ నైపుణ్యం నేర్చుకున్నారని నిరూపించదు.

మూల్యాంకనం ఎంచుకునే పరిశోధకులకు ఉపయోగకరమైన ప్రశ్న: మునుపటి పనుల సంఖ్య, వైవిధ్యం పెరిగినప్పుడు, అదే పక్కనపెట్టిన కలయికలు, అడుగుల పరిమితితో ఒక పద్ధతి విజయాన్ని పెంచుతుందా? EmbodiedCLBench దీనికి క్రమబద్ధమైన పరీక్షను అందిస్తుంది. ఆధారం ఇప్పటికీ రచయితల అక్టోబర్ 9 ప్రీప్రింట్, ప్రాజెక్ట్ విడుదల మాత్రమే; BIG CHANGE బెంచ్‌మార్క్‌ను నడపలేదు, ఇక్కడ ఫలితాలను స్వతంత్రంగా పునరావృతం చేయలేదు.

మూలాలు మరియు మరింత చదవడానికి

• Jie Huang మరియు సహరచయితలు, “EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents,” arXiv v1, అక్టోబర్ 9, 2026న ప్రచురితమైంది. ప్రధాన పత్రం TongSim పనుల నిర్మాణం, ఆఫ్‌లైన్ చర్య గ్రాఫ్, అడుగుల పరిమితులు, ఎనిమిది ప్రధాన హార్నెస్/మోడల్ అమరికలు, సున్నా నుంచి ఆరు ఉదాహరణల పరిమిత విశ్లేషణను వివరిస్తుంది. అన్ని ఫలితాలు రచయితలు నివేదించిన అనుకరణ ఫలితాలు; ఇది ప్రీప్రింట్ మాత్రమే, భౌతిక రోబోట్ పరీక్ష లేదా స్వతంత్ర పునరావృతం కాదు.
• EmbodiedCLBench ప్రాజెక్ట్ పేజీ, అక్టోబర్ 13, 2026న పరిశీలించబడింది. రచయితల పేజీ బెంచ్‌మార్క్‌ను వివరిస్తూ విడుదల చేసిన కోడ్, డేటాసెట్‌కు లింకులు ఇస్తుంది. ఇది పత్రంలోని ఫలితాలనే మళ్లీ చెబుతుంది; స్వతంత్ర ప్రయోగ ఆధారం కాదు.
• arXiv సంచిక రికార్డు, అక్టోబర్ 13, 2026న పరిశీలించబడింది. శీర్షిక, రచయితలు, అక్టోబర్ 9 v1 తేదీని నిర్ధారిస్తుంది; పనితీరు ఆధారానికి బదులుగా మెటాడేటాను అందిస్తుంది.