EmbodiedCLBench9 अक्टूबर का प्रीप्रिंट है। यह जाँचता है कि AI एजेंट सरल घरेलू कार्यों का अनुभव लेकर उनके नए संयोजन हल कर सकते हैं या नहीं। लेखकों के अनुकरण में एक उदाहरण से बड़ी बढ़त मिली; और उदाहरणों से सफलता भरोसेमंद ढंग से आगे नहीं बढ़ी। इससे शुरुआती लाभ और लगातार कौशल-संचय के प्रमाण अलग किए जा सकते हैं।
बड़ा बदलाव
- क्या बदला: शोधकर्ताओं ने अनुभव को अनदेखे संयोजनों में ले जाने की जाँच के लिए 168 बुनियादी और 100 उन्नत घरेलू कार्यों का बेंचमार्क जारी किया।
- कैसे चलता है: एजेंट संबंधित बुनियादी कार्य पूरा करते हैं, फिर TongSim घरेलू सिम्युलेटर से बने ऑफलाइन अवस्था-ग्राफ में संभावित कार्रवाइयाँ चुनते हैं। तय कदम-सीमा के भीतर लक्ष्य पाना सफलता है।
- लेखकों के निष्कर्ष: मुख्य तुलना में दो बुनियादी कार्यों का अनुभव सभी आठ जाँचे harness-मॉडल जोड़ों में उन्नत-कार्य सफलता बढ़ाता है। शून्य से एक उदाहरण पर जाना मददगार रहा; एक से छह तक लगातार वृद्धि नहीं दिखी।
- यह क्यों मायने रखता है: परिणाम डेवलपरों को जाँचने देते हैं कि एजेंट नए अनुभव से अपरिचित संयोजन हल करता है या नहीं, अधिक उदाहरणों के लाभ को मानकर नहीं। अध्ययन सिमुलेशन के निर्णय जाँचता है, भौतिक रोबोट संचालन नहीं।
घरेलू कार्य विकल्पों की शृंखला बनता है
बेंचमार्क TongSim इस्तेमाल करता है—इनडोर दृश्यों, परस्पर क्रियाशील वस्तुओं और पास जाने, उठाने, खोलने व चालू करने जैसी कार्रवाइयों वाला सिम्युलेटर। बुनियादी कार्य छोटे वस्तु-संवाद क्रमों से बनते हैं; उन्नत कार्य दो से चार श्रेणियों के कदम जोड़ते हैं। उदाहरण: “कप मेज पर रखना” और “कमरा समेटना।”
प्रकाशित मूल्यांकन में एजेंट चल रहे सिम्युलेटर को नियंत्रित नहीं करता। बंद स्रोत TongSim से ऑफलाइन अवस्था-परिवर्तन ग्राफ बनाया गया: हर नोड में सिम्युलेटर छवि और संभावित कार्रवाइयाँ हैं। निष्पादित चयन दूसरी अवस्था में ले जाता है; अमान्य कार्रवाई वहाँ नहीं चल सकती। लक्ष्य मिलने या कदम चुकने तक चुनाव दोहरता है। पेपर के अनुसार कार्य-विवरण और संभावित कार्रवाइयाँ Qwen3.7-Plus से बनीं और हाथ से जाँची गईं।
मापा परिणाम स्पष्ट है: सफलता दर सीमा के भीतर पूरे कार्यों का हिस्सा है। मुख्य उन्नत कार्यों का न्यूनतम रास्ता 12 कदम का है; परीक्षण में तीन अतिरिक्त कदम मिलते हैं। विफलता इस सीमा में गलत या अक्षम क्रम दिखा सकती है। यह पकड़, गति-नियंत्रण या बदलते वास्तविक घर का प्रदर्शन नहीं मापता।
पहले के कार्य मदद करते हैं, फिर लाभ स्थिर होते हैं
यह मुख्य परिणाम तालिका बिना पुराने उदाहरणों के उन्नत कार्यों की तुलना दो संबंधित बुनियादी कार्यों का अनुभव आगे ले जाने के दो तरीकों से करती है। In-context learning पुराने संवाद-क्रम रखता है; skill learning उन्हें एजेंट द्वारा लिखे Markdown कौशल-सार से बदलता है। चार harness में दो-दो आधार-मॉडल के साथ दोनों तरीकों ने संबद्ध zero-shot परिणाम को पीछे छोड़ा। Qwen3.8-Flash वाला Codex harness बिना सीखने के 4%, trajectories के साथ 34% और कौशल-सार से 33% रहा। ये इसी बेंचमार्क के कार्य और सीमा में लेखकों के परिणाम हैं।
उदाहरणों की संख्या शून्य से छह तक बदलने वाले विश्लेषण में केवल Hermes और OpenClaw, दोनों Qwen3.8-Flash के साथ, शामिल थे। दो harness और दो तरीकों में एक उदाहरण ने सफलता 8%–10% से 28%–40% की। उसके बाद चारों रिपोर्टेड रेखाएँ लगातार नहीं चढ़ीं। यह निष्कर्ष लेख की स्थितियों में इन एजेंटों और स्मृति-पद्धतियों तक सीमित है; अनुभव के लाभ की सार्वभौमिक सीमा नहीं बताता।
लेखकों का क्रिया विश्लेषण एक सीमित संकेत देता है: zero-shot की तुलना में अनुभवी एजेंटों ने दर्ज निर्णयों में कम अमान्य क्रियाएँ चुनीं। Qwen3.8-Flash वाले चार harness में 13%–20% कमी रिपोर्ट हुई। यह उपलब्ध विकल्पों के बेहतर उपयोग से मेल खाता है, पर टिकाऊ सामान्य कौशल सीखने का प्रमाण नहीं है।
मूल्यांकन चुनने वालों के लिए प्रश्न है: क्या वही रोके गए संयोजन और कदम-सीमा रखते हुए, पिछले कार्यों की संख्या व विविधता बढ़ने पर कोई तरीका सफलता बढ़ाता है? EmbodiedCLBench इसकी संरचित जाँच देता है। आधार लेखकों का 9 अक्टूबर प्रीप्रिंट और परियोजना रिलीज़ है; BIG CHANGE ने बेंचमार्क नहीं चलाया, और यहाँ स्वतंत्र दोहराव नहीं हुआ।
स्रोत और आगे पढ़ें
- Jie Huang और सहलेखक, “EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents,” arXiv v1, 9 अक्टूबर 2026 को प्रकाशित। मुख्य लेख TongSim कार्य-निर्माण, ऑफलाइन क्रिया-ग्राफ, कदम-सीमा, आठ मुख्य harness-मॉडल विन्यास और शून्य से छह उदाहरणों का सीमित विश्लेषण देता है। सभी परिणाम लेखकों के अनुकरण हैं; यह प्रीप्रिंट है, रोबोट परीक्षण या स्वतंत्र पुनरावृत्ति नहीं।
- EmbodiedCLBench परियोजना पृष्ठ, 13 अक्टूबर 2026 को देखा। लेखकों का पृष्ठ बेंचमार्क बताता और कोड व डेटा-सेट से जोड़ता है। यह लेख के नतीजे दोहराता है, स्वतंत्र प्रयोग-स्रोत नहीं।
- arXiv संस्करण रिकॉर्ड, 13 अक्टूबर 2026 को देखा। शीर्षक, लेखक और 9 अक्टूबर v1 तारीख की पुष्टि करता है; यह मेटाडेटा है, अलग प्रदर्शन-साक्ष्य नहीं।
