EmbodiedCLBench हा ९ ऑक्टोबरचा प्रीप्रिंट तपासतो की AI एजंट सोप्या घरगुती कामांचा अनुभव वापरून नवी संयुगे सोडवू शकतात का. लेखकांच्या अनुकरणाधारित मूल्यांकनात एका आधीच्या उदाहरणाने मोठी सुधारणा झाली; अधिक उदाहरणांनी यश सातत्याने वाढले नाही. त्यामुळे सुरुवातीचा लाभ आणि कौशल्ये सतत साठत असल्याचा पुरावा यात फरक करता येतो.

मोठा बदल

  • काय बदलले: संशोधकांनी १६८ मूलभूत आणि १०० प्रगत घरगुती कामांचा बेंचमार्क प्रसिद्ध केला, जेणेकरून न पाहिलेल्या काम-संयोजनांत अनुभव वापरता येतो का हे तपासता येईल.
  • कार्यपद्धती: एजंट आधी संबंधित मूलभूत कामे पूर्ण करतात. मग TongSim सिम्युलेटरवरून तयार केलेल्या ऑफलाइन स्थिती-आलेखात संभाव्य कृती निवडतात. ठरावीक पायरी-मर्यादेत उद्दिष्ट गाठणे म्हणजे यश.
  • लेखकांना काय आढळले: मुख्य तुलनेत दोन मूलभूत कामांचा अनुभव मिळाल्याने तपासलेल्या आठही harness-मॉडेल जोड्यांत प्रगत कामांचे यश वाढले. शून्याहून एका उदाहरणाकडे जाणे उपयुक्त ठरले; एकाहून सहावर गेल्यावर सातत्यपूर्ण वाढ दिसली नाही.
  • हे महत्त्वाचे का: जास्त उदाहरणे साठवली की कामगिरी सुधारते असे न मानता, एजंट नवीन अनुभवाने अपरिचित संयुगे सोडवतो का हे तपासण्याचा मार्ग निकाल देतात. अभ्यास अनुकरणातील निर्णय तपासतो, प्रत्यक्ष रोबोटचे संचालन नाही.

घरगुती काम निवडींच्या क्रमात बदलते

बेंचमार्क TongSim वापरतो—आतील दृश्ये, परस्परसंवादी वस्तू आणि जवळ जाणे, उचलणे, उघडणे, चालू करणे अशा कृती असलेला सिम्युलेटर. लेखक छोट्या वस्तू-संवाद क्रमांतून मूलभूत कामे बनवतात; प्रगत कामांत दोन ते चार श्रेणींच्या कृती जोडल्या जातात. उदाहरणे: “कप टेबलावर ठेवणे” आणि “खोली आवरणे.”

प्रकाशित मूल्यांकनात एजंट चालू सिम्युलेटर नियंत्रित करत नाही. ऑफलाइन स्थिती-बदल आलेखासाठी लेखकांनी बंद-स्रोत TongSim वापरला. प्रत्येक नोडमध्ये सिम्युलेटरचे चित्र व संभाव्य कृती आहेत. अमलात येणारी निवड एजंटला दुसऱ्या स्थितीत नेते; अवैध कृती तिथे चालत नाही. उद्दिष्ट गाठेपर्यंत किंवा पायऱ्या संपेपर्यंत एजंट निवडतो. कामवर्णने व कृती-कँडिडेट Qwen3.7-Plus ने बनवून हाताने तपासल्याचे लेख सांगतो.

या रचनेत मोजमाप नेमके आहे: यशाचे प्रमाण म्हणजे मर्यादेत पूर्ण झालेल्या कामांचा हिस्सा. मुख्य चाचणीत प्रगत कामांचा सर्वात लहान मार्ग १२ पायऱ्यांचा असून तीन अतिरिक्त पायऱ्या दिल्या जातात. अपयश चुकीचा किंवा अकार्यक्षम क्रम दर्शवू शकते; पकडण्याची विश्वसनीयता, हालचाल नियंत्रण किंवा बदलत्या प्रत्यक्ष घरातील कामगिरी ते मोजत नाही.

आधीची कामे मदत करतात; मग लाभ स्थिरावतो

हा मुख्य निकालांचा तक्ता आधीची उदाहरणे नसताना प्रगत काम करणाऱ्या एजंटांची तुलना संबंधित दोन मूलभूत कामांचा अनुभव पुढे नेण्याच्या दोन पद्धतींशी करतो. In-context learning आधीचे पूर्ण संवाद-क्रम ठेवते; skill learning त्यांना एजंट-लिखित Markdown कौशल्य-सारांशाने बदलते. प्रत्येकी दोन आधार-मॉडेल असलेल्या चार harness मध्ये दोन्ही पद्धतींनी संबंधित zero-shot निकाल ओलांडला. Qwen3.8-Flash सह Codex harness शिकण्याशिवाय ४%, trajectories सह ३४%, कौशल्य-सारांश सह ३३% झाला. हे या बेंचमार्कच्या संच व मर्यादेतील लेखकांचे परिणाम आहेत.

उदाहरणसंख्या विश्लेषणात मूलभूत कामांची उदाहरणे शून्य ते सहा बदलली. येथे फक्त Hermes व OpenClaw, दोन्ही Qwen3.8-Flash सह वापरले. दोन harness व दोन शिकण्याच्या पद्धतींत एका उदाहरणाने प्रगत कामांचे यश ८%–१०% वरून २८%–४०% केले. त्यानंतर चारही नोंदवलेल्या वक्रांत सातत्यपूर्ण वाढ नव्हती. हा निष्कर्ष लेखाच्या अटींतील या एजंट व स्मृतीपद्धतींना लागू आहे; अनुभवाच्या सार्वत्रिक लाभाची मर्यादा ठरवत नाही.

लेखकांचे कृती विश्लेषण सुधारणेचे मर्यादित कारण दाखवते. zero-shot धावांपेक्षा अनुभवी एजंटांनी नोंदवलेल्या निर्णयांत कमी अवैध कृती निवडल्या. Qwen3.8-Flash सह विश्लेषित चार harness मध्ये १३%–२०% घट नोंदली. हे उपलब्ध कृतींचा चांगला वापर सूचित करते, पण टिकाऊ सर्वसाधारण कौशल्य शिकल्याचे सिद्ध करत नाही.

मूल्यांकन निवडणाऱ्या संशोधकांचा उपयोगी प्रश्न: समान राखून ठेवलेली संयुगे व पायरी-मर्यादा वापरून, आधीच्या कामांची संख्या व विविधता वाढल्यावर पद्धत यश वाढवते का? EmbodiedCLBench याची संरचित चाचणी देते. पुरावा अजूनही लेखकांचा ९ ऑक्टोबरचा प्रीप्रिंट व प्रकल्प-विमोचन आहे; BIG CHANGE ने बेंचमार्क चालवला नाही आणि येथे स्वतंत्र पुनरावृत्ती नाही.

स्रोत आणि पुढील वाचन

  • Jie Huang आणि सहलेखक, “EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents,” arXiv v1, ९ ऑक्टोबर २०२६ रोजी प्रसिद्ध. मुख्य लेख TongSim कामनिर्मिती, ऑफलाइन कृती-आलेख, पायरी-मर्यादा, आठ प्रमुख harness-मॉडेल संरचना आणि शून्य ते सहा उदाहरणांचा मर्यादित अभ्यास नोंदवतो. सर्व निकाल लेखकांनी नोंदवलेले अनुकरण आहेत; हा प्रीप्रिंट आहे, रोबोट चाचणी किंवा स्वतंत्र पुनरावृत्ती नाही.
  • EmbodiedCLBench प्रकल्प पृष्ठ, १३ ऑक्टोबर २०२६ रोजी पाहिले. लेखकांचे पृष्ठ बेंचमार्कचा आढावा देते व कोड-डेटासेटकडे जोडते. ते लेखाचे निष्कर्ष पुन्हा सांगते, स्वतंत्र प्रयोगस्रोत नाही.
  • arXiv आवृत्ती नोंद, १३ ऑक्टोबर २०२६ रोजी पाहिली. शीर्षक, लेखक व ९ ऑक्टोबर v1 तारीख पुष्ट करते; हे मेटाडेटा आहे, स्वतंत्र कामगिरी-पुरावा नाही.