यशस्वी प्रात्यक्षिकांची नक्कल करण्यासाठी प्रशिक्षित रोबोट धोरणाला पकड अपयशी ठरल्यास किंवा हात नोंदवलेल्या मार्गात नसलेल्या ठिकाणी गेल्यास अडचण येऊ शकते. एका ९ ऑक्टोबरच्या लेखातChinese Academy of Sciences आणि Peking University मधील संशोधकांनी आधीपासूनच्या रोबोट मार्गांवरून कामातील प्रगतीनुसार vision-language-action (VLA) धोरणे प्रशिक्षित करण्याची पद्धत मांडली. Offline Goal-conditioned Policy Optimization (OGPO) नावाच्या त्यांच्या पद्धतीने कार्यवाहीदरम्यान अडथळे असलेल्या सिम्युलेटेड हाताळणी चाचण्यांतील यशाचे प्रमाण वाढवले. प्रत्यक्ष रोबोटवरील तैनाती किंवा स्वतंत्र पुनरुत्पादनाचा अहवाल लेखात नाही.

मुख्य बदल

  • काय बदलले: OGPO नोंदवलेल्या रोबोट मार्गांतील टप्पे गाठता येण्याजोग्या काम-प्रगतीच्या अवस्था म्हणून चिन्हांकित करते; नंतर ऑफलाइन प्रशिक्षणात धोरणाला पुढील टप्प्याकडे नेणाऱ्या कृतींना बक्षीस देण्यासाठी ही लेबले वापरते.
  • हे महत्त्वाचे का: मधल्या अवस्थेपर्यंत पोहोचण्याचे मूल्य शिकलेल्या धोरणाकडे पकड किंवा हालचाल दाखवलेल्या मार्गापासून दूर गेल्यास अधिक पर्याय असू शकतात. लेख ही कल्पना सिम्युलेशनमध्ये तपासतो; प्रत्यक्ष रोबोटवरील विश्वासार्हता सिद्ध करत नाही.
  • कशावर लक्ष ठेवावे: स्वतंत्र पुनरुत्पादन, प्रत्यक्ष मॅनिप्युलेटरवरील परिणाम आणि ग्रिपरच्या घटनांनुसार प्रगती विभागता येत नाही अशी कामे—यांमुळे पद्धतीची व्याप्ती स्पष्ट होईल.

नोंदवलेल्या प्रयत्नांतून प्रगती शिकणे

लेखक यशस्वी प्रात्यक्षिके आणि अयशस्वी मार्गांपासून सुरुवात करतात. ग्रिपर उघडणे किंवा बंद होणे अशी अवस्था बदलल्यावर OGPO प्रत्येक मार्ग विभागते आणि प्रत्येक भागाला स्थानिक उद्दिष्ट देते. पूर्ण झालेल्या भागांना सकारात्मक लेबल मिळते. अयशस्वी मार्गांतील भागांनी स्थानिक उद्दिष्टे गाठली का हे vision-language मॉडेल नोंदवते; म्हणून शेवटी अपयशी ठरलेली धावही मधल्या प्रगतीचा पुरावा देऊ शकते. लेखकांचा पद्धतीचा विभाग ही लेबलिंग प्रक्रिया आणि प्रशिक्षणाची उद्दिष्टे सांगतो.

ही लेबले पूर्ण अवस्थांकडे जाण्यासाठी प्रशिक्षण-बक्षीस, त्या अवस्था गाठल्यावर बोनस, आणि भागाने उद्दिष्ट चुकवल्यास दंड तयार करतात. कोणत्या दिसलेल्या अवस्थांनंतर प्रगती होते याचा अंदाज value model लावते. OGPO नंतर अधिक अंदाजित लाभ असलेल्या नोंदवलेल्या कृतींना अधिक वजन देते, तसेच यशस्वी प्रात्यक्षिकांवरील supervised fine-tuning कृतीचे पूर्वज्ञान म्हणून ठेवते. प्रशिक्षणात बक्षिसे तयार करण्यासाठी स्थानिक उद्दिष्ट वापरले जाते; तैनात धोरण किंवा त्याच्या value function साठी ते अतिरिक्त इनपुट नाही. लेखातील अंमलबजावणी तपशीलानुसार value model प्रशिक्षणात वापरले जाते.

ही रचना imitation training मधील मर्यादित प्रश्न हाताळते. नोंदवलेल्या प्रत्येक टप्प्यावर तज्ज्ञाची कृती नक्कल केल्याने त्या मार्गावर काय घडले ते मॉडेलला कळते. शक्य विचलनाला धोरण सामोरे गेले तर मधले परिणामही माहितीपूर्ण ठरावेत असा OGPO प्रयत्न करतो. पुनर्प्राप्तीची क्षमता निश्चित डेटासेटमध्ये काय आहे यावरच अवलंबून राहते. त्या डेटाच्या पलीकडील गंभीर विचलने हाताळता येणार नाहीत अशी लेखक स्पष्ट सूचना देतात.

बेंचमार्क काय दाखवतात

लेखकांनी π0 आणि π0.5 VLA backbone वापरून LIBERO आणि MetaWorld सिम्युलेटेड हाताळणी संचांवर OGPO तपासले. लेखातील LIBERO तुलनेत π0.5 few-shot supervised baseline ची सरासरी 77.1% काम-यश होती; OGPO वापरलेल्या त्याच प्रारंभिक धोरणाची सरासरी 97.1%होती. LIBERO-Long मध्ये नोंदवलेला परिणाम 43.9% वरून 93.2% पर्यंतवाढला. हे नमूद केलेल्या बेंचमार्क आणि प्रारंभिक धोरणासाठी काम-यशाचे दर आहेत; सर्वसाधारण रोबोट यशदर नाहीत.

दोन perturbation परिस्थितींमध्ये पुनर्प्राप्ती अधिक थेट तपासली जाते. LIBERO-Plus कॅमेराचा दृश्यकोन, रोबोटची प्रारंभिक अवस्था, दृश्यातील आवाज किंवा वस्तूंची मांडणी बदलते. लेखकांचा LIBERO-ReAct विस्तार निवडलेल्या 20 टप्प्यांच्या कालावधीत action noise, उलट ग्रिपर आदेश किंवा end-effector ची जागा बदलून कार्यवाही बिघडवतो. robustness table मधील π0.5 full-shot supervised baseline च्या तुलनेत OGPO चा एकत्रित गुण 81.8% विरुद्ध 76.7%होता. उलट ग्रिपर आदेशाखाली यश 87.7% विरुद्ध 76.8%होते. कॅमेरा दृश्यातील कामगिरी उलट दिशेने गेली: baseline चे 62.8% वरून OGPO चे 61.5% पर्यंत . त्यामुळे एकत्रित सुधारणा प्रत्येक अडथळ्याला लागू होत नाही.

संशोधकांनी प्रशिक्षणाच्या रचनेतील काही भागही काढून पाहिले. मध्यवर्ती उद्दिष्टाचे बक्षीस किंवा offline reinforcement घटक काढल्यास कामगिरी कमी झाली; supervised घटक काढल्यानेही नुकसान झाले, असे त्यांच्या ablation मध्ये नोंदले. यामुळे लेखकांच्या रचनेतील लाभाचे स्थान समजते, पण ही पद्धतीची स्वतंत्र चाचणी नाही.

उरलेली मर्यादा

ग्रिपरमधील बदल OGPO च्या मार्गांच्या सीमा ठरवतात. कामाच्या प्रगतीला नैसर्गिक ग्रिपर घटना नसल्यास हे योग्य बसणार नाही, असे लेखक मान्य करतात. ऑफलाइन डेटाची गुणवत्ता आणि व्याप्ती यांवर अवलंबित्वही ते सांगतात. नोंदवलेल्या चाचण्या सिम्युलेटेड हाताळणी बेंचमार्क आहेत; प्रत्यक्ष रोबोटवरील मोजलेला काम-पूर्णता दर किंवा कार्यकारी सुरक्षिततेचा परिणाम लेख देत नाही.

ऑफलाइन VLA प्रशिक्षण तपासणाऱ्या संघांसाठी लेख ठोस तुलना सुचवतो: त्याच नोंदवलेल्या मार्गांवर प्रशिक्षण द्या आणि नियंत्रित विचलनांनंतर काम पूर्ण होते का तपासा. सर्वात मजबूत पुरावा सिम्युलेटेड हाताळणीतून, विशेषतः कार्यवाहीदरम्यानच्या ग्रिपर अडथळ्यातून येतो. BIG CHANGE ने लेख आणि त्यातील नोंदवलेल्या तक्त्यांचे परीक्षण केले; आम्ही मॉडेल प्रशिक्षित केले नाही किंवा रोबोट तपासला नाही.

स्रोत आणि पुढील वाचन

  • OGPO लेख, arXiv v1, ९ ऑक्टोबर २०२६: पद्धत, बेंचमार्क रचना, मुख्य तक्ते, ablation, अंमलबजावणी तपशील आणि नमूद मर्यादा. arXiv नोंदीनुसार लेख NeurIPS 2026 साठी स्वीकारला गेला. परिणाम लेखकांनी नोंदवले आहेत.
  • arXiv सारांश आणि आवृत्ती नोंद: शीर्षक, लेखक, सादरीकरणाची वेळ आणि आवृत्तीची स्थिती.
  • H-JEPA दृश्य नियोजनावरील BIG CHANGE लेख: hierarchical visual-world-model planning वरील संबंधित रोबोटिक्स संशोधन. H-JEPA ही वेगळी पद्धत आणि वेगळा लेख असून मूल्यांकनाचे पुरावेही वेगळे आहेत.