OGPO உருவகப்படுத்தப்பட்ட செயல் பிழைகளிலிருந்து மீள ரோபோ கொள்கைகளுக்குப் பயிற்சி அளிக்கிறது

வெற்றிகரமான செயல்முறை விளக்கங்களை நகலெடுக்கப் பயிற்சி பெற்ற ரோபோ கொள்கை, பிடிப்பு தோல்வியடையும்போதோ அல்லது பதிவு செய்யப்பட்ட பாதை உள்ளடக்காத இடத்தில் கை வந்தடையும்போதோ சிரமப்படலாம். அக்டோபர் 9ஆம் தேதியிட்ட ஒரு ஆய்வுக் கட்டுரையில், சீன அறிவியல் அகாடமி மற்றும் பெக்கிங் பல்கலைக்கழக ஆராய்ச்சியாளர்கள், ஏற்கெனவே உள்ள ரோபோ பாதைகளில் பணியின் முன்னேற்றத்தைப் பயன்படுத்தி பார்வை-மொழி-செயல் (VLA) கொள்கைகளைப் பயிற்றுவிக்கும் வழியை விவரிக்கின்றனர். Offline Goal-conditioned Policy Optimization (OGPO) எனப்படும் அவர்களது முறை, செயல்பாட்டின் நடுவில் இடையூறுகள் இடம்பெற்ற உருவகப்படுத்தப்பட்ட கையாளல் சோதனைகளில் வெற்றி விகிதங்களை மேம்படுத்தியது. உண்மையான ரோபோவில் பயன்பாடு அல்லது சுயாதீன மறுஉருவாக்கம் குறித்து கட்டுரை தெரிவிக்கவில்லை.

பெரிய மாற்றம்

• என்ன மாறியது: பதிவு செய்யப்பட்ட ரோபோ பாதைகளின் கட்டங்களை அடையக்கூடிய பணி முன்னேற்ற நிலைகளாக OGPO குறிக்கிறது; பின்னர் ஆஃப்லைன் பயிற்சியின்போது கொள்கையை அடுத்த கட்டத்துக்கு நகர்த்தும் செயல்களுக்கு அந்தக் குறிகளை வைத்து வெகுமதி அளிக்கிறது.
• இது ஏன் முக்கியம்: இடைநிலை நிலையை அடைவதன் மதிப்பைக் கற்ற கொள்கைக்கு, பிடிப்போ இயக்கமோ விளக்கப்பட்ட பாதையிலிருந்து விலகும்போது கூடுதல் தேர்வுகள் இருக்கலாம். இந்த முன்மொழிவை கட்டுரை உருவகப்படுத்தலில் சோதிக்கிறது; உண்மையான ரோபோவில் நம்பகத்தன்மையை நிறுவவில்லை.
• எதைக் கவனிக்க வேண்டும்: சுயாதீன மறுஉருவாக்கம், இயற்பியல் கையாளிகளில் கிடைக்கும் முடிவுகள், கிரிப்பர் நிகழ்வுகளால் முன்னேற்றத்தைப் பிரிக்க முடியாத பணிகள் ஆகியவை முறையின் வரம்பைத் தெளிவுபடுத்தும்.

பதிவு செய்யப்பட்ட முயற்சிகளிலிருந்து முன்னேற்றத்தைக் கற்றல்

ஆசிரியர்கள் வெற்றிகரமான விளக்கங்களுடனும் தோல்வியடைந்த பாதைகளுடனும் தொடங்குகின்றனர். கிரிப்பர் திறப்பது அல்லது மூடுவது போன்ற நிலை மாறும் இடங்களில் ஒவ்வொரு பாதையையும் OGPO பிரித்து, ஒவ்வொரு பகுதிக்கும் உள்ளூர் இலக்கை ஒதுக்குகிறது. முடிக்கப்பட்ட பகுதிகள் நேர்மறைக் குறியைப் பெறுகின்றன. தோல்வியடைந்த பாதைகளின் பகுதிகள் தங்களது உள்ளூர் இலக்குகளை அடைந்தனவா என்பதை பார்வை-மொழி மாதிரி குறிக்கிறது; எனவே இறுதியில் தோல்வியடைந்த ஓட்டமும் இடைநிலை முன்னேற்றத்துக்கான சான்றை வழங்க முடியும். ஆசிரியர்களின் முறைப் பிரிவு இந்தக் குறியிடும் செயல்முறையையும் பயிற்சி நோக்கங்களையும் விவரிக்கிறது.

முடிக்கப்பட்ட நிலைகளை நோக்கி நகர்வதற்கான பயிற்சி வெகுமதி, ஒரு நிலையை அடைவதற்கான கூடுதல் வெகுமதி, ஒரு பகுதி இலக்கைத் தவறவிட்டால் தண்டனை ஆகியவற்றை இந்தக் குறிகள் உருவாக்குகின்றன. எந்தக் காணப்பட்ட நிலைகளைத் தொடர்ந்து முன்னேற்றம் வருகிறது என்பதை மதிப்பு மாதிரி மதிப்பிடுகிறது. பின்னர் அதிக மதிப்பிடப்பட்ட ஆதாயமுள்ள பதிவு செய்யப்பட்ட செயல்களுக்கு OGPO அதிக எடை அளிக்கிறது; வெற்றிகரமான விளக்கங்களில் மேற்பார்வையுடனான நுண்-சீரமைப்பைச் செயல்களுக்கான முன் வழிகாட்டியாகத் தொடர்கிறது. பயிற்சியின்போது வெகுமதிகளை உருவாக்க உள்ளூர் இலக்கு பயன்படுகிறது; பயன்பாட்டில் உள்ள கொள்கைக்கோ அதன் மதிப்பு செயல்பாட்டுக்கோ அது கூடுதல் உள்ளீடு அல்ல. கட்டுரையின் செயலாக்க விவரங்களின்படி மதிப்பு மாதிரி பயிற்சியின்போது பயன்படுத்தப்படுகிறது.

இந்த வடிவமைப்பு பின்பற்றிக் கற்றலில் உள்ள ஒரு குறுகிய சிக்கலைக் கையாள்கிறது. பதிவு செய்யப்பட்ட ஒவ்வொரு கட்டத்திலும் நிபுணரின் செயலை நகலெடுப்பது, அந்தப் பாதையில் என்ன நடந்தது என்பதை மாதிரிக்குக் கற்பிக்கிறது. சாத்தியமான விலகலை கொள்கை சந்திக்கும்போது இடைநிலை விளைவுகளும் தகவல் தருமாறு OGPO முயல்கிறது. மீளும் திறன் நிலையான தரவுத்தொகுப்பில் என்ன உள்ளது என்பதையே சார்ந்திருக்கிறது. அந்தத் தரவைத் தாண்டிய கடுமையான விலகல்கள் எட்ட முடியாமல் இருக்கலாம் என ஆசிரியர்கள் வெளிப்படையாக எச்சரிக்கின்றனர்.

சோதனைத் தொகுப்புகள் காட்டுவது என்ன

π0 மற்றும் π0.5 VLA முதுகெலும்புகளைப் பயன்படுத்தி, உருவகப்படுத்தப்பட்ட LIBERO மற்றும் MetaWorld கையாளல் தொகுப்புகளில் OGPO-வை ஆசிரியர்கள் சோதித்தனர். கட்டுரையின் LIBERO ஒப்பீட்டில், சில எடுத்துக்காட்டுகளுடன் மேற்பார்வைப் பயிற்சி பெற்ற π0.5 அடிப்படை முறை சராசரியாக 77.1% பணி வெற்றியைப் பெற்றது; அதே தொடக்கக் கொள்கை OGPO-வுடன் சராசரியாக 97.1% பெற்றது. LIBERO-Long-இல் தெரிவிக்கப்பட்ட முடிவு 43.9% இலிருந்து 93.2% ஆக உயர்ந்தது. இவை குறிப்பிட்ட சோதனைத் தொகுப்பிலும் தொடக்கக் கொள்கையிலும் கிடைத்த பணி வெற்றி விகிதங்கள்; ரோபோக்களின் பொதுவான வெற்றி விகிதம் அல்ல.

இரண்டு இடையூறு அமைப்புகளில் மீட்பு மேலும் நேரடியாகச் சோதிக்கப்படுகிறது. LIBERO-Plus கேமரா கோணம், ரோபோவின் தொடக்க நிலை, காட்சிசார் இரைச்சல் அல்லது பொருள் அமைப்பை மாற்றுகிறது. ஆசிரியர்களின் LIBERO-ReAct விரிவாக்கம், தேர்ந்தெடுக்கப்பட்ட 20-படி இடைவெளியில் செயல் இரைச்சல், தலைகீழான கிரிப்பர் கட்டளை அல்லது இறுதி செயலியின் நிலை மாற்றம் மூலம் செயல்பாட்டைக் குலைக்கிறது. வலிமை அட்டவணையில் முழு எடுத்துக்காட்டுகளைக் கொண்ட மேற்பார்வை π0.5 அடிப்படை முறையுடன் ஒப்பிடும்போது OGPO-வின் ஒருங்கிணைந்த மதிப்பெண் 81.8% எதிராக 76.7%. கிரிப்பர் கட்டளை தலைகீழானபோது வெற்றி 87.7% எதிராக 76.8% ஆக இருந்தது. கேமரா கோணச் செயல்திறன் மாறாகச் சென்றது: அடிப்படை முறையின் 62.8%-இலிருந்து OGPO-வின் 61.5% ஆக. ஆகவே ஒருங்கிணைந்த மேம்பாடு ஒவ்வொரு இடையூறுக்கும் பொருந்தாது.

பயிற்சி முறையின் சில பகுதிகளையும் ஆராய்ச்சியாளர்கள் நீக்கிப் பார்த்தனர். இடைநிலை இலக்கு வெகுமதியையோ ஆஃப்லைன் வலுப்படுத்தல் கூறையோ நீக்கும்போது செயல்திறன் குறைந்ததாக அவர்களது நீக்கச் சோதனைகள் தெரிவிக்கின்றன; மேற்பார்வைக் கூறை நீக்குவதும் பாதிப்பை ஏற்படுத்துகிறது. இது ஆசிரியர்களின் அமைப்புக்குள் ஆதாயம் எங்கிருந்து வருகிறது என்பதைப் புரிய உதவுகிறது; ஆனால் முறையின் சுயாதீனச் சோதனை அல்ல.

மீதமுள்ள வரம்பு

OGPO-வின் பாதை எல்லைகளை கிரிப்பர் மாற்றங்கள் வழங்குகின்றன. பணியின் முன்னேற்றத்துக்கு இயல்பான கிரிப்பர் நிகழ்வு இல்லாதபோது இது சரியாகப் பொருந்தாமல் போகலாம் என ஆசிரியர்கள் ஒப்புக்கொள்கின்றனர். ஆஃப்லைன் தரவின் தரம் மற்றும் வரம்பைச் சார்ந்திருப்பதையும் அவர்கள் சுட்டிக்காட்டுகின்றனர். தெரிவிக்கப்பட்ட சோதனைகள் உருவகப்படுத்தப்பட்ட கையாளல் சோதனைத் தொகுப்புகள்; உண்மையான ரோபோ நிறைவு விகிதமோ செயல்பாட்டு பாதுகாப்பு முடிவோ கட்டுரையில் அளவிடப்படவில்லை.

ஆஃப்லைன் VLA பயிற்சியை மதிப்பிடும் குழுக்களுக்கு கட்டுரை ஒரு தெளிவான ஒப்பீட்டை வழங்குகிறது: அதே பதிவு செய்யப்பட்ட பாதைகளில் பயிற்சி அளித்து, கட்டுப்படுத்தப்பட்ட விலகல்களுக்குப் பிறகு பணி நிறைவைச் சோதிக்கலாம். வலுவான சான்றுகள் உருவகப்படுத்தப்பட்ட கையாளலில், குறிப்பாக செயல்பாட்டின் நடுவிலான கிரிப்பர் இடையூறில் கிடைக்கின்றன. BIG CHANGE கட்டுரையையும் அதில் தெரிவிக்கப்பட்ட அட்டவணைகளையும் ஆய்வு செய்தது; நாங்கள் மாதிரியைப் பயிற்றுவிக்கவோ ரோபோவைச் சோதிக்கவோ இல்லை.

ஆதாரங்களும் மேலும் வாசிப்பும்

• OGPO கட்டுரை, arXiv v1, அக்டோபர் 9, 2026: முறை, சோதனை அமைப்பு, முக்கிய அட்டவணைகள், நீக்கச் சோதனைகள், செயலாக்க விவரங்கள் மற்றும் குறிப்பிடப்பட்ட வரம்புகள். கட்டுரை NeurIPS 2026-இல் ஏற்கப்பட்டதாக arXiv பதிவு கூறுகிறது. முடிவுகள் ஆசிரியர்கள் தெரிவித்தவை.
• arXiv சுருக்கமும் பதிப்பு பதிவும்: தலைப்பு, ஆசிரியர்கள், சமர்ப்பித்த நேரம் மற்றும் பதிப்பு நிலை.
• H-JEPA காட்சித் திட்டமிடல் குறித்து BIG CHANGE: படிநிலை உலக மாதிரி திட்டமிடல் தொடர்பான ரோபோட்டிக்ஸ் ஆய்வு. H-JEPA வேறொரு முறையும் கட்டுரையும்; மதிப்பீட்டுச் சான்றுகளும் வேறுபட்டவை.