সফল প্রদর্শন অনুকরণে প্রশিক্ষিত রোবট নীতি সমস্যায় পড়তে পারে, যদি কোনো গ্রিপ ব্যর্থ হয় বা বাহু এমন স্থানে যায় যা রেকর্ড করা পথের আওতায় ছিল না। একটি ৯ অক্টোবরের গবেষণাপত্রেচাইনিজ অ্যাকাডেমি অব সায়েন্সেস এবং পেকিং বিশ্ববিদ্যালয়ের গবেষকেরা বিদ্যমান রোবট ট্র্যাজেক্টরি থেকে কাজের অগ্রগতির ভিত্তিতে ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন (VLA) নীতি প্রশিক্ষণের একটি পদ্ধতির কথা জানান। Offline Goal-conditioned Policy Optimization (OGPO) নামের এই পদ্ধতি নির্বাহের মাঝপথে বিঘ্নসহ সিমুলেটেড ম্যানিপুলেশন পরীক্ষায় সাফল্যের হার বাড়িয়েছে। গবেষণাপত্রে বাস্তব রোবটে মোতায়েন বা স্বাধীন পুনরুৎপাদনের কথা নেই।

মূল পরিবর্তন

  • কী বদলেছে: OGPO রেকর্ড করা রোবট ট্র্যাজেক্টরির ধাপগুলোকে পৌঁছানো সম্ভব এমন কাজের অগ্রগতি-অবস্থা হিসেবে চিহ্নিত করে, তারপর অফলাইন প্রশিক্ষণে নীতিকে পরবর্তী ধাপের দিকে এগিয়ে নেওয়া কাজকে পুরস্কৃত করতে ওই লেবেল ব্যবহার করে।
  • কেন গুরুত্বপূর্ণ: মধ্যবর্তী অবস্থায় পৌঁছানোর মূল্য শেখা নীতির কাছে গ্রিপ বা গতি প্রদর্শিত পথ থেকে সরে গেলে আরও বিকল্প থাকতে পারে। গবেষণাপত্রটি সিমুলেশনে ধারণাটি পরীক্ষা করে; বাস্তব রোবটে নির্ভরযোগ্যতা প্রতিষ্ঠা করে না।
  • কী নজরে রাখবেন: স্বাধীন পুনরুৎপাদন, বাস্তব ম্যানিপুলেটরে ফল, এবং যেসব কাজের অগ্রগতি গ্রিপারের ঘটনার ভিত্তিতে ভাগ করা যায় না—এসব পদ্ধতির পরিসর স্পষ্ট করতে সাহায্য করবে।

রেকর্ড করা প্রচেষ্টা থেকে অগ্রগতি শেখা

লেখকেরা সফল প্রদর্শন ও ব্যর্থ ট্র্যাজেক্টরি দিয়ে শুরু করেন। গ্রিপার খোলা বা বন্ধ হওয়ার মতো অবস্থা বদলালে OGPO প্রতিটি ট্র্যাজেক্টরি ভাগ করে এবং প্রতিটি অংশে স্থানীয় লক্ষ্য দেয়। সম্পন্ন অংশগুলো ইতিবাচক লেবেল পায়। ভিশন-ল্যাঙ্গুয়েজ মডেল ব্যর্থ ট্র্যাজেক্টরির অংশগুলো স্থানীয় লক্ষ্য অর্জন করেছে কি না চিহ্নিত করে; তাই শেষ পর্যন্ত ব্যর্থ হওয়া রানও মধ্যবর্তী অগ্রগতির প্রমাণ দিতে পারে। লেখকদের পদ্ধতি অংশ এই লেবেলিং প্রক্রিয়া ও প্রশিক্ষণ-উদ্দেশ্য বর্ণনা করে।

এই লেবেল সম্পন্ন অবস্থার দিকে অগ্রসর হওয়ার প্রশিক্ষণ-পুরস্কার, সেখানে পৌঁছানোর বোনাস, এবং কোনো অংশ লক্ষ্য মিস করলে জরিমানা তৈরি করে। একটি ভ্যালু মডেল অনুমান করে কোন পর্যবেক্ষিত অবস্থার পর অগ্রগতি আসে। এরপর OGPO বেশি অনুমিত সুবিধাযুক্ত রেকর্ড করা কাজকে বেশি ওজন দেয়, পাশাপাশি সফল প্রদর্শনে supervised fine-tuning-কে action prior হিসেবে রাখে। স্থানীয় লক্ষ্য প্রশিক্ষণের সময় পুরস্কার তৈরি করতে ব্যবহৃত হয়; এটি মোতায়েন করা নীতি বা তার ভ্যালু ফাংশনের অতিরিক্ত ইনপুট নয়। গবেষণাপত্রের বাস্তবায়ন বিবরণ অনুযায়ী ভ্যালু মডেল প্রশিক্ষণের সময় ব্যবহৃত হয়।

এই নকশা অনুকরণমূলক প্রশিক্ষণের একটি সীমিত সমস্যার সমাধান করে। রেকর্ড করা প্রতিটি ধাপে বিশেষজ্ঞের কাজ নকল করলে মডেল কেবল ওই পথে কী ঘটেছিল তা জানতে পারে। নীতি কার্যকর কোনো বিচ্যুতির মুখে পড়লে OGPO মধ্যবর্তী ফলকে তথ্যবহ করে তুলতে চায়। পুনরুদ্ধারের ক্ষমতা এখনও নির্দিষ্ট ডেটাসেটে কী আছে তার ওপর নির্ভরশীল। লেখকেরা স্পষ্ট সতর্ক করেন, ডেটার পরিসরের বাইরে গুরুতর বিচ্যুতি সামলানো সম্ভব নাও হতে পারে।

বেঞ্চমার্কে কী দেখা যায়

লেখকেরা π0 এবং π0.5 VLA backbone ব্যবহার করে LIBERO ও MetaWorld সিমুলেটেড ম্যানিপুলেশন স্যুটে OGPO পরীক্ষা করেন। গবেষণাপত্রের LIBERO তুলনায় π0.5 few-shot supervised baseline গড়ে 77.1% কাজ-সাফল্য পায়; OGPO-সহ একই প্রাথমিক নীতি গড়ে 97.1%পায়। LIBERO-Long-এ রিপোর্ট করা ফল 43.9% থেকে 93.2%-এওঠে। এগুলো নির্দিষ্ট বেঞ্চমার্ক ও প্রাথমিক নীতির কাজ-সাফল্যের হার, সাধারণ রোবট সাফল্যের হার নয়।

দুটি perturbation সেটিংয়ে পুনরুদ্ধার আরও সরাসরি পরীক্ষা করা হয়েছে। LIBERO-Plus ক্যামেরার দৃশ্য, রোবটের প্রাথমিক অবস্থা, ভিজ্যুয়াল নয়েজ বা বস্তুর বিন্যাস বদলায়। লেখকদের LIBERO-ReAct সম্প্রসারণ নির্বাচিত ২০-ধাপের ব্যবধানে action noise, উল্টো গ্রিপার নির্দেশ বা end-effector অবস্থান বদলে নির্বাহে বিঘ্ন ঘটায়। robustness table-এ π0.5 full-shot supervised baseline-এর তুলনায় OGPO-র সম্মিলিত স্কোর 81.8% বনাম 76.7%। গ্রিপার নির্দেশ উল্টে দিলে সাফল্য 87.7% বনাম 76.8%। ক্যামেরার দৃশ্যের ফল উল্টো দিকে যায়: baseline-এর 62.8% থেকে OGPO-র 61.5%-এ। তাই সামগ্রিক উন্নতি সব বিঘ্নকে অন্তর্ভুক্ত করে না।

গবেষকেরা প্রশিক্ষণ-পদ্ধতির কিছু অংশও বাদ দিয়েছেন। তাঁদের ablation-এ মধ্যবর্তী-লক্ষ্য পুরস্কার বা offline reinforcement term বাদ দিলে ফল কমে; supervised term বাদ দিলেও ক্ষতি হয়। এতে লেখকদের বিন্যাসে উন্নতির উৎস বোঝা যায়, তবে এটি পদ্ধতির স্বাধীন পরীক্ষা নয়।

অবশিষ্ট সীমা

গ্রিপারের পরিবর্তন OGPO-র ট্র্যাজেক্টরি সীমানা নির্ধারণ করে। কাজের অগ্রগতিতে স্বাভাবিক গ্রিপার ঘটনা না থাকলে এটি খাপ নাও খেতে পারে বলে লেখকেরা স্বীকার করেন। অফলাইন ডেটার গুণমান ও পরিসরের ওপর নির্ভরতাও তাঁরা উল্লেখ করেন। রিপোর্ট করা পরীক্ষাগুলো সিমুলেটেড ম্যানিপুলেশন বেঞ্চমার্ক; গবেষণাপত্রে বাস্তব রোবটের মাপা কাজ-সম্পন্নের হার বা কার্যকরী নিরাপত্তার ফল নেই।

অফলাইন VLA প্রশিক্ষণ মূল্যায়নকারী দলের জন্য গবেষণাপত্রটি একটি নির্দিষ্ট তুলনা দেয়: একই রেকর্ড করা ট্র্যাজেক্টরিতে প্রশিক্ষণ দিয়ে নিয়ন্ত্রিত বিচ্যুতির পর কাজ সম্পন্ন হয় কি না পরীক্ষা করা। সবচেয়ে শক্ত প্রমাণ সিমুলেটেড ম্যানিপুলেশন থেকে, বিশেষ করে নির্বাহের মাঝপথে গ্রিপারের বিঘ্ন থেকে আসে। BIG CHANGE গবেষণাপত্র ও তার রিপোর্ট করা সারণি পর্যালোচনা করেছে; আমরা মডেল প্রশিক্ষণ বা রোবট পরীক্ষা করিনি।

উৎস ও আরও পড়ুন