成功例をまねるよう訓練されたロボット方策は、把持に失敗したり、記録された経路が想定していない位置に腕が着地したりすると、対応に苦労する可能性がある。10月9日の論文で、中国科学院と北京大学の研究者は、既存のロボット軌跡を使い、タスクの進捗に基づいて視覚・言語・行動（VLA）方策を訓練する方法を報告した。Offline Goal-conditioned Policy Optimization（OGPO）と名付けられたこの手法は、実行途中の妨害を含むシミュレーション操作試験で成功率を高めた。論文は実機への導入や独立した再現を報告していない。

大きな変化

  • 何が変わったか：OGPOは記録されたロボット軌跡の各段階を、到達可能なタスク進捗状態としてラベル付けし、オフライン学習中に方策を次の段階へ進める行動を報酬するためにそのラベルを使う。
  • なぜ重要か：中間状態に到達する価値を学んだ方策は、把持や動作が実演経路から外れたときに、より多くの選択肢を持てる可能性がある。論文はこの考えをシミュレーションで検証したが、実機での信頼性は示していない。
  • 注目点：独立再現、実機マニピュレーターでの結果、そしてグリッパーのイベントで進捗を分けられないタスクを調べれば、手法の適用範囲が明確になる。

記録された試行から進捗を学ぶ

著者らは成功した実演と失敗した軌跡から始める。OGPOは、グリッパーが開閉するなど状態が変わるたびに各軌跡を分割し、各区間に局所目標を割り当てる。完了した区間には正のラベルが付く。視覚・言語モデルは、失敗した軌跡の区間が局所目標を達成したかを注釈するため、最終的に失敗した実行からも途中段階の進捗を示す証拠が得られる。著者らの手法の節はこのラベル付けと学習目標を説明している。

ラベルは、完了状態に向かう動きへの学習報酬、その状態への到達ボーナス、区間が目標を逃した場合のペナルティを作る。価値モデルは、観測されたどの状態の後に進捗が続くかを推定する。OGPOはその後、推定優位性の高い記録行動により大きな重みを与え、成功実演での教師あり微調整を行動の事前情報として残す。局所目標は学習中の報酬構成に使われ、配備後の方策や価値関数への追加入力ではない。論文の実装詳細によれば、価値モデルは学習中に使用される。

この設計が扱うのは模倣学習における限定的な問題だ。記録された各ステップで専門家の行動をまねるだけでは、その経路上で何が起きたかをモデルに伝えるにとどまる。OGPOは、実行可能な逸脱に方策が遭遇した際、中間結果も情報として使えるようにする。復帰能力は依然として固定データセットの内容に左右される。著者らは、データ範囲を大きく超える逸脱には対応できない可能性があると明示している。

ベンチマークが示すこと

著者らはπ0とπ0.5のVLAバックボーンを使い、LIBEROとMetaWorldのシミュレーション操作スイートでOGPOを試験した。論文のLIBERO比較では、π0.5のfew-shot教師ありベースラインは平均77.1%のタスク成功率で、同じ初期方策にOGPOを適用すると平均97.1%だった。LIBERO-Longで報告された結果は43.9%から93.2%へ上昇した。これは指定されたベンチマークと初期方策のタスク成功率であり、一般的なロボット成功率ではない。

2つの摂動設定では、復帰をより直接的に試す。LIBERO-Plusはカメラ視点、ロボットの初期状態、視覚ノイズ、または物体配置を変える。著者らのLIBERO-ReAct拡張は、選択された20ステップの区間で行動ノイズ、反転したグリッパー命令、またはエンドエフェクター位置の変更を加えて実行を妨害する。頑健性表のπ0.5 full-shot教師ありベースラインに対し、OGPOの総合スコアは81.8%対76.7%だった。グリッパー命令を反転した条件では成功率が87.7%対76.8%だった。カメラ視点の変化では逆方向となり、ベースラインの62.8%からOGPOの61.5%へ下がった。したがって、総合的な改善がすべての妨害を網羅しているわけではない。

研究者らは学習レシピの一部も取り除いた。アブレーションでは、中間目標報酬またはオフライン強化項を除くと成績が下がり、教師あり項の除去も悪影響を及ぼした。これは著者らの設定で改善の要因を特定する助けになるが、手法の独立した検証ではない。

残る限界

グリッパーの変化がOGPOの軌跡境界となる。タスクの進捗に自然なグリッパーイベントがない場合、この方法は適合しにくい可能性があると著者らは認める。また、オフラインデータの品質と範囲への依存も指摘する。報告された試験はシミュレーション操作ベンチマークであり、論文には実機で測定した完了率や運用上の安全性の結果はない。

オフラインVLA学習を評価するチームにとって、論文は具体的な比較方法を示す。同じ記録軌跡で学習し、制御された逸脱後のタスク完了を試験する方法だ。最も強い証拠はシミュレーション操作、特に実行途中のグリッパー妨害から得られた。BIG CHANGEは論文と報告された表を確認したが、モデルの訓練もロボットの試験も行っていない。

出典と参考資料