H-JEPAを開発した研究者らは、H-JEPAによって視覚世界モデルが複数の時間スケールで計画する方法を報告した。シミュレーション迷路の1つで、3階層プランナーはタスクの73%を完了し、フラットなモデルの18%を上回ったうえ、計画計算量も少なかった。10月5日の論文は録画された実ロボット映像もテストしているが、そこで評価されるのは提案経路のオフライン採点であり、ロボットが計画を実行する様子ではない。

ロボット工学の研究者や技術者にとって重要なのは、改善が長い計画を短い段階に分けたことによるのか、目標への進捗をより適切に測る方法を学んだことによるのか、それとも両方なのかという点だ。論文はこれらの説明を個別に検証している。結果は視覚計画研究に有望だが、実機ロボットについて推論できる範囲には重要な限界がある。

大きな変化

  • 何が変わったか： H-JEPAは、行動を条件とする予測モデルを積み重ねて学習する。各層はそれぞれ学習した表現の中で、より先の状態を予測する。プランナーは上位層の予測状態を下位層のサブゴールに変換する。
  • なぜ重要か： Visual AntMazeでは、著者らは3階層計画の成功率を73.3%、フラットな基準モデルを18.0%と報告した。アブレーションからは、計画区間を短くすることと、上位層でより有用な目標表現を使うことの両方が寄与していると分かる。ロボット開発チームは、階層化を分割不能な1つの改善とみなすのではなく、2つの仕組みを別々に調べられる。
  • 注目点： 4つのタスク環境はいずれもシミュレーションだ。追加のDROIDテストは、計画されたロボットアームの経路を録画済みの熟練者の経路と比較する。多様な実環境での閉ループ試験が答えるのは、別の未解決の問いである。

複数の時間スケールで計画する

世界モデルは、行動後に環境がどう変化するかを予測する。H-JEPAは共同埋め込み予測アーキテクチャ（JEPA）を用い、画像の全ピクセルを再構成するのではなく、将来の観測をコンパクトな表現として予測する。その論文は、観測と行動の軌跡を使って同時に学習する階層構造を説明している。最下層は最も細かい時間刻みに従う。上位層は下位層の表現を受け取り、より長い間隔で行動をまとめ、別の潜在空間でさらに先を予測する。

計画は現在の観測と目標の観測から始まる。最上位層が目標までの大まかな経路を探し、その予測状態が次の層を導いて経路を細かくする。最下層が行動を出力する。シミュレーションの閉ループ評価では、システムは行動列の一部を実行し、結果の状態を観測してから再計画する。研究者らは、同じ第1層JEPAを単独で学習・計画させるLeWMと、各層が1つの表現を共有する時間階層モデルを比較対象にした。

迷路では別々の表現が重要になる。目標は場所への到達である一方、アリの脚の姿勢は急速に変わるためだ。著者らの分析では、H-JEPAの上位層はアリの位置を保ちながら、脚の姿勢の細部を復元しにくくしていた。FourRoomでも同様の傾向が見られ、独立して動く妨害物は上位層ほど目立たなくなった。測定された速い動きと遅い動きの差が小さい操作データセットでは、この効果はかなり弱かった。細部の破棄がすべてのタスクに有益だと論文が示したわけではない。

比較から分かること

著者らはVisual AntMazeとFourRoom Distractorsでナビゲーションを、Push-TとOGBench Cubeで操作を評価した。いずれもカメラと背景が固定されたシミュレーションタスクだ。計画予算を変えた評価では、3階層まで増やすことでAntMaze、FourRoom、Cubeの成功率と計算量のトレードオフが改善した。Push-Tは例外で、テストした予算では2階層がフラットな基準モデルと同等以上だった一方、3階層の成績は低かった。著者らは、エピソードが短く、深いモデルに使える訓練映像が少ない点を理由に挙げている。

別のAntMazeタスク群では、フラットなLeWM基準の平均成功率は18.0%、標準誤差は3.5ポイントだった一方、完全な3階層H-JEPA計画の平均は73.3%、標準誤差は3.5ポイントだった。どちらもモデルとプランナーの乱数シードを3組対応させた著者報告の平均値だ。論文の成功率とプランナーのFLOP数の比較でも、階層型モデルは測定された計画計算量を抑えながら、より高い成功率に達している。ロボットの訓練と配備にかかる総費用を測ったものではない。

アブレーションによって寄与の内訳が分かる。1つの表現を共有する時間階層は4環境すべてでフラットな基準モデルを上回り、計画を分割することの価値を示した。AntMazeでは、上位層の表現だけを使い、フラットなプランナーが予測した目標までの距離を評価しても成功率は改善した。ただし、この変更だけでは完全な階層型プランナーの平均73.3%には届かなかった。この評価では2つの効果が補完し合う。選択的な抽象化の効果が小さいと論文が判断したPush-TとCubeでは、目標コストの表現だけを変えても明確な利点はなかった。

実ロボット映像で分かる範囲

研究者らはさらに、DROIDのロボット操作映像を使用した。録画されたエピソードごとに場面、物体、照明が変わる。この条件では、純粋な予測モデルは安定した背景を重視し、動くロボットの情報を失う可能性があると論文は述べている。チームは逆動力学損失を追加し、学習された連続状態間の行動を推定する部品を訓練して、エージェントの動きを表現に残した。この追加により、学習された2階層モデルは論文のオフライン計画忠実度指標でフラットな基準モデルを上回り、プランナーの計算量も少なかった。

この指標は、提案された3次元のエンドエフェクター経路と録画内の熟練者の経路を比較する。論文の較正では、熟練者の経路が100%、静止したアームが0%となる。提案された行動を実行した後、ロボットがタスクを完了できるかを測るものではない。変化する場面のシミュレーターがデータセットにないため、著者らはDROIDの計画をオープンループで評価した。BIG CHANGEはモデルを訓練せず、公開コードも実行せず、ロボットもテストしていない。

コードリポジトリには訓練・計画スクリプトと、論文の一部の図表を再現する手順があり、研究者が手法を調べる手掛かりになる。ただし論文はプレプリントのままで、実世界の証拠はオフラインにとどまる。以前の記事のGPT-Policyの報告は文脈例とロボットツールへのリクエストに基づく別の手法を扱っており、その結果はH-JEPAの世界モデル計画を検証するものではない。

情報源と関連資料