H-JEPA背後的研究人員H-JEPA提出一種讓視覺世界模型依多個時間尺度進行規劃的方法。在一座模擬迷宮中，他們的三級規劃器完成了73%的任務，扁平模型則為18%，而且規劃運算量較少。10月5日的論文也測試錄製的真實機器人影片，但這些測試是在離線狀態下為提出的路徑評分，並未顯示機器人實際執行計畫。

對機器人研究人員與工程師而言，值得探討的是：改善來自將長計畫拆成較短步驟、學習更好的目標進度指標，還是兩者兼具。論文分別測試這些解釋。結果對視覺規劃研究頗具希望，但對實體機器人能推論什麼仍有重要限制。

重大變化

  • 有何變化： H-JEPA訓練一組以動作為條件的預測模型。每一層都在自身學得的表示中向更遠處預測；規劃器再將上層預測的狀態轉為下層的子目標。
  • 為何重要： 在Visual AntMaze中，作者報告三級規劃成功率為73.3%，扁平基準為18.0%。消融實驗指出，較短的規劃片段與較有用的高層目標表示都有所貢獻。機器人團隊可以分別研究這兩種機制，而不必把階層式結構視為不可分割的單一改進。
  • 值得留意之處： 四種任務環境都是模擬環境。額外的DROID測試將規劃出的機械臂路徑與錄製的專家路徑比較；在多種實體環境中進行閉迴路試驗，回答的是另一個尚待解決的問題。

跨多個時間尺度的計畫

世界模型會預測採取動作後環境可能如何變化。H-JEPA採用聯合嵌入預測架構（JEPA），預測未來觀測的精簡表示，而非重建每個影像像素。其論文描述一種在觀測與動作軌跡上共同訓練的階層結構。最低層跟隨最細的時間步。每個較高層接收下層的表示，依更長的步幅彙整動作，並在獨立的潛在空間中預測更遠的未來。

規劃從目前觀測與目標觀測開始。頂層搜尋通往目標的粗略路線，其預測狀態接著引導下一層細化路線。最低層產生動作。在模擬閉迴路評估中，系統先執行一段動作前綴，觀察結果狀態，再重新規劃。研究人員將它與LeWM比較，也就是單獨訓練和規劃的相同第一層JEPA；另外也與各層共用單一表示的時間階層模型比較。

不同表示在迷宮中很重要，因為目標可能是抵達某個位置，而螞蟻的腿部姿勢卻快速變化。作者的探測實驗發現，H-JEPA較高層保留螞蟻位置，同時降低腿部姿勢細節的可還原程度。在FourRoom也看到類似情況：獨立移動的干擾物在較高層中較不顯著。此效應在操作資料集弱得多，因為量測到的快慢動作區隔較小。論文並未證明每種任務都能受益於捨棄細節。

比較結果顯示什麼

作者在Visual AntMaze與FourRoom Distractors評估導航，並在Push-T與OGBench Cube評估操作。這些都是使用固定攝影機與背景的模擬任務。在不同規劃預算下，增加至三級改善了AntMaze、FourRoom和Cube的成功率與運算量權衡。Push-T則是例外：在測試預算下，兩級模型表現與扁平基準相當或更好，三級模型則表現不佳。作者指出，該任務回合較短，能供較深模型使用的訓練片段較少。

在另一組AntMaze任務中，扁平LeWM基準的平均成功率為18.0%，標準誤差為3.5個百分點；完整三級H-JEPA規劃的平均成功率為73.3%，標準誤差為3.5個百分點。兩個數字都是作者報告的平均值，取自三組配對的模型與規劃器隨機種子。論文的成功率與規劃FLOPs比較也顯示階層式方法以較低的實測規劃運算量達到較高成功率。它並未衡量訓練及部署機器人的總成本。

消融實驗說明了各部分的貢獻。採用共用表示的時間階層在四種環境都優於扁平基準，顯示拆分計畫有其價值。在AntMaze中，僅使用上層表示為扁平規劃器預測的目標距離評分，也能提高成功率。然而單靠這項改變，仍未達到完整階層式規劃器73.3%的平均值。在這項評估中，兩種效果互補。在論文發現選擇性抽象作用不大的Push-T和Cube中，只改變目標成本表示並未帶來明確效益。

真實機器人影片的界線

研究人員也使用了DROID機器人操作影片。不同錄製回合的場景、物體與光線都會改變。論文指出，在此情況下，純預測模型可能偏重穩定背景，因而失去移動機器人的資訊。團隊加入反向動態損失，訓練一個元件推斷連續學得狀態之間的動作，讓表示保留代理的運動。加入此項後，學得的兩級階層在論文的離線規劃忠實度指標上優於扁平基準，且規劃運算量較低。

該指標比較提出的三維末端執行器路徑與錄影中的專家路徑。依論文的校準，專家路徑為100%，靜止手臂為0%。它不衡量機器人執行提出的動作後能否完成任務。由於資料集沒有可模擬場景變化的模擬器，作者以開迴路方式評估DROID計畫。BIG CHANGE沒有訓練該模型、執行公開程式碼或測試機器人。

程式碼儲存庫提供訓練與規劃指令碼，以及重現論文部分圖表的說明，讓研究人員能檢視此方法；但論文仍是預印本，其實體世界證據仍屬離線測試。我們先前的GPT-Policy報導介紹另一種以情境範例和機器人工具請求為基礎的方法；其結果無法驗證H-JEPA的世界模型規劃。

來源與延伸閱讀