世界從未停止變化。RSS
BIG CHANGE.

Markdown 版本

AI-translated from English; not yet reviewed by a fluent editor.

# H-JEPA透過階層式世界模型，改善模擬任務中的視覺規劃

> H-JEPA的三級規劃器將模擬AntMaze成功率從18%提高至73%，同時減少規劃運算量。其真實機器人影片結果衡量的是離線路徑忠實度，而非機器人完成任務的能力。

By BIG CHANGE Editorial

Published: 2026-10-12T02:56:09.290Z
Updated: 2026-10-12T02:56:09.290Z
Canonical: https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning

![A small orange sphere rests inside a raised tabletop maze, with a segmented orange route visible through the passages.](https://bigchange.ai/api/media/file/hjepa-maze-concept-hero-v2.png)
AI-generated conceptual illustration of hierarchical navigation planning by BIG CHANGE. The maze is not the AntMaze environment or a physical robot test.

H-JEPA背後的研究人員[H-JEPA](https://arxiv.org/html/2610.06805v1)提出一種讓視覺世界模型依多個時間尺度進行規劃的方法。在一座模擬迷宮中，他們的三級規劃器完成了73%的任務，扁平模型則為18%，而且規劃運算量較少。10月5日的論文也測試錄製的真實機器人影片，但這些測試是在離線狀態下為提出的路徑評分，並未顯示機器人實際執行計畫。

對機器人研究人員與工程師而言，值得探討的是：改善來自將長計畫拆成較短步驟、學習更好的目標進度指標，還是兩者兼具。論文分別測試這些解釋。結果對視覺規劃研究頗具希望，但對實體機器人能推論什麼仍有重要限制。

## 重大變化

- **有何變化：** H-JEPA訓練一組以動作為條件的預測模型。每一層都在自身學得的表示中向更遠處預測；規劃器再將上層預測的狀態轉為下層的子目標。
- **為何重要：** 在Visual AntMaze中，作者報告三級規劃成功率為73.3%，扁平基準為18.0%。消融實驗指出，較短的規劃片段與較有用的高層目標表示都有所貢獻。機器人團隊可以分別研究這兩種機制，而不必把階層式結構視為不可分割的單一改進。
- **值得留意之處：** 四種任務環境都是模擬環境。額外的DROID測試將規劃出的機械臂路徑與錄製的專家路徑比較；在多種實體環境中進行閉迴路試驗，回答的是另一個尚待解決的問題。

## 跨多個時間尺度的計畫

世界模型會預測採取動作後環境可能如何變化。H-JEPA採用聯合嵌入預測架構（JEPA），預測未來觀測的精簡表示，而非重建每個影像像素。其[論文](https://arxiv.org/html/2610.06805v1)描述一種在觀測與動作軌跡上共同訓練的階層結構。最低層跟隨最細的時間步。每個較高層接收下層的表示，依更長的步幅彙整動作，並在獨立的潛在空間中預測更遠的未來。

規劃從目前觀測與目標觀測開始。頂層搜尋通往目標的粗略路線，其預測狀態接著引導下一層細化路線。最低層產生動作。在模擬閉迴路評估中，系統先執行一段動作前綴，觀察結果狀態，再重新規劃。研究人員將它與LeWM比較，也就是單獨訓練和規劃的相同第一層JEPA；另外也與各層共用單一表示的時間階層模型比較。

不同表示在迷宮中很重要，因為目標可能是抵達某個位置，而螞蟻的腿部姿勢卻快速變化。作者的探測實驗發現，H-JEPA較高層保留螞蟻位置，同時降低腿部姿勢細節的可還原程度。在FourRoom也看到類似情況：獨立移動的干擾物在較高層中較不顯著。此效應在操作資料集弱得多，因為量測到的快慢動作區隔較小。論文並未證明每種任務都能受益於捨棄細節。

## 比較結果顯示什麼

作者在Visual AntMaze與FourRoom Distractors評估導航，並在Push-T與OGBench Cube評估操作。這些都是使用固定攝影機與背景的模擬任務。在不同規劃預算下，增加至三級改善了AntMaze、FourRoom和Cube的成功率與運算量權衡。Push-T則是例外：在測試預算下，兩級模型表現與扁平基準相當或更好，三級模型則表現不佳。作者指出，該任務回合較短，能供較深模型使用的訓練片段較少。

在另一組AntMaze任務中，扁平LeWM基準的平均**成功率為18.0%，標準誤差為3.5個百分點**；完整三級H-JEPA規劃的平均**成功率為73.3%，標準誤差為3.5個百分點**。兩個數字都是作者報告的平均值，取自三組配對的模型與規劃器隨機種子。論文的[成功率與規劃FLOPs比較](https://arxiv.org/html/2610.06805v1)也顯示階層式方法以較低的實測規劃運算量達到較高成功率。它並未衡量訓練及部署機器人的總成本。

消融實驗說明了各部分的貢獻。採用共用表示的時間階層在四種環境都優於扁平基準，顯示拆分計畫有其價值。在AntMaze中，僅使用上層表示為扁平規劃器預測的目標距離評分，也能提高成功率。然而單靠這項改變，仍未達到完整階層式規劃器73.3%的平均值。在這項評估中，兩種效果互補。在論文發現選擇性抽象作用不大的Push-T和Cube中，只改變目標成本表示並未帶來明確效益。

## 真實機器人影片的界線

研究人員也使用了[DROID機器人操作影片](https://arxiv.org/html/2610.06805v1)。不同錄製回合的場景、物體與光線都會改變。論文指出，在此情況下，純預測模型可能偏重穩定背景，因而失去移動機器人的資訊。團隊加入反向動態損失，訓練一個元件推斷連續學得狀態之間的動作，讓表示保留代理的運動。加入此項後，學得的兩級階層在論文的離線規劃忠實度指標上優於扁平基準，且規劃運算量較低。

該指標比較提出的三維末端執行器路徑與錄影中的專家路徑。依論文的校準，專家路徑為100%，靜止手臂為0%。它不衡量機器人執行提出的動作後能否完成任務。由於資料集沒有可模擬場景變化的模擬器，作者以開迴路方式評估DROID計畫。BIG CHANGE沒有訓練該模型、執行[公開程式碼](https://github.com/kevinghst/H-JEPA)或測試機器人。

程式碼儲存庫提供訓練與規劃指令碼，以及重現論文部分圖表的說明，讓研究人員能檢視此方法；但論文仍是預印本，其實體世界證據仍屬離線測試。我們先前的[GPT-Policy報導](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents)介紹另一種以情境範例和機器人工具請求為基礎的方法；其結果無法驗證H-JEPA的世界模型規劃。

## 來源與延伸閱讀

- [Zhang等人，〈H-JEPA：端到端學習用於視覺規劃的階層式世界模型〉，arXiv v1](https://arxiv.org/html/2610.06805v1)：2026年10月5日提交的主要預印本。第2至4節與規劃附錄說明此方法、模擬器比較、AntMaze三組種子數據及DROID離線流程。這些是作者的結果，並非獨立複現或實體部署證據。
- [H-JEPA專案頁面](https://h-jepa.com/)：作者以視覺方式說明階層式預測、自上而下規劃、四種模擬環境與DROID忠實度測試。範例用來展示所報告的實驗；精選影片並非逐次試驗的效能資料。
- [H-JEPA公開程式碼儲存庫](https://github.com/kevinghst/H-JEPA)：作者提供的訓練與規劃實作、環境清單，以及重現部分結果的圖表說明。BIG CHANGE查看了儲存庫描述與指引，但未執行程式碼。
- [BIG CHANGE，〈GPT-Policy在機械手臂與移動探索任務中測試情境〉](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents)：先前關於不同機器人研究方法的報導。它提供背景，並非H-JEPA結果的證據。

## Sources

- [H-JEPA：端到端學習用於視覺規劃的階層式世界模型，arXiv v1](https://arxiv.org/html/2610.06805v1) — 關於方法、四種模擬任務評估、AntMaze圖表與消融實驗，以及DROID離線Fréchet忠實度流程的主要預印本。為作者自行執行的結果，並非獨立複現或實體部署。
- [H-JEPA作者專案頁面](https://h-jepa.com/) — 作者對階層結構與實驗的說明頁及視覺範例。精選影片展示結果，但沒有提供逐次試驗的結果數據。
- [H-JEPA公開程式碼儲存庫](https://github.com/kevinghst/H-JEPA) — 作者的訓練與規劃實作，以及重現部分圖表的指引。BIG CHANGE僅將其作為文件查閱，未執行程式碼。
- [BIG CHANGE，GPT-Policy在機械手臂與移動探索任務中測試情境](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) — 先前報導的相關研究，探討不同的機器人方法與實驗。僅供背景；沒有followUpTo關係。