Markdown edition

AI-translated from English; not yet reviewed by a fluent editor.

# Pinahuhusay ng H-JEPA ang biswal na pagpaplano sa mga simulatadong gawain gamit ang isang hierarchical na world model

> Itinataas ng three-level planner ng H-JEPA ang tagumpay sa simulatadong AntMaze mula 18% tungong 73% habang mas kaunti ang compute para sa pagpaplano. Sinusukat ng mga resulta nito sa mga video ng totoong robot ang fidelity ng mga landas offline, hindi ang pagkumpleto ng gawain ng robot.

By BIG CHANGE Editorial

Published: 2026-10-12T02:56:09.290Z
Updated: 2026-10-12T02:56:09.290Z
Canonical: https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning

![A small orange sphere rests inside a raised tabletop maze, with a segmented orange route visible through the passages.](https://bigchange.ai/api/media/file/hjepa-maze-concept-hero-v2.png)
AI-generated conceptual illustration of hierarchical navigation planning by BIG CHANGE. The maze is not the AntMaze environment or a physical robot test.

Iniulat ng mga mananaliksik sa likod ng [H-JEPA ](https://arxiv.org/html/2610.06805v1)ang isang paraan upang magplano ang isang biswal na world model sa ilang time scale. Sa isang simulatadong maze, natapos ng kanilang three-level planner ang 73% ng mga gawain, kumpara sa 18% para sa flat na modelo, habang mas kaunti ang planning compute. Sinusubukan din ng papel noong Oktubre 5 ang mga naitalang video ng totoong robot, ngunit offline na binibigyan ng score ng mga pagsusuring iyon ang mga iminungkahing landas; hindi ipinakikita ang robot na nagsasagawa ng mga plano.

Para sa mga mananaliksik at inhinyero sa robotics, ang mahalagang tanong ay kung nagmula ang pagbuti sa paghahati ng mahabang plano sa mas maiikling hakbang, sa pagkatuto ng mas mahusay na sukatan ng pag-usad tungo sa layunin, o sa dalawa. Hiwalay na sinusubok ng papel ang mga paliwanag na iyon. Nangangako ang mga resulta para sa pananaliksik sa biswal na pagpaplano, ngunit may mahahalagang limitasyon sa maaaring mahinuha tungkol sa mga pisikal na robot.

## Ang malaking pagbabago

- **Ano ang nagbago:** Nagsasanay ang H-JEPA ng magkakasunod na predictive model na nakabatay sa mga aksiyon. Tumingin nang mas malayo sa hinaharap ang bawat antas sa sarili nitong natutuhang representasyon; ginagawang mga subgoal para sa mas mababang antas ng planner ang mga hinulaang estado ng mas mataas na antas.
- **Bakit ito mahalaga:** Sa Visual AntMaze, iniulat ng mga may-akda ang 73.3% na tagumpay para sa three-level planning laban sa 18.0% para sa flat baseline. Ipinakikita ng mga ablation na kapwa nakatutulong ang mas maiikling bahagi ng pagpaplano at mas kapaki-pakinabang na representasyon ng layunin sa mataas na antas. Maaaring pag-aralan ng isang pangkat sa robotics ang dalawang mekanismong ito nang magkahiwalay sa halip na ituring ang hierarchy bilang iisang pagbabagong hindi mahahati.
- **Ano ang dapat bantayan:** Simulasyon ang apat na kapaligiran ng gawain. Inihahambing ng karagdagang DROID test ang mga planadong landas ng robot arm sa mga naitalang landas ng eksperto; ibang tanong na hindi pa nasasagot ang sasagutin ng closed-loop trial sa sari-saring pisikal na kapaligiran.

## Plano sa ilang time scale

Hinuhulaan ng world model kung paano maaaring magbago ang kapaligiran pagkatapos ng isang aksiyon. Gumagamit ang H-JEPA ng joint-embedding predictive architecture, o JEPA, na humuhula ng maiikling representasyon ng mga obserbasyon sa hinaharap sa halip na buuing muli ang bawat pixel ng larawan. Inilalarawan ng [papel ](https://arxiv.org/html/2610.06805v1) nito ang hierarchy na sabay-sabay na sinanay sa mga trajectory ng obserbasyon at aksiyon. Sinusundan ng pinakamababang antas ang pinakamaiikling time step. Tumatanggap ang bawat mas mataas na antas ng mga representasyon mula sa nasa ibaba, pinagsasama ang mga aksiyon sa mas mahabang pagitan, at humuhula nang mas malayo sa hiwalay na latent space.

Nagsisimula ang pagpaplano sa kasalukuyang obserbasyon at obserbasyon ng layunin. Naghahanap ang pinakamataas na antas ng magaspang na ruta patungo sa layunin. Pagkatapos, ginagabayan ng mga hinulaang estado nito ang susunod na antas, na nagpapahusay sa ruta. Gumagawa ng mga aksiyon ang pinakamababang antas. Sa mga simulatadong closed-loop na pagsusuri, isinasagawa ng sistema ang paunang bahagi ng mga aksiyon, inoobserbahan ang nagresultang estado, at muling nagpaplano. Inihahambing ito ng mga mananaliksik sa LeWM—ang parehong first-level JEPA na sinanay at nagplano nang mag-isa—at sa isang temporal hierarchy na iisang representasyon ang gamit ng mga antas.

Mahalaga ang magkakahiwalay na representasyon sa maze dahil maaaring ang layunin ay makarating sa isang lokasyon habang mabilis magbago ang posisyon ng mga paa ng langgam. Natuklasan sa mga probe ng mga may-akda na pinanatili ng mas matataas na antas ng H-JEPA ang lokasyon ng langgam habang mas mahirap nang mabawi ang mga detalye ng posisyon ng paa. Nakakita sila ng kahalintulad na padron sa FourRoom, kung saan hindi gaanong litaw sa mas matataas na antas ang isang distractor na gumagalaw nang hiwalay. Mas mahina ang epekto sa mga manipulation dataset, kung saan hindi gaanong magkakahiwalay ang nasukat na mabilis at mabagal na galaw. Hindi pinatutunayan ng papel na nakabubuti sa bawat gawain ang pag-aalis ng pinong detalye.

## Ano ang ipinakikita ng mga paghahambing

Sinuri ng mga may-akda ang navigation sa Visual AntMaze at FourRoom Distractors, at ang manipulation sa Push-T at OGBench Cube. Simulatadong gawain ang mga ito na may nakapirming camera at background. Sa iba’t ibang planning budget, pinahusay ng pagdaragdag ng mga antas hanggang tatlo ang trade-off ng tagumpay at compute sa AntMaze, FourRoom, at Cube. Eksepsiyon ang Push-T: nagtumbas o lumampas sa flat baseline ang dalawang antas sa mga sinubok na budget, samantalang mahina ang tatlong antas. Itinuturo ng mga may-akda ang maiikling episode nito, na nag-iiwan ng mas kaunting kapaki-pakinabang na training clip para sa mas malalalim na modelo.

Sa hiwalay na set ng AntMaze task, nag-average ang flat na LeWM baseline ng **18.0% na tagumpay, na may 3.5-point na standard error**, samantalang nag-average ang buong three-level H-JEPA planning ng **73.3%, na may 3.5-point na standard error**. Iniulat ng mga may-akda ang dalawang bilang bilang mean sa tatlong magkapares na seed ng modelo at planner. Ipinakikita rin ng [paghahambing ng papel sa tagumpay at planner FLOPs](https://arxiv.org/html/2610.06805v1) na umabot sa mas mataas na tagumpay ang hierarchy gamit ang mas mababang nasukat na planning compute. Hindi nito sinusukat ang kabuuang halaga ng pagsasanay at pag-deploy ng robot.

Nililinaw ng mga ablation ang ambag ng bawat bahagi. Nahigitan ng temporal hierarchy na iisang representasyon ang gamit ang flat baseline sa lahat ng apat na kapaligiran, na nagpapakitang may halaga ang paghahati-hati ng plano. Sa AntMaze, tumaas din ang tagumpay nang gamitin lamang ang representasyon ng mataas na antas upang bigyan ng score ang hinulaang distansiya ng flat planner patungo sa layunin. Ngunit hindi umabot ang pagbabagong iyon lamang sa 73.3% mean ng buong hierarchical planner. Magkatuwang ang dalawang epekto sa pagsusuring ito. Sa Push-T at Cube, kung saan kaunti ang piling abstraction na nakita ng papel, walang malinaw na pakinabang ang pagbabago lamang sa representasyon ng goal cost.

## Hangganan ng mga video ng totoong robot

Gumamit din ang mga mananaliksik ng [mga DROID video ng robot manipulation](https://arxiv.org/html/2610.06805v1). Nagbabago ang mga eksena, bagay, at ilaw sa iba’t ibang naitalang episode. Sa ganitong kalagayan, maaaring mas piliin ng purong predictive model ang matatag na background at mawala ang impormasyon tungkol sa gumagalaw na robot, ayon sa papel. Nagdagdag ang pangkat ng inverse-dynamics loss: sinanay ang isang bahagi upang tukuyin ang aksiyon sa pagitan ng magkasunod na natutuhang estado upang mapanatili ng representasyon ang galaw ng ahente. Dahil sa dagdag na ito, pinahusay ng natutuhang two-level hierarchy ang offline planning-fidelity measure ng papel kumpara sa flat baseline, gamit ang mas mababang planner compute.

Inihahambing ng sukatan ang iminungkahing three-dimensional na landas ng end-effector sa landas ng eksperto sa recording. Sa calibration ng papel, 100% ang landas ng eksperto at 0% ang nakatigil na braso. Hindi nito sinusukat kung makatatapos ng gawain ang robot matapos isagawa ang mga iminungkahing aksiyon. Open-loop na sinuri ng mga may-akda ang mga DROID plan dahil walang simulator ang dataset para sa mga nagbabagong eksena. Hindi sinanay ng BIG CHANGE ang modelo, hindi pinatakbo ang [pampublikong code](https://github.com/kevinghst/H-JEPA), at hindi sumubok ng robot.

May mga script para sa training at planning ang code repository, pati mga tagubilin upang muling gawin ang piling figure at table ng papel. Nagbibigay ito sa mga mananaliksik ng paraan upang siyasatin ang pamamaraan, ngunit preprint pa rin ang papel at nananatiling offline ang ebidensiya nito sa pisikal na mundo. Tinutukoy ng nauna naming [ulat tungkol sa GPT-Policy ](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) ang hiwalay na pamamaraang gumagamit ng mga halimbawa ng konteksto at kahilingan sa robot tool; hindi pinatutunayan ng mga resulta nito ang world-model planning ng H-JEPA.

## Mga sanggunian at karagdagang babasahin

- [Zhang at mga kasama, “H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning,” arXiv v1](https://arxiv.org/html/2610.06805v1): pangunahing preprint na isinumite noong Oktubre 5, 2026. Inilalahad ng mga seksiyon 2–4 at ng planning appendix ang pamamaraan, paghahambing sa simulator, mga AntMaze figure na may tatlong seed, at offline DROID protocol. Mga resulta ito ng mga may-akda, hindi independiyenteng replication o ebidensiya ng pisikal na deployment.
- [Pahina ng proyekto ng H-JEPA](https://h-jepa.com/): biswal na paliwanag ng mga may-akda tungkol sa hierarchical prediction, top-down planning, apat na simulatadong kapaligiran, at DROID fidelity test. Ipinakikita ng mga halimbawa ang naiulat na eksperimento; hindi datos ng performance sa bawat trial ang mga piling video.
- [Pampublikong code repository ng H-JEPA](https://github.com/kevinghst/H-JEPA): implementasyon ng training at planning ng mga may-akda, listahan ng mga kapaligiran, at tagubilin sa muling paggawa ng piling resulta. Sinuri ng BIG CHANGE ang paglalarawan at mga tagubilin ng repository ngunit hindi pinatakbo ang code.
- [BIG CHANGE, “Sinusubok ng GPT-Policy ang konteksto sa mga gawain ng robot arm at mobile exploration”](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents): naunang ulat tungkol sa ibang pamamaraan sa pananaliksik ng robotics. Nagbibigay ito ng konteksto, hindi ebidensiya para sa mga resulta ng H-JEPA.

## Sources

- [H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, arXiv v1](https://arxiv.org/html/2610.06805v1) — Pangunahing preprint tungkol sa pamamaraan, pagsusuri sa apat na simulatadong gawain, mga AntMaze figure at ablation, at offline na DROID Fréchet-fidelity protocol. Mga resultang pinatakbo ng mga may-akda; hindi independiyenteng replication o pisikal na deployment.
- [Pahina ng proyekto ng mga may-akda ng H-JEPA](https://h-jepa.com/) — Paliwanag at biswal na halimbawa ng hierarchy at mga eksperimento mula sa mga may-akda. Ipinakikita ng mga piling video ang mga resulta ngunit hindi nagbibigay ng datos ng kinalabasan sa bawat trial.
- [Pampublikong code repository ng H-JEPA](https://github.com/kevinghst/H-JEPA) — Implementasyon ng training/planning ng mga may-akda at mga tagubilin para muling gawin ang piling figure at table. Sinuri bilang dokumentasyon; hindi pinatakbo ng BIG CHANGE ang code.
- [BIG CHANGE, Sinusubok ng GPT-Policy ang konteksto sa mga gawain ng robot arm at mobile exploration](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) — Kaugnay na naunang ulat tungkol sa ibang pamamaraan at eksperimento sa robotics. Konteksto lamang; walang followUpTo na ugnayan.