AI-translated from English; not yet reviewed by a fluent editor.

# H-JEPA, 계층형 세계 모델로 시뮬레이션 과제의 시각적 계획 성능 개선

> H-JEPA의 3단계 플래너는 시뮬레이션 AntMaze 성공률을 18%에서 73%로 높이면서 계획 연산량을 줄였다. 실제 로봇 영상 결과는 오프라인 경로 충실도를 측정하며, 로봇의 과제 완료를 측정하지 않는다.

By BIG CHANGE Editorial

Published: 2026-10-12T02:56:09.290Z
Updated: 2026-10-12T02:56:09.290Z
Canonical: https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning

![A small orange sphere rests inside a raised tabletop maze, with a segmented orange route visible through the passages.](https://bigchange.ai/api/media/file/hjepa-maze-concept-hero-v2.png)
AI-generated conceptual illustration of hierarchical navigation planning by BIG CHANGE. The maze is not the AntMaze environment or a physical robot test.

H-JEPA를 개발한 연구진은 [H-JEPA](https://arxiv.org/html/2610.06805v1)를 통해 시각적 세계 모델이 여러 시간 척도에서 계획하는 방법을 제시한다. 시뮬레이션 미로 한 곳에서 3단계 플래너는 과제의 73%를 완료해 평면 모델의 18%를 앞섰고, 계획 연산량도 적었다. 10월 5일 논문은 녹화된 실제 로봇 영상도 시험하지만, 이 시험은 제안된 경로를 오프라인으로 채점할 뿐 로봇이 계획을 실행하는 모습을 보여주지는 않는다.

로봇공학 연구자와 엔지니어에게 중요한 질문은 긴 계획을 짧은 단계로 나눈 효과인지, 목표까지의 진행을 더 잘 측정하도록 학습한 효과인지, 아니면 둘 다인지다. 논문은 이 설명들을 따로 시험한다. 결과는 시각적 계획 연구에 유망하지만 실제 로봇에 관해 추론할 수 있는 범위에는 중요한 한계가 있다.

## 주요 변화

- **무엇이 달라졌나:** H-JEPA는 행동에 조건화된 예측 모델을 층층이 학습한다. 각 수준은 자체적으로 학습한 표현 공간에서 더 먼 미래를 내다보고, 플래너는 상위 수준의 예측 상태를 하위 수준의 하위 목표로 바꾼다.
- **왜 중요한가:** Visual AntMaze에서 연구진은 3단계 계획의 성공률을 73.3%, 평면 기준 모델의 성공률을 18.0%로 보고했다. 절제 실험은 더 짧은 계획 구간과 더 유용한 상위 목표 표현이 모두 기여함을 시사한다. 로봇 팀은 계층화를 하나의 분리할 수 없는 개선으로 보지 않고 두 메커니즘을 각각 연구할 수 있다.
- **주목할 점:** 네 가지 과제 환경은 모두 시뮬레이션이다. 추가 DROID 시험은 계획된 로봇 팔 경로를 녹화된 전문가 경로와 비교한다. 다양한 실제 환경에서 폐루프 시험을 해야 아직 남은 다른 질문에 답할 수 있다.

## 여러 시간 척도의 계획

세계 모델은 행동 후 환경이 어떻게 달라질지 예측한다. H-JEPA는 공동 임베딩 예측 아키텍처(JEPA)를 사용해 이미지의 모든 픽셀을 재구성하는 대신 미래 관찰의 압축된 표현을 예측한다. [논문 ](https://arxiv.org/html/2610.06805v1)은 관찰 및 행동 궤적을 함께 학습한 계층 구조를 설명한다. 가장 낮은 수준은 가장 세밀한 시간 단계를 따른다. 각 상위 수준은 하위 수준의 표현을 받아 더 긴 간격으로 행동을 묶고 별도의 잠재 공간에서 더 먼 미래를 예측한다.

계획은 현재 관찰과 목표 관찰에서 시작한다. 최상위 수준이 목표까지의 대략적인 경로를 찾는다. 그 예측 상태가 다음 수준을 이끌어 경로를 세분화한다. 최하위 수준이 행동을 출력한다. 시뮬레이션 폐루프 평가에서 시스템은 행동의 앞부분을 실행하고 결과 상태를 관찰한 뒤 다시 계획한다. 연구진은 이를 단독으로 학습하고 계획하는 동일한 1단계 JEPA인 LeWM, 그리고 모든 수준이 하나의 표현을 공유하는 시간 계층 모델과 비교한다.

개별 표현은 미로에서 중요하다. 목표는 위치에 도달하는 것일 수 있지만 개미의 다리 자세는 빠르게 변하기 때문이다. 연구진의 분석에서 H-JEPA 상위 수준은 개미의 위치를 유지하면서 다리 자세의 세부 정보를 복원하기 어렵게 만들었다. FourRoom에서도 비슷한 양상이 나타났다. 독립적으로 움직이는 방해 요소는 상위 수준에서 덜 두드러졌다. 조작 데이터셋에서는 측정된 빠른 움직임과 느린 움직임의 차이가 작아 효과가 훨씬 약했다. 세부 정보를 버리는 것이 모든 과제에 이롭다고 논문이 입증한 것은 아니다.

## 비교 결과가 보여주는 것

연구진은 Visual AntMaze와 FourRoom Distractors에서 내비게이션을, Push-T와 OGBench Cube에서 조작을 평가했다. 카메라와 배경이 고정된 시뮬레이션 과제들이다. 여러 계획 예산에서 수준을 최대 3개까지 늘리자 AntMaze, FourRoom, Cube의 성공률과 연산량 간 균형이 개선됐다. Push-T는 예외였다. 시험한 예산에서 2단계는 평면 기준 모델과 같거나 더 나았지만, 3단계 성능은 낮았다. 연구진은 짧은 에피소드 때문에 심층 모델에 쓸 수 있는 훈련 영상이 적다고 설명한다.

별도의 AntMaze 과제 세트에서 평면 LeWM 기준 모델의 평균 성공률은 **18.0%, 표준오차는 3.5%포인트**였고, 완전한 3단계 H-JEPA 계획의 평균은 **73.3%, 표준오차는 3.5%포인트**였다. 두 수치는 모델과 플래너의 세 쌍의 난수 시드에 대한 연구진 보고 평균이다. 논문의 [성공률과 플래너 FLOPs 비교 ](https://arxiv.org/html/2610.06805v1)도 계층 모델이 측정된 계획 연산량을 줄이면서 더 높은 성공률을 달성했음을 보여준다. 로봇의 훈련 및 배치에 드는 총비용을 측정한 것은 아니다.

절제 실험은 각 요소의 기여를 구분한다. 하나의 표현을 공유하는 시간 계층은 네 환경 모두에서 평면 기준 모델보다 나아 계획을 나누는 가치가 있음을 보여준다. AntMaze에서는 상위 수준 표현만 사용해 평면 플래너가 예측한 목표 거리를 점수화해도 성공률이 개선됐다. 그러나 그 변화만으로는 완전한 계층형 플래너의 평균 73.3%에 도달하지 못했다. 이 평가에서는 두 효과가 상호 보완적이다. 선택적 추상화 효과가 작았던 Push-T와 Cube에서는 목표 비용 표현만 바꿔서는 뚜렷한 이점이 없었다.

## 실제 로봇 영상이 보여주는 범위

연구진은 또한 [DROID 로봇 조작 영상](https://arxiv.org/html/2610.06805v1)을 사용했다. 녹화된 에피소드마다 장면, 물체, 조명이 달라진다. 논문은 이런 환경에서 순수 예측 모델이 안정된 배경에 치우쳐 움직이는 로봇 정보를 잃을 수 있다고 설명한다. 연구진은 역동역학 손실을 추가하고, 연속으로 학습된 상태 사이의 행동을 추론하는 구성요소를 훈련해 표현이 에이전트의 움직임을 유지하도록 했다. 이 추가 요소를 적용하자 학습된 2단계 계층 모델은 논문의 오프라인 계획 충실도 지표에서 평면 기준 모델보다 나았고 플래너 연산량도 적었다.

이 지표는 제안된 3차원 말단장치 경로를 녹화 속 전문가 경로와 비교한다. 논문의 보정 기준에 따르면 전문가 경로는 100%, 정지한 팔은 0%다. 제안된 행동을 실행한 뒤 로봇이 과제를 끝낼 수 있는지는 측정하지 않는다. 데이터셋에는 변하는 장면을 위한 시뮬레이터가 없어 연구진은 DROID 계획을 개방루프 방식으로 평가했다. BIG CHANGE는 모델을 훈련하거나 [공개 코드를](https://github.com/kevinghst/H-JEPA)실행하거나 로봇을 시험하지 않았다.

코드 저장소에는 훈련 및 계획 스크립트와 논문의 일부 그림과 표를 재현하는 방법이 있다. 연구자가 방법을 살펴볼 수 있지만 논문은 아직 프리프린트이며 실제 환경의 증거는 여전히 오프라인이다. 앞서 다룬 [GPT-Policy 보도](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents)는 맥락 예시와 로봇 도구 요청을 기반으로 하는 별도의 접근법이다. 그 결과는 H-JEPA의 세계 모델 계획을 검증하지 않는다.

## 출처 및 추가 읽을거리

- [Zhang 외, “H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning,” arXiv v1](https://arxiv.org/html/2610.06805v1): 2026년 10월 5일 제출된 주요 프리프린트. 2\~4절과 계획 부록은 방법, 시뮬레이터 비교, 세 난수 시드의 AntMaze 수치, DROID 오프라인 절차를 설명한다. 연구진의 결과이며 독립적인 재현이나 실제 배치의 증거는 아니다.
- [H-JEPA 프로젝트 페이지](https://h-jepa.com/): 계층형 예측, 하향식 계획, 네 가지 시뮬레이션 환경, DROID 충실도 시험에 대한 연구진의 시각적 설명. 예시는 보고된 실험을 보여주지만 선택된 영상은 개별 시험의 성능 데이터가 아니다.
- [H-JEPA 공개 코드 저장소](https://github.com/kevinghst/H-JEPA): 연구진의 훈련 및 계획 구현, 환경 목록, 일부 결과 재현 지침. BIG CHANGE는 저장소 설명과 지침을 살펴봤지만 코드를 실행하지 않았다.
- [BIG CHANGE, “GPT-Policy, 로봇 팔 및 이동 탐색 과제에서 맥락 시험”](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents): 다른 로봇 연구 방법에 대한 이전 보도다. 배경 정보이며 H-JEPA 결과의 증거는 아니다.

## Sources

- [H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, arXiv v1](https://arxiv.org/html/2610.06805v1) — 방법, 네 가지 시뮬레이션 과제 평가, AntMaze 결과와 절제 실험, DROID 오프라인 프레셰 충실도 절차에 관한 주요 프리프린트. 연구진이 실행한 결과이며 독립 재현이나 실제 배치는 아니다.
- [H-JEPA 연구진 프로젝트 페이지](https://h-jepa.com/) — 계층 구조와 실험에 대한 연구진 설명 및 시각적 예시. 선정된 영상은 결과를 보여주지만 개별 시험 결과 데이터는 제공하지 않는다.
- [H-JEPA 공개 코드 저장소](https://github.com/kevinghst/H-JEPA) — 연구진의 훈련·계획 구현 및 일부 그림과 표 재현 지침. BIG CHANGE는 문서로 확인했으며 코드를 실행하지 않았다.
- [BIG CHANGE, GPT-Policy, 로봇 팔 및 이동 탐색 과제에서 맥락 시험](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) — 다른 로봇 방법 및 실험을 다룬 관련 이전 보도다. 배경 정보일 뿐이며 followUpTo 관계는 없다.