H-JEPA를 개발한 연구진은 H-JEPA를 통해 시각적 세계 모델이 여러 시간 척도에서 계획하는 방법을 제시한다. 시뮬레이션 미로 한 곳에서 3단계 플래너는 과제의 73%를 완료해 평면 모델의 18%를 앞섰고, 계획 연산량도 적었다. 10월 5일 논문은 녹화된 실제 로봇 영상도 시험하지만, 이 시험은 제안된 경로를 오프라인으로 채점할 뿐 로봇이 계획을 실행하는 모습을 보여주지는 않는다.

로봇공학 연구자와 엔지니어에게 중요한 질문은 긴 계획을 짧은 단계로 나눈 효과인지, 목표까지의 진행을 더 잘 측정하도록 학습한 효과인지, 아니면 둘 다인지다. 논문은 이 설명들을 따로 시험한다. 결과는 시각적 계획 연구에 유망하지만 실제 로봇에 관해 추론할 수 있는 범위에는 중요한 한계가 있다.

주요 변화

  • 무엇이 달라졌나: H-JEPA는 행동에 조건화된 예측 모델을 층층이 학습한다. 각 수준은 자체적으로 학습한 표현 공간에서 더 먼 미래를 내다보고, 플래너는 상위 수준의 예측 상태를 하위 수준의 하위 목표로 바꾼다.
  • 왜 중요한가: Visual AntMaze에서 연구진은 3단계 계획의 성공률을 73.3%, 평면 기준 모델의 성공률을 18.0%로 보고했다. 절제 실험은 더 짧은 계획 구간과 더 유용한 상위 목표 표현이 모두 기여함을 시사한다. 로봇 팀은 계층화를 하나의 분리할 수 없는 개선으로 보지 않고 두 메커니즘을 각각 연구할 수 있다.
  • 주목할 점: 네 가지 과제 환경은 모두 시뮬레이션이다. 추가 DROID 시험은 계획된 로봇 팔 경로를 녹화된 전문가 경로와 비교한다. 다양한 실제 환경에서 폐루프 시험을 해야 아직 남은 다른 질문에 답할 수 있다.

여러 시간 척도의 계획

세계 모델은 행동 후 환경이 어떻게 달라질지 예측한다. H-JEPA는 공동 임베딩 예측 아키텍처(JEPA)를 사용해 이미지의 모든 픽셀을 재구성하는 대신 미래 관찰의 압축된 표현을 예측한다. 논문 은 관찰 및 행동 궤적을 함께 학습한 계층 구조를 설명한다. 가장 낮은 수준은 가장 세밀한 시간 단계를 따른다. 각 상위 수준은 하위 수준의 표현을 받아 더 긴 간격으로 행동을 묶고 별도의 잠재 공간에서 더 먼 미래를 예측한다.

계획은 현재 관찰과 목표 관찰에서 시작한다. 최상위 수준이 목표까지의 대략적인 경로를 찾는다. 그 예측 상태가 다음 수준을 이끌어 경로를 세분화한다. 최하위 수준이 행동을 출력한다. 시뮬레이션 폐루프 평가에서 시스템은 행동의 앞부분을 실행하고 결과 상태를 관찰한 뒤 다시 계획한다. 연구진은 이를 단독으로 학습하고 계획하는 동일한 1단계 JEPA인 LeWM, 그리고 모든 수준이 하나의 표현을 공유하는 시간 계층 모델과 비교한다.

개별 표현은 미로에서 중요하다. 목표는 위치에 도달하는 것일 수 있지만 개미의 다리 자세는 빠르게 변하기 때문이다. 연구진의 분석에서 H-JEPA 상위 수준은 개미의 위치를 유지하면서 다리 자세의 세부 정보를 복원하기 어렵게 만들었다. FourRoom에서도 비슷한 양상이 나타났다. 독립적으로 움직이는 방해 요소는 상위 수준에서 덜 두드러졌다. 조작 데이터셋에서는 측정된 빠른 움직임과 느린 움직임의 차이가 작아 효과가 훨씬 약했다. 세부 정보를 버리는 것이 모든 과제에 이롭다고 논문이 입증한 것은 아니다.

비교 결과가 보여주는 것

연구진은 Visual AntMaze와 FourRoom Distractors에서 내비게이션을, Push-T와 OGBench Cube에서 조작을 평가했다. 카메라와 배경이 고정된 시뮬레이션 과제들이다. 여러 계획 예산에서 수준을 최대 3개까지 늘리자 AntMaze, FourRoom, Cube의 성공률과 연산량 간 균형이 개선됐다. Push-T는 예외였다. 시험한 예산에서 2단계는 평면 기준 모델과 같거나 더 나았지만, 3단계 성능은 낮았다. 연구진은 짧은 에피소드 때문에 심층 모델에 쓸 수 있는 훈련 영상이 적다고 설명한다.

별도의 AntMaze 과제 세트에서 평면 LeWM 기준 모델의 평균 성공률은 18.0%, 표준오차는 3.5%포인트였고, 완전한 3단계 H-JEPA 계획의 평균은 73.3%, 표준오차는 3.5%포인트였다. 두 수치는 모델과 플래너의 세 쌍의 난수 시드에 대한 연구진 보고 평균이다. 논문의 성공률과 플래너 FLOPs 비교 도 계층 모델이 측정된 계획 연산량을 줄이면서 더 높은 성공률을 달성했음을 보여준다. 로봇의 훈련 및 배치에 드는 총비용을 측정한 것은 아니다.

절제 실험은 각 요소의 기여를 구분한다. 하나의 표현을 공유하는 시간 계층은 네 환경 모두에서 평면 기준 모델보다 나아 계획을 나누는 가치가 있음을 보여준다. AntMaze에서는 상위 수준 표현만 사용해 평면 플래너가 예측한 목표 거리를 점수화해도 성공률이 개선됐다. 그러나 그 변화만으로는 완전한 계층형 플래너의 평균 73.3%에 도달하지 못했다. 이 평가에서는 두 효과가 상호 보완적이다. 선택적 추상화 효과가 작았던 Push-T와 Cube에서는 목표 비용 표현만 바꿔서는 뚜렷한 이점이 없었다.

실제 로봇 영상이 보여주는 범위

연구진은 또한 DROID 로봇 조작 영상을 사용했다. 녹화된 에피소드마다 장면, 물체, 조명이 달라진다. 논문은 이런 환경에서 순수 예측 모델이 안정된 배경에 치우쳐 움직이는 로봇 정보를 잃을 수 있다고 설명한다. 연구진은 역동역학 손실을 추가하고, 연속으로 학습된 상태 사이의 행동을 추론하는 구성요소를 훈련해 표현이 에이전트의 움직임을 유지하도록 했다. 이 추가 요소를 적용하자 학습된 2단계 계층 모델은 논문의 오프라인 계획 충실도 지표에서 평면 기준 모델보다 나았고 플래너 연산량도 적었다.

이 지표는 제안된 3차원 말단장치 경로를 녹화 속 전문가 경로와 비교한다. 논문의 보정 기준에 따르면 전문가 경로는 100%, 정지한 팔은 0%다. 제안된 행동을 실행한 뒤 로봇이 과제를 끝낼 수 있는지는 측정하지 않는다. 데이터셋에는 변하는 장면을 위한 시뮬레이터가 없어 연구진은 DROID 계획을 개방루프 방식으로 평가했다. BIG CHANGE는 모델을 훈련하거나 공개 코드를실행하거나 로봇을 시험하지 않았다.

코드 저장소에는 훈련 및 계획 스크립트와 논문의 일부 그림과 표를 재현하는 방법이 있다. 연구자가 방법을 살펴볼 수 있지만 논문은 아직 프리프린트이며 실제 환경의 증거는 여전히 오프라인이다. 앞서 다룬 GPT-Policy 보도는 맥락 예시와 로봇 도구 요청을 기반으로 하는 별도의 접근법이다. 그 결과는 H-JEPA의 세계 모델 계획을 검증하지 않는다.

출처 및 추가 읽을거리