Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# H-JEPA улучшает визуальное планирование в симулируемых задачах с помощью иерархической модели мира

> Трёхуровневый планировщик H-JEPA повышает успешность в симулируемом AntMaze с 18% до 73%, сокращая вычисления для планирования. Результаты на видео реальных роботов измеряют точность траекторий офлайн, а не выполнение задач роботом.

By BIG CHANGE Editorial

Published: 2026-10-12T02:56:09.290Z
Updated: 2026-10-12T02:56:09.290Z
Canonical: https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning

![A small orange sphere rests inside a raised tabletop maze, with a segmented orange route visible through the passages.](https://bigchange.ai/api/media/file/hjepa-maze-concept-hero-v2.png)
AI-generated conceptual illustration of hierarchical navigation planning by BIG CHANGE. The maze is not the AntMaze environment or a physical robot test.

Исследователи, создавшие [H-JEPA ](https://arxiv.org/html/2610.06805v1)представляют способ планирования визуальной модели мира на нескольких временных масштабах. В одном симулируемом лабиринте их трёхуровневый планировщик выполнил 73% задач против 18% у плоской модели и использовал меньше вычислений. В статье от 5 октября также проверяются записанные видео реальных роботов, но предложенные траектории оцениваются офлайн; видео не показывают, как робот выполняет планы.

Для исследователей и инженеров в робототехнике полезно понять, связано ли улучшение с разбиением длинного плана на короткие шаги, с более точным измерением продвижения к цели или с обоими факторами. В статье эти объяснения проверяются отдельно. Результаты перспективны для исследований визуального планирования, но выводы о физических роботах существенно ограничены.

## Главное изменение

- **Что изменилось:** H-JEPA обучает последовательность предиктивных моделей, зависящих от действий. Каждый уровень заглядывает дальше в будущее в собственной выученной репрезентации, а планировщик превращает предсказанные состояния верхнего уровня в подцели для нижнего.
- **Почему это важно:** В Visual AntMaze авторы сообщают об успешности 73,3% при планировании с тремя уровнями против 18,0% у плоской базовой модели. Абляции показывают вклад как более коротких сегментов планирования, так и более полезной репрезентации цели на верхнем уровне. Команда по робототехнике может изучать эти два механизма по отдельности, а не считать иерархию неделимым улучшением.
- **За чем следить:** Все четыре среды задач симулируются. Дополнительный тест DROID сравнивает запланированные траектории роботизированной руки с записанными экспертными траекториями; испытание с замкнутым циклом в разнообразных физических условиях ответило бы на другой, пока открытый вопрос.

## План на нескольких временных масштабах

Модель мира предсказывает, как среда может измениться после действия. H-JEPA использует предиктивную архитектуру совместного встраивания (JEPA), которая предсказывает компактные репрезентации будущих наблюдений, а не восстанавливает каждый пиксель изображения. В [статье ](https://arxiv.org/html/2610.06805v1) описана иерархия, совместно обученная на траекториях наблюдений и действий. Нижний уровень работает с самыми мелкими временными шагами. Каждый более высокий уровень получает репрезентации нижнего, объединяет действия на более длинном интервале и предсказывает дальше в отдельном латентном пространстве.

Планирование начинается с текущего наблюдения и наблюдения цели. Верхний уровень ищет общий маршрут к цели. Его предсказанные состояния направляют следующий уровень, который уточняет маршрут. Нижний уровень выдает действия. В симулируемых оценках с замкнутым циклом система выполняет начальный отрезок действий, наблюдает получившееся состояние и планирует заново. Исследователи сравнивают её с LeWM — той же JEPA первого уровня, обученной и используемой для планирования отдельно, — и с временной иерархией, уровни которой имеют общую репрезентацию.

Раздельные репрезентации важны в лабиринте, потому что целью может быть достижение места, хотя положение ног муравья быстро меняется. Проверки авторов показали, что верхние уровни H-JEPA сохраняли положение муравья, но детали позы ног было труднее восстановить. Похожая закономерность наблюдалась в FourRoom: независимо движущийся отвлекающий объект был менее заметен на верхних уровнях. В наборах данных для манипуляций эффект был гораздо слабее, поскольку измеренные быстрые и медленные движения были менее разделены. Статья не доказывает, что отказ от мелких деталей полезен для каждой задачи.

## Что показывают сравнения

Авторы оценивали навигацию в Visual AntMaze и FourRoom Distractors, а манипуляции — в Push-T и OGBench Cube. Это симулируемые задачи с неподвижными камерами и фоном. При разных вычислительных бюджетах увеличение числа уровней до трёх улучшило соотношение успешности и вычислений в AntMaze, FourRoom и Cube. Push-T стал исключением: при проверенных бюджетах два уровня не уступали плоской базовой модели или превосходили её, тогда как три уровня показали слабый результат. Авторы указывают на короткие эпизоды, из-за которых для глубоких моделей остается меньше пригодных обучающих роликов.

В отдельном наборе задач AntMaze плоская базовая модель LeWM показала среднюю успешность **18,0% при стандартной ошибке 3,5 процентного пункта**, тогда как полное планирование H-JEPA с тремя уровнями показало в среднем **73,3% при стандартной ошибке 3,5 процентного пункта**. Оба значения — средние, рассчитанные авторами по трём парным случайным начальным значениям модели и планировщика. [Сравнение успешности и FLOP планировщика в статье](https://arxiv.org/html/2610.06805v1) также показывает, что иерархия достигает большей успешности при меньших измеренных вычислениях для планирования. Общая стоимость обучения и внедрения робота не измерялась.

Абляции уточняют вклад каждого элемента. Временная иерархия с общей репрезентацией превзошла плоскую базовую модель во всех четырёх средах, что указывает на ценность разделения плана на части. В AntMaze успешность также повысилась, когда репрезентацию верхнего уровня использовали только для оценки предсказанного плоским планировщиком расстояния до цели. Но одно это изменение не достигло среднего результата 73,3% полного иерархического планировщика. В этой оценке два эффекта дополняют друг друга. В Push-T и Cube, где статья обнаружила мало избирательной абстракции, изменение только репрезентации стоимости цели не дало явного преимущества.

## Границы данных с видео реальных роботов

Исследователи также использовали [видео DROID о роботизированных манипуляциях](https://arxiv.org/html/2610.06805v1). Сцены, объекты и освещение меняются от одной записанной серии к другой. В таких условиях чисто предиктивная модель может отдавать предпочтение стабильному фону и терять информацию о движущемся роботе, говорится в статье. Команда добавила функцию потерь для обратной динамики и обучила компоненту определять действие между последовательными выученными состояниями, чтобы репрезентация сохраняла движение агента. С этим дополнением обученная двухуровневая иерархия превзошла плоскую базовую модель по офлайн-метрике точности планирования из статьи, используя меньше вычислений планировщика.

Эта метрика сравнивает предложенную трёхмерную траекторию конечного эффектора с экспертной траекторией на записи. Согласно калибровке статьи, для экспертной траектории показатель равен 100%, а для неподвижной руки — 0%. Он не измеряет, выполнил бы робот задачу после предложенных действий. Авторы оценивали планы DROID с разомкнутым циклом, поскольку в наборе данных нет симулятора для меняющихся сцен. BIG CHANGE не обучала модель, не запускала [общедоступный код](https://github.com/kevinghst/H-JEPA) и не тестировала робота.

В репозитории кода есть скрипты обучения и планирования, а также инструкции по воспроизведению отдельных рисунков и таблиц статьи. Это позволяет исследователям изучить метод, однако статья остается препринтом, а свидетельства о работе в физическом мире получены офлайн. В нашем предыдущем [материале о GPT-Policy ](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents)рассматривается отдельный подход на основе контекстных примеров и запросов к инструментам робота; его результаты не подтверждают планирование мировой моделью H-JEPA.

## Источники и дополнительные материалы

- [Zhang и коллеги, «H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning», arXiv v1](https://arxiv.org/html/2610.06805v1): основной препринт, отправленный 5 октября 2026 года. В разделах 2–4 и приложении о планировании описаны метод, сравнения на симуляторах, результаты AntMaze с тремя случайными значениями и офлайн-протокол DROID. Это результаты авторов, а не независимое воспроизведение или свидетельство внедрения на физических системах.
- [Страница проекта H-JEPA](https://h-jepa.com/): визуальное объяснение авторов о иерархическом прогнозировании, планировании сверху вниз, четырёх симулируемых средах и тесте точности DROID. Примеры иллюстрируют опубликованные эксперименты; выбранные видео не являются данными о результатах отдельных испытаний.
- [Общедоступный репозиторий кода H-JEPA](https://github.com/kevinghst/H-JEPA): реализация обучения и планирования авторов, список сред и инструкции по воспроизведению отдельных результатов. BIG CHANGE изучила описание и инструкции репозитория, но не запускала код.
- [BIG CHANGE, «GPT-Policy проверяет контекст в задачах с роботизированной рукой и мобильным исследованием»](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents): предыдущий материал о другом методе исследования робототехники. Он дает контекст, но не подтверждает результаты H-JEPA.

## Sources

- [H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, arXiv v1](https://arxiv.org/html/2610.06805v1) — Основной препринт о методе, оценке четырёх симулируемых задач, результатах и абляциях AntMaze, а также офлайн-протоколе фрешеевской точности DROID. Результаты авторов; это не независимое воспроизведение и не внедрение на физических системах.
- [Страница проекта авторов H-JEPA](https://h-jepa.com/) — Страница с объяснениями авторов и визуальными примерами иерархии и экспериментов. Выбранные видео иллюстрируют результаты, но не дают данных по каждому испытанию.
- [Общедоступный репозиторий кода H-JEPA](https://github.com/kevinghst/H-JEPA) — Реализация обучения и планирования авторов и инструкции по воспроизведению отдельных рисунков и таблиц. BIG CHANGE изучила документацию, но не запускала код.
- [BIG CHANGE, GPT-Policy проверяет контекст в задачах с роботизированной рукой и мобильным исследованием](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) — Предыдущий материал о другом методе и эксперименте в робототехнике. Только контекст; связи followUpTo нет.