H-JEPA улучшает визуальное планирование в симулируемых задачах с помощью иерархической модели мира

Исследователи, создавшие H-JEPA представляют способ планирования визуальной модели мира на нескольких временных масштабах. В одном симулируемом лабиринте их трёхуровневый планировщик выполнил 73% задач против 18% у плоской модели и использовал меньше вычислений. В статье от 5 октября также проверяются записанные видео реальных роботов, но предложенные траектории оцениваются офлайн; видео не показывают, как робот выполняет планы.

Для исследователей и инженеров в робототехнике полезно понять, связано ли улучшение с разбиением длинного плана на короткие шаги, с более точным измерением продвижения к цели или с обоими факторами. В статье эти объяснения проверяются отдельно. Результаты перспективны для исследований визуального планирования, но выводы о физических роботах существенно ограничены.

Главное изменение

• Что изменилось: H-JEPA обучает последовательность предиктивных моделей, зависящих от действий. Каждый уровень заглядывает дальше в будущее в собственной выученной репрезентации, а планировщик превращает предсказанные состояния верхнего уровня в подцели для нижнего.
• Почему это важно: В Visual AntMaze авторы сообщают об успешности 73,3% при планировании с тремя уровнями против 18,0% у плоской базовой модели. Абляции показывают вклад как более коротких сегментов планирования, так и более полезной репрезентации цели на верхнем уровне. Команда по робототехнике может изучать эти два механизма по отдельности, а не считать иерархию неделимым улучшением.
• За чем следить: Все четыре среды задач симулируются. Дополнительный тест DROID сравнивает запланированные траектории роботизированной руки с записанными экспертными траекториями; испытание с замкнутым циклом в разнообразных физических условиях ответило бы на другой, пока открытый вопрос.

План на нескольких временных масштабах

Модель мира предсказывает, как среда может измениться после действия. H-JEPA использует предиктивную архитектуру совместного встраивания (JEPA), которая предсказывает компактные репрезентации будущих наблюдений, а не восстанавливает каждый пиксель изображения. В статье описана иерархия, совместно обученная на траекториях наблюдений и действий. Нижний уровень работает с самыми мелкими временными шагами. Каждый более высокий уровень получает репрезентации нижнего, объединяет действия на более длинном интервале и предсказывает дальше в отдельном латентном пространстве.

Планирование начинается с текущего наблюдения и наблюдения цели. Верхний уровень ищет общий маршрут к цели. Его предсказанные состояния направляют следующий уровень, который уточняет маршрут. Нижний уровень выдает действия. В симулируемых оценках с замкнутым циклом система выполняет начальный отрезок действий, наблюдает получившееся состояние и планирует заново. Исследователи сравнивают её с LeWM — той же JEPA первого уровня, обученной и используемой для планирования отдельно, — и с временной иерархией, уровни которой имеют общую репрезентацию.

Раздельные репрезентации важны в лабиринте, потому что целью может быть достижение места, хотя положение ног муравья быстро меняется. Проверки авторов показали, что верхние уровни H-JEPA сохраняли положение муравья, но детали позы ног было труднее восстановить. Похожая закономерность наблюдалась в FourRoom: независимо движущийся отвлекающий объект был менее заметен на верхних уровнях. В наборах данных для манипуляций эффект был гораздо слабее, поскольку измеренные быстрые и медленные движения были менее разделены. Статья не доказывает, что отказ от мелких деталей полезен для каждой задачи.

Что показывают сравнения

Авторы оценивали навигацию в Visual AntMaze и FourRoom Distractors, а манипуляции — в Push-T и OGBench Cube. Это симулируемые задачи с неподвижными камерами и фоном. При разных вычислительных бюджетах увеличение числа уровней до трёх улучшило соотношение успешности и вычислений в AntMaze, FourRoom и Cube. Push-T стал исключением: при проверенных бюджетах два уровня не уступали плоской базовой модели или превосходили её, тогда как три уровня показали слабый результат. Авторы указывают на короткие эпизоды, из-за которых для глубоких моделей остается меньше пригодных обучающих роликов.

В отдельном наборе задач AntMaze плоская базовая модель LeWM показала среднюю успешность 18,0% при стандартной ошибке 3,5 процентного пункта, тогда как полное планирование H-JEPA с тремя уровнями показало в среднем 73,3% при стандартной ошибке 3,5 процентного пункта. Оба значения — средние, рассчитанные авторами по трём парным случайным начальным значениям модели и планировщика. Сравнение успешности и FLOP планировщика в статье также показывает, что иерархия достигает большей успешности при меньших измеренных вычислениях для планирования. Общая стоимость обучения и внедрения робота не измерялась.

Абляции уточняют вклад каждого элемента. Временная иерархия с общей репрезентацией превзошла плоскую базовую модель во всех четырёх средах, что указывает на ценность разделения плана на части. В AntMaze успешность также повысилась, когда репрезентацию верхнего уровня использовали только для оценки предсказанного плоским планировщиком расстояния до цели. Но одно это изменение не достигло среднего результата 73,3% полного иерархического планировщика. В этой оценке два эффекта дополняют друг друга. В Push-T и Cube, где статья обнаружила мало избирательной абстракции, изменение только репрезентации стоимости цели не дало явного преимущества.

Границы данных с видео реальных роботов

Исследователи также использовали видео DROID о роботизированных манипуляциях. Сцены, объекты и освещение меняются от одной записанной серии к другой. В таких условиях чисто предиктивная модель может отдавать предпочтение стабильному фону и терять информацию о движущемся роботе, говорится в статье. Команда добавила функцию потерь для обратной динамики и обучила компоненту определять действие между последовательными выученными состояниями, чтобы репрезентация сохраняла движение агента. С этим дополнением обученная двухуровневая иерархия превзошла плоскую базовую модель по офлайн-метрике точности планирования из статьи, используя меньше вычислений планировщика.

Эта метрика сравнивает предложенную трёхмерную траекторию конечного эффектора с экспертной траекторией на записи. Согласно калибровке статьи, для экспертной траектории показатель равен 100%, а для неподвижной руки — 0%. Он не измеряет, выполнил бы робот задачу после предложенных действий. Авторы оценивали планы DROID с разомкнутым циклом, поскольку в наборе данных нет симулятора для меняющихся сцен. BIG CHANGE не обучала модель, не запускала общедоступный код и не тестировала робота.

В репозитории кода есть скрипты обучения и планирования, а также инструкции по воспроизведению отдельных рисунков и таблиц статьи. Это позволяет исследователям изучить метод, однако статья остается препринтом, а свидетельства о работе в физическом мире получены офлайн. В нашем предыдущем материале о GPT-Policy рассматривается отдельный подход на основе контекстных примеров и запросов к инструментам робота; его результаты не подтверждают планирование мировой моделью H-JEPA.

Источники и дополнительные материалы

• Zhang и коллеги, «H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning», arXiv v1: основной препринт, отправленный 5 октября 2026 года. В разделах 2–4 и приложении о планировании описаны метод, сравнения на симуляторах, результаты AntMaze с тремя случайными значениями и офлайн-протокол DROID. Это результаты авторов, а не независимое воспроизведение или свидетельство внедрения на физических системах.
• Страница проекта H-JEPA: визуальное объяснение авторов о иерархическом прогнозировании, планировании сверху вниз, четырёх симулируемых средах и тесте точности DROID. Примеры иллюстрируют опубликованные эксперименты; выбранные видео не являются данными о результатах отдельных испытаний.
• Общедоступный репозиторий кода H-JEPA: реализация обучения и планирования авторов, список сред и инструкции по воспроизведению отдельных результатов. BIG CHANGE изучила описание и инструкции репозитория, но не запускала код.
• BIG CHANGE, «GPT-Policy проверяет контекст в задачах с роботизированной рукой и мобильным исследованием»: предыдущий материал о другом методе исследования робототехники. Он дает контекст, но не подтверждает результаты H-JEPA.