AI-translated from English; not yet reviewed by a fluent editor.

# H-JEPA mejora la planificación visual en tareas simuladas con un modelo jerárquico del mundo

> El planificador de tres niveles de H-JEPA eleva el éxito en AntMaze simulado del 18% al 73% con menos cómputo de planificación. Sus resultados con videos de robots reales miden la fidelidad de las rutas fuera de línea, no la ejecución de tareas por un robot.

By BIG CHANGE Editorial

Published: 2026-10-12T02:56:09.290Z
Updated: 2026-10-12T02:56:09.290Z
Canonical: https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning

![A small orange sphere rests inside a raised tabletop maze, with a segmented orange route visible through the passages.](https://bigchange.ai/api/media/file/hjepa-maze-concept-hero-v2.png)
AI-generated conceptual illustration of hierarchical navigation planning by BIG CHANGE. The maze is not the AntMaze environment or a physical robot test.

Los investigadores detrás de [H-JEPA ](https://arxiv.org/html/2610.06805v1)presentan una forma de hacer que un modelo visual del mundo planifique en varias escalas temporales. En un laberinto simulado, su planificador de tres niveles completó el 73% de las tareas, frente al 18% de un modelo plano, y utilizó menos cómputo de planificación. El artículo del 5 de octubre también prueba videos grabados de robots reales, pero esas pruebas puntúan las rutas propuestas fuera de línea; no muestran a un robot ejecutando los planes.

Para investigadores e ingenieros de robótica, la pregunta útil es si la mejora se debe a dividir un plan largo en pasos más cortos, a aprender una medida más útil del avance hacia la meta o a ambas cosas. El artículo prueba esas explicaciones por separado. Los resultados son prometedores para la investigación sobre planificación visual, con límites importantes para lo que puede inferirse acerca de robots físicos.

## El gran cambio

- **Qué cambió:** H-JEPA entrena una pila de modelos predictivos condicionados por acciones. Cada nivel mira más lejos en su propia representación aprendida, y el planificador convierte los estados predichos del nivel superior en submetas para el nivel inferior.
- **Por qué importa:** En Visual AntMaze, los autores informan un éxito del 73,3% con planificación de tres niveles frente al 18,0% de una referencia plana. Las ablaciones indican que contribuyen tanto los segmentos de planificación más cortos como una representación de la meta más útil en el nivel superior. Un equipo de robótica puede estudiar ambos mecanismos por separado en vez de tratar la jerarquía como una mejora indivisible.
- **Qué observar:** Los cuatro entornos de tareas son simulados. La prueba adicional con DROID compara rutas planificadas del brazo robótico con rutas expertas grabadas; un ensayo de bucle cerrado en diversos entornos físicos respondería a otra pregunta que sigue abierta.

## Un plan en varias escalas temporales

Un modelo del mundo predice cómo podría cambiar un entorno tras una acción. H-JEPA utiliza una arquitectura predictiva de incrustación conjunta, o JEPA, que predice representaciones compactas de observaciones futuras en vez de reconstruir cada píxel de la imagen. Su [artículo ](https://arxiv.org/html/2610.06805v1) describe una jerarquía entrenada conjuntamente con trayectorias de observación y acción. El nivel más bajo sigue los pasos temporales más finos. Cada nivel superior recibe representaciones del nivel inferior, agrupa acciones durante un intervalo mayor y predice más adelante en un espacio latente separado.

La planificación comienza con una observación actual y una observación de la meta. El nivel superior busca una ruta general hacia la meta. Sus estados predichos guían después al siguiente nivel, que refina la ruta. El nivel más bajo produce acciones. En las evaluaciones simuladas de bucle cerrado, el sistema ejecuta un prefijo de acciones, observa el estado resultante y vuelve a planificar. Los investigadores lo comparan con LeWM, el mismo JEPA de primer nivel entrenado y planificado por sí solo, y con una jerarquía temporal cuyos niveles comparten una representación.

Las representaciones separadas importan en el laberinto porque la meta puede ser llegar a un lugar mientras la postura de las patas de la hormiga cambia rápidamente. Las pruebas de los autores encontraron que los niveles superiores de H-JEPA conservaban la posición de la hormiga y hacían menos recuperables los detalles de la postura de sus patas. Observaron un patrón similar en FourRoom, donde una distracción que se movía de forma independiente perdía prominencia en los niveles superiores. El efecto fue mucho menor en los conjuntos de datos de manipulación, donde estaban menos separadas las velocidades de movimiento medidas. El artículo no demuestra que descartar detalles finos beneficie a todas las tareas.

## Qué muestran las comparaciones

Los autores evaluaron navegación en Visual AntMaze y FourRoom Distractors, y manipulación en Push-T y OGBench Cube. Son tareas simuladas con cámaras y fondos fijos. Con distintos presupuestos de planificación, añadir niveles hasta llegar a tres mejoró la relación entre éxito y cómputo en AntMaze, FourRoom y Cube. Push-T fue la excepción: dos niveles igualaron o superaron la referencia plana con los presupuestos probados, mientras que tres niveles rindieron mal. Los autores señalan que sus episodios cortos dejan menos clips de entrenamiento aprovechables para modelos más profundos.

En otro conjunto de tareas de AntMaze, la referencia plana LeWM obtuvo un promedio de **18,0% de éxito, con un error estándar de 3,5 puntos**, mientras que la planificación completa de tres niveles de H-JEPA obtuvo un promedio de **73,3%, con un error estándar de 3,5 puntos**. Ambas cifras son medias informadas por los autores sobre tres semillas emparejadas de modelo y planificador. La [comparación del artículo entre éxito y FLOP del planificador](https://arxiv.org/html/2610.06805v1) también muestra que la jerarquía alcanza mayor éxito con menos cómputo de planificación medido. No mide el coste total de entrenar y desplegar un robot.

Las ablaciones aclaran la contribución de cada elemento. Una jerarquía temporal con una representación compartida superó a la referencia plana en los cuatro entornos, lo que indica el valor de dividir el plan. En AntMaze, usar la representación de nivel superior solo para puntuar la distancia predicha a la meta por un planificador plano también elevó el éxito. Sin embargo, ese cambio por sí solo no alcanzó la media del 73,3% del planificador jerárquico completo. En esta evaluación, ambos efectos se complementan. En Push-T y Cube, donde el artículo encontró poca abstracción selectiva, cambiar solo la representación del coste de la meta no aportó un beneficio claro.

## El límite de los videos de robots reales

Los investigadores también utilizaron [videos DROID de manipulación robótica](https://arxiv.org/html/2610.06805v1). Las escenas, los objetos y la iluminación cambian entre episodios grabados. En ese contexto, el artículo señala que un modelo puramente predictivo puede favorecer el fondo estable y perder información sobre el robot en movimiento. El equipo añadió una pérdida de dinámica inversa y entrenó un componente para inferir la acción entre estados aprendidos consecutivos, de modo que la representación conservara el movimiento del agente. Con esa adición, la jerarquía aprendida de dos niveles mejoró la medida de fidelidad de planificación fuera de línea del artículo frente a la referencia plana, con menos cómputo del planificador.

Esa medida compara una ruta propuesta en tres dimensiones del efector final con una ruta experta grabada. Según la calibración del artículo, la ruta experta obtiene 100% y un brazo inmóvil, 0%. No mide si un robot completaría una tarea tras ejecutar las acciones propuestas. Los autores evaluaron estos planes DROID en bucle abierto porque el conjunto de datos no tiene un simulador para las escenas cambiantes. BIG CHANGE no entrenó el modelo, no ejecutó el [código público](https://github.com/kevinghst/H-JEPA) ni probó un robot.

El repositorio de código ofrece scripts de entrenamiento y planificación, además de instrucciones para reproducir algunas figuras y tablas del artículo. Permite a los investigadores examinar el método, pero el artículo sigue siendo un preprint y sus pruebas en el mundo físico continúan siendo fuera de línea. Nuestro anterior [informe sobre GPT-Policy ](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) trata un método distinto basado en ejemplos contextuales y solicitudes a herramientas robóticas; sus resultados no validan la planificación con modelo del mundo de H-JEPA.

## Fuentes y lecturas adicionales

- [Zhang y colegas, «H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning», arXiv v1](https://arxiv.org/html/2610.06805v1): preprint principal enviado el 5 de octubre de 2026. Las secciones 2–4 y el apéndice de planificación describen el método, las comparaciones en simulador, las cifras de AntMaze con tres semillas y el protocolo DROID fuera de línea. Son resultados de los autores, no una replicación independiente ni pruebas de despliegue físico.
- [Página del proyecto H-JEPA](https://h-jepa.com/): explicación visual de los autores sobre predicción jerárquica, planificación descendente, cuatro entornos simulados y la prueba de fidelidad DROID. Los ejemplos ilustran los experimentos informados; los videos seleccionados no son datos de rendimiento por ensayo.
- [Repositorio público del código de H-JEPA](https://github.com/kevinghst/H-JEPA): implementación de entrenamiento y planificación de los autores, lista de entornos e instrucciones para reproducir algunos resultados. BIG CHANGE revisó la descripción y las instrucciones del repositorio, pero no ejecutó el código.
- [BIG CHANGE, «GPT-Policy prueba el contexto en tareas de brazo robótico y exploración móvil»](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents): cobertura anterior de un método distinto de investigación en robótica. Aporta contexto, no pruebas de los resultados de H-JEPA.

## Sources

- [H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, arXiv v1](https://arxiv.org/html/2610.06805v1) — Preprint principal sobre el método, las evaluaciones de cuatro tareas simuladas, las cifras y ablaciones de AntMaze y el protocolo de fidelidad Fréchet fuera de línea de DROID. Resultados obtenidos por los autores; no son replicación independiente ni despliegue físico.
- [Página del proyecto de los autores de H-JEPA](https://h-jepa.com/) — Página explicativa de los autores y ejemplos visuales de la jerarquía y los experimentos. Los videos seleccionados ilustran los resultados, pero no proporcionan datos por ensayo.
- [Repositorio público del código de H-JEPA](https://github.com/kevinghst/H-JEPA) — Implementación de entrenamiento y planificación de los autores e instrucciones para reproducir algunas figuras y tablas. BIG CHANGE lo consultó como documentación, pero no ejecutó el código.
- [BIG CHANGE, GPT-Policy prueba el contexto en tareas de brazo robótico y exploración móvil](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) — Cobertura previa relacionada con otro método y experimento de robótica. Solo contexto; no existe una relación followUpTo.