Édition Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# H-JEPA améliore la planification visuelle dans des tâches simulées grâce à un modèle hiérarchique du monde

> Le planificateur à trois niveaux de H-JEPA fait passer le taux de réussite simulé dans AntMaze de 18 % à 73 %, avec moins de calcul de planification. Les résultats sur des vidéos de robots réels mesurent la fidélité hors ligne des trajectoires proposées, et non l’exécution des tâches par un robot.

By BIG CHANGE Editorial

Published: 2026-10-12T02:56:09.290Z
Updated: 2026-10-12T02:56:09.290Z
Canonical: https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning

![A small orange sphere rests inside a raised tabletop maze, with a segmented orange route visible through the passages.](https://bigchange.ai/api/media/file/hjepa-maze-concept-hero-v2.png)
AI-generated conceptual illustration of hierarchical navigation planning by BIG CHANGE. The maze is not the AntMaze environment or a physical robot test.

Les chercheurs à l’origine de [H-JEPA](https://arxiv.org/html/2610.06805v1) présentent une méthode permettant à un modèle visuel du monde de planifier à plusieurs échelles de temps. Dans un labyrinthe simulé, leur planificateur à trois niveaux a mené 73 % des tâches à bien, contre 18 % pour un modèle plat, tout en nécessitant moins de calcul de planification. L’article du 5 octobre teste aussi des vidéos enregistrées de robots réels, mais ces tests évaluent hors ligne les trajectoires proposées ; ils ne montrent pas un robot exécutant les plans.

Pour les chercheurs et ingénieurs en robotique, la question utile est de savoir si l’amélioration vient du découpage d’un long plan en étapes plus courtes, d’une meilleure mesure des progrès vers l’objectif, ou des deux. L’article teste séparément ces explications. Les résultats sont prometteurs pour la recherche sur la planification visuelle, mais leur portée pour les robots physiques reste limitée.

## Le changement majeur

- **Ce qui a changé :** H-JEPA entraîne une série de modèles prédictifs conditionnés par les actions. Chaque niveau anticipe davantage dans sa propre représentation apprise, et le planificateur transforme les états prédits du niveau supérieur en sous-objectifs pour le niveau inférieur.
- **Pourquoi c’est important :** Dans Visual AntMaze, les auteurs rapportent un taux de réussite de 73,3 % avec la planification à trois niveaux, contre 18,0 % pour une référence plate. Les études d’ablation indiquent que des segments de planification plus courts et une représentation plus utile de l’objectif au niveau supérieur contribuent tous deux au résultat. Une équipe de robotique peut étudier séparément ces deux mécanismes au lieu de considérer la hiérarchie comme une amélioration indivisible.
- **Ce qu’il faut suivre :** Les quatre environnements de tâche sont simulés. Le test DROID supplémentaire compare les trajectoires planifiées du bras robotique à des trajectoires expertes enregistrées ; un essai en boucle fermée dans des environnements physiques variés répondrait à une autre question, encore ouverte.

## Un plan à plusieurs échelles de temps

Un modèle du monde prédit comment un environnement pourrait évoluer après une action. H-JEPA utilise une architecture prédictive à plongements conjoints, ou JEPA, qui prédit des représentations compactes d’observations futures plutôt que de reconstruire chaque pixel. Son [article](https://arxiv.org/html/2610.06805v1) décrit une hiérarchie entraînée conjointement sur des trajectoires d’observations et d’actions. Le niveau inférieur suit les pas de temps les plus fins. Chaque niveau supérieur reçoit les représentations du niveau inférieur, agrège les actions sur une période plus longue et prédit plus loin dans un espace latent distinct.

La planification commence par une observation actuelle et une observation de l’objectif. Le niveau supérieur cherche un itinéraire général vers l’objectif. Ses états prédits guident ensuite le niveau suivant, qui affine le parcours. Le niveau inférieur produit les actions. Dans les évaluations simulées en boucle fermée, le système exécute un préfixe d’actions, observe l’état obtenu, puis planifie de nouveau. Les chercheurs le comparent à LeWM, le même JEPA de premier niveau entraîné et planifié seul, ainsi qu’à une hiérarchie temporelle dont les niveaux partagent une représentation.

Les représentations distinctes comptent dans le labyrinthe, car l’objectif peut être d’atteindre un lieu alors que la posture des pattes de la fourmi change rapidement. Les sondages des auteurs ont montré que les niveaux supérieurs de H-JEPA conservaient la position de la fourmi tout en rendant les détails de posture des pattes moins faciles à reconstituer. Ils ont observé une tendance semblable dans FourRoom, où un distracteur se déplaçant indépendamment devenait moins saillant aux niveaux supérieurs. L’effet était bien plus faible dans les jeux de données de manipulation, où les mouvements rapides et lents mesurés étaient moins séparés. L’article ne démontre pas que toutes les tâches gagnent à éliminer les détails fins.

## Ce que montrent les comparaisons

Les auteurs ont évalué la navigation dans Visual AntMaze et FourRoom Distractors, ainsi que la manipulation dans Push-T et OGBench Cube. Ce sont des tâches simulées avec des caméras et des arrière-plans fixes. Pour différents budgets de planification, l’ajout de niveaux jusqu’à trois a amélioré le compromis entre réussite et calcul dans AntMaze, FourRoom et Cube. Push-T faisait exception : deux niveaux égalaient ou dépassaient la référence plate aux budgets testés, tandis que trois niveaux obtenaient de mauvais résultats. Les auteurs évoquent ses épisodes courts, qui laissent moins de séquences d’entraînement utilisables pour les modèles plus profonds.

Dans un jeu de tâches AntMaze distinct, la référence plate LeWM affichait en moyenne **18,0 % de réussite, avec une erreur-type de 3,5 points**, tandis que la planification complète à trois niveaux de H-JEPA affichait en moyenne **73,3 %, avec une erreur-type de 3,5 points**. Les deux chiffres sont des moyennes rapportées par les auteurs sur trois couples de graines de modèle et de planificateur. La [comparaison de l’article entre réussite et FLOP de planification](https://arxiv.org/html/2610.06805v1) montre aussi que la hiérarchie atteint une réussite supérieure avec moins de calcul de planification mesuré. Elle ne mesure pas le coût total de l’entraînement et du déploiement d’un robot.

Les études d’ablation précisent la contribution de chaque élément. Une hiérarchie temporelle avec une représentation partagée a dépassé la référence plate dans les quatre environnements, ce qui indique l’intérêt de fractionner le plan. Dans AntMaze, utiliser une représentation du niveau supérieur uniquement pour évaluer la distance prédite par un planificateur plat jusqu’à l’objectif améliorait également la réussite. Ce seul changement n’a toutefois pas atteint la moyenne de 73,3 % du planificateur hiérarchique complet. Dans cette évaluation, les deux effets se complètent. Dans Push-T et Cube, où l’article a trouvé peu d’abstraction sélective, modifier uniquement la représentation du coût de l’objectif n’a apporté aucun avantage clair.

## La limite des vidéos de robots réels

Les chercheurs ont également utilisé des [vidéos DROID de manipulation robotique](https://arxiv.org/html/2610.06805v1). Les scènes, les objets et l’éclairage changent d’un épisode enregistré à l’autre. Dans ce contexte, l’article indique qu’un modèle purement prédictif peut privilégier l’arrière-plan stable et perdre des informations sur le robot en mouvement. L’équipe a ajouté une perte de dynamique inverse : un composant est entraîné à déduire l’action entre des états appris consécutifs afin que la représentation conserve le mouvement de l’agent. Avec cet ajout, la hiérarchie apprise à deux niveaux a amélioré, selon la mesure de fidélité de planification hors ligne de l’article, le résultat de référence plat tout en nécessitant moins de calcul du planificateur.

Cette mesure compare une trajectoire proposée de l’effecteur final en trois dimensions à une trajectoire experte de l’enregistrement. Selon l’étalonnage de l’article, elle vaut 100 % pour la trajectoire experte et 0 % pour un bras immobile. Elle ne mesure pas si un robot terminerait une tâche après avoir exécuté les actions proposées. Les auteurs ont évalué ces plans DROID en boucle ouverte, car le jeu de données ne comporte pas de simulateur pour les scènes changeantes. BIG CHANGE n’a pas entraîné le modèle, exécuté le [code public](https://github.com/kevinghst/H-JEPA) ni testé de robot.

Le dépôt de code fournit des scripts d’entraînement et de planification ainsi que des instructions pour reproduire certaines figures et certains tableaux de l’article. Il permet aux chercheurs d’examiner la méthode, mais l’article reste un préprint et les preuves en conditions physiques demeurent hors ligne. Notre précédent [article sur GPT-Policy](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) porte sur une approche distincte, fondée sur des exemples contextuels et des requêtes à des outils robotiques ; ses résultats ne valident pas la planification par modèle du monde de H-JEPA.

## Sources et lectures complémentaires

- [Zhang et ses collègues, « H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning », arXiv v1](https://arxiv.org/html/2610.06805v1) : prépublication principale soumise le 5 octobre 2026. Les sections 2 à 4 et l’annexe sur la planification décrivent la méthode, les comparaisons en simulateur, les résultats AntMaze sur trois graines et le protocole DROID hors ligne. Ce sont les résultats des auteurs, et non une réplication indépendante ou une preuve de déploiement physique.
- [Page du projet H-JEPA](https://h-jepa.com/) : explication visuelle des auteurs sur la prédiction hiérarchique, la planification descendante, les quatre environnements simulés et le test de fidélité DROID. Les exemples illustrent les expériences rapportées ; les vidéos sélectionnées ne constituent pas des données de performance essai par essai.
- [Dépôt public du code H-JEPA](https://github.com/kevinghst/H-JEPA) : implémentation d’entraînement et de planification des auteurs, liste des environnements et consignes pour reproduire certains résultats. BIG CHANGE a consulté la description et les instructions du dépôt, mais ne les a pas exécutées.
- [BIG CHANGE, « GPT-Policy teste le contexte dans des tâches de bras robotique et d’exploration mobile »](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) : article antérieur sur une méthode de robotique distincte. Il apporte du contexte, pas des preuves sur les résultats de H-JEPA.

## Sources

- [H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, arXiv v1](https://arxiv.org/html/2610.06805v1) — Prépublication principale sur la méthode, les évaluations de quatre tâches simulées, les résultats et ablations AntMaze et le protocole DROID de fidélité de Fréchet hors ligne. Résultats obtenus par les auteurs ; pas de réplication indépendante ni de déploiement physique.
- [Page du projet des auteurs de H-JEPA](https://h-jepa.com/) — Page explicative des auteurs et exemples visuels de la hiérarchie et des expériences. Les vidéos choisies illustrent les résultats, mais ne fournissent pas de données de résultats par essai.
- [Dépôt public du code H-JEPA](https://github.com/kevinghst/H-JEPA) — Code d’entraînement et de planification des auteurs et instructions pour reproduire certaines figures et certains tableaux. Consulté comme documentation ; BIG CHANGE n’a pas exécuté le code.
- [BIG CHANGE, GPT-Policy teste le contexte dans des tâches de bras robotique et d’exploration mobile](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) — Article antérieur lié à une autre méthode et à une autre expérience de robotique. Contexte uniquement ; aucun lien de suivi direct.