Les chercheurs à l’origine de H-JEPA présentent une méthode permettant à un modèle visuel du monde de planifier à plusieurs échelles de temps. Dans un labyrinthe simulé, leur planificateur à trois niveaux a mené 73 % des tâches à bien, contre 18 % pour un modèle plat, tout en nécessitant moins de calcul de planification. L’article du 5 octobre teste aussi des vidéos enregistrées de robots réels, mais ces tests évaluent hors ligne les trajectoires proposées ; ils ne montrent pas un robot exécutant les plans.

Pour les chercheurs et ingénieurs en robotique, la question utile est de savoir si l’amélioration vient du découpage d’un long plan en étapes plus courtes, d’une meilleure mesure des progrès vers l’objectif, ou des deux. L’article teste séparément ces explications. Les résultats sont prometteurs pour la recherche sur la planification visuelle, mais leur portée pour les robots physiques reste limitée.

Le changement majeur

  • Ce qui a changé : H-JEPA entraîne une série de modèles prédictifs conditionnés par les actions. Chaque niveau anticipe davantage dans sa propre représentation apprise, et le planificateur transforme les états prédits du niveau supérieur en sous-objectifs pour le niveau inférieur.
  • Pourquoi c’est important : Dans Visual AntMaze, les auteurs rapportent un taux de réussite de 73,3 % avec la planification à trois niveaux, contre 18,0 % pour une référence plate. Les études d’ablation indiquent que des segments de planification plus courts et une représentation plus utile de l’objectif au niveau supérieur contribuent tous deux au résultat. Une équipe de robotique peut étudier séparément ces deux mécanismes au lieu de considérer la hiérarchie comme une amélioration indivisible.
  • Ce qu’il faut suivre : Les quatre environnements de tâche sont simulés. Le test DROID supplémentaire compare les trajectoires planifiées du bras robotique à des trajectoires expertes enregistrées ; un essai en boucle fermée dans des environnements physiques variés répondrait à une autre question, encore ouverte.

Un plan à plusieurs échelles de temps

Un modèle du monde prédit comment un environnement pourrait évoluer après une action. H-JEPA utilise une architecture prédictive à plongements conjoints, ou JEPA, qui prédit des représentations compactes d’observations futures plutôt que de reconstruire chaque pixel. Son article décrit une hiérarchie entraînée conjointement sur des trajectoires d’observations et d’actions. Le niveau inférieur suit les pas de temps les plus fins. Chaque niveau supérieur reçoit les représentations du niveau inférieur, agrège les actions sur une période plus longue et prédit plus loin dans un espace latent distinct.

La planification commence par une observation actuelle et une observation de l’objectif. Le niveau supérieur cherche un itinéraire général vers l’objectif. Ses états prédits guident ensuite le niveau suivant, qui affine le parcours. Le niveau inférieur produit les actions. Dans les évaluations simulées en boucle fermée, le système exécute un préfixe d’actions, observe l’état obtenu, puis planifie de nouveau. Les chercheurs le comparent à LeWM, le même JEPA de premier niveau entraîné et planifié seul, ainsi qu’à une hiérarchie temporelle dont les niveaux partagent une représentation.

Les représentations distinctes comptent dans le labyrinthe, car l’objectif peut être d’atteindre un lieu alors que la posture des pattes de la fourmi change rapidement. Les sondages des auteurs ont montré que les niveaux supérieurs de H-JEPA conservaient la position de la fourmi tout en rendant les détails de posture des pattes moins faciles à reconstituer. Ils ont observé une tendance semblable dans FourRoom, où un distracteur se déplaçant indépendamment devenait moins saillant aux niveaux supérieurs. L’effet était bien plus faible dans les jeux de données de manipulation, où les mouvements rapides et lents mesurés étaient moins séparés. L’article ne démontre pas que toutes les tâches gagnent à éliminer les détails fins.

Ce que montrent les comparaisons

Les auteurs ont évalué la navigation dans Visual AntMaze et FourRoom Distractors, ainsi que la manipulation dans Push-T et OGBench Cube. Ce sont des tâches simulées avec des caméras et des arrière-plans fixes. Pour différents budgets de planification, l’ajout de niveaux jusqu’à trois a amélioré le compromis entre réussite et calcul dans AntMaze, FourRoom et Cube. Push-T faisait exception : deux niveaux égalaient ou dépassaient la référence plate aux budgets testés, tandis que trois niveaux obtenaient de mauvais résultats. Les auteurs évoquent ses épisodes courts, qui laissent moins de séquences d’entraînement utilisables pour les modèles plus profonds.

Dans un jeu de tâches AntMaze distinct, la référence plate LeWM affichait en moyenne 18,0 % de réussite, avec une erreur-type de 3,5 points, tandis que la planification complète à trois niveaux de H-JEPA affichait en moyenne 73,3 %, avec une erreur-type de 3,5 points. Les deux chiffres sont des moyennes rapportées par les auteurs sur trois couples de graines de modèle et de planificateur. La comparaison de l’article entre réussite et FLOP de planification montre aussi que la hiérarchie atteint une réussite supérieure avec moins de calcul de planification mesuré. Elle ne mesure pas le coût total de l’entraînement et du déploiement d’un robot.

Les études d’ablation précisent la contribution de chaque élément. Une hiérarchie temporelle avec une représentation partagée a dépassé la référence plate dans les quatre environnements, ce qui indique l’intérêt de fractionner le plan. Dans AntMaze, utiliser une représentation du niveau supérieur uniquement pour évaluer la distance prédite par un planificateur plat jusqu’à l’objectif améliorait également la réussite. Ce seul changement n’a toutefois pas atteint la moyenne de 73,3 % du planificateur hiérarchique complet. Dans cette évaluation, les deux effets se complètent. Dans Push-T et Cube, où l’article a trouvé peu d’abstraction sélective, modifier uniquement la représentation du coût de l’objectif n’a apporté aucun avantage clair.

La limite des vidéos de robots réels

Les chercheurs ont également utilisé des vidéos DROID de manipulation robotique. Les scènes, les objets et l’éclairage changent d’un épisode enregistré à l’autre. Dans ce contexte, l’article indique qu’un modèle purement prédictif peut privilégier l’arrière-plan stable et perdre des informations sur le robot en mouvement. L’équipe a ajouté une perte de dynamique inverse : un composant est entraîné à déduire l’action entre des états appris consécutifs afin que la représentation conserve le mouvement de l’agent. Avec cet ajout, la hiérarchie apprise à deux niveaux a amélioré, selon la mesure de fidélité de planification hors ligne de l’article, le résultat de référence plat tout en nécessitant moins de calcul du planificateur.

Cette mesure compare une trajectoire proposée de l’effecteur final en trois dimensions à une trajectoire experte de l’enregistrement. Selon l’étalonnage de l’article, elle vaut 100 % pour la trajectoire experte et 0 % pour un bras immobile. Elle ne mesure pas si un robot terminerait une tâche après avoir exécuté les actions proposées. Les auteurs ont évalué ces plans DROID en boucle ouverte, car le jeu de données ne comporte pas de simulateur pour les scènes changeantes. BIG CHANGE n’a pas entraîné le modèle, exécuté le code public ni testé de robot.

Le dépôt de code fournit des scripts d’entraînement et de planification ainsi que des instructions pour reproduire certaines figures et certains tableaux de l’article. Il permet aux chercheurs d’examiner la méthode, mais l’article reste un préprint et les preuves en conditions physiques demeurent hors ligne. Notre précédent article sur GPT-Policy porte sur une approche distincte, fondée sur des exemples contextuels et des requêtes à des outils robotiques ; ses résultats ne valident pas la planification par modèle du monde de H-JEPA.

Sources et lectures complémentaires