AI-translated from English; not yet reviewed by a fluent editor.

# H-JEPA melhora o planeamento visual em tarefas simuladas com um modelo hierárquico do mundo

> O planeador de três níveis do H-JEPA aumenta o sucesso no AntMaze simulado de 18% para 73%, utilizando menos computação de planeamento. Os resultados com vídeos de robôs reais medem a fidelidade das trajetórias offline, não a conclusão de tarefas por um robô.

By BIG CHANGE Editorial

Published: 2026-10-12T02:56:09.290Z
Updated: 2026-10-12T02:56:09.290Z
Canonical: https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning

![A small orange sphere rests inside a raised tabletop maze, with a segmented orange route visible through the passages.](https://bigchange.ai/api/media/file/hjepa-maze-concept-hero-v2.png)
AI-generated conceptual illustration of hierarchical navigation planning by BIG CHANGE. The maze is not the AntMaze environment or a physical robot test.

Os investigadores por detrás do [H-JEPA ](https://arxiv.org/html/2610.06805v1)apresentam uma forma de um modelo visual do mundo planear em várias escalas temporais. Num labirinto simulado, o planeador de três níveis concluiu 73% das tarefas, contra 18% de um modelo plano, utilizando menos computação de planeamento. O artigo de 5 de outubro também testa vídeos gravados de robôs reais, mas essas avaliações classificam trajetórias propostas offline; não mostram um robô a executar os planos.

Para investigadores e engenheiros de robótica, a questão útil é saber se a melhoria resulta da divisão de um plano longo em etapas mais curtas, da aprendizagem de uma medida melhor do progresso até ao objetivo ou de ambas. O artigo testa estas explicações separadamente. Os resultados são promissores para a investigação em planeamento visual, mas há limites importantes para o que se pode inferir sobre robôs físicos.

## A grande mudança

- **O que mudou:** O H-JEPA treina uma sequência de modelos preditivos condicionados por ações. Cada nível antecipa mais na sua própria representação aprendida, e o planeador transforma os estados previstos do nível superior em subobjetivos para o nível inferior.
- **Porque é importante:** No Visual AntMaze, os autores indicam um sucesso de 73,3% com planeamento de três níveis, contra 18,0% de uma referência plana. As ablações sugerem que contribuem tanto os segmentos de planeamento mais curtos como uma representação do objetivo mais útil no nível superior. Uma equipa de robótica pode estudar os dois mecanismos separadamente, em vez de tratar a hierarquia como uma melhoria indivisível.
- **O que acompanhar:** Os quatro ambientes de tarefas são simulados. O teste adicional com DROID compara trajetórias planeadas do braço robótico com trajetórias gravadas de especialistas; um ensaio em ciclo fechado em vários ambientes físicos responderia a outra questão ainda em aberto.

## Um plano em várias escalas temporais

Um modelo do mundo prevê como um ambiente poderá mudar após uma ação. O H-JEPA utiliza uma arquitetura preditiva de incorporação conjunta, ou JEPA, que prevê representações compactas de observações futuras em vez de reconstruir cada pixel da imagem. O seu [artigo ](https://arxiv.org/html/2610.06805v1) descreve uma hierarquia treinada em conjunto com trajetórias de observação e ação. O nível mais baixo acompanha os passos temporais mais finos. Cada nível superior recebe representações do nível abaixo, agrega ações ao longo de um intervalo maior e prevê mais adiante num espaço latente separado.

O planeamento começa com uma observação atual e uma observação do objetivo. O nível superior procura uma rota aproximada até ao objetivo. Os seus estados previstos orientam depois o nível seguinte, que refina a rota. O nível mais baixo produz ações. Nas avaliações simuladas em ciclo fechado, o sistema executa um segmento inicial de ações, observa o estado resultante e volta a planear. Os investigadores comparam-no com o LeWM, o mesmo JEPA de primeiro nível treinado e planeado isoladamente, e com uma hierarquia temporal cujos níveis partilham uma representação.

As representações distintas são importantes no labirinto porque o objetivo pode ser chegar a um local enquanto a posição das patas da formiga muda rapidamente. As sondagens dos autores revelaram que os níveis superiores do H-JEPA preservavam a posição da formiga, tornando menos recuperáveis os detalhes da posição das patas. Observaram um padrão semelhante em FourRoom, onde um elemento de distração que se movia de forma independente se tornava menos proeminente nos níveis superiores. O efeito foi muito mais fraco nos conjuntos de dados de manipulação, cujos movimentos rápidos e lentos medidos eram menos distintos. O artigo não demonstra que descartar detalhes finos beneficie todas as tarefas.

## O que mostram as comparações

Os autores avaliaram a navegação no Visual AntMaze e no FourRoom Distractors, e a manipulação no Push-T e no OGBench Cube. São tarefas simuladas com câmaras e fundos fixos. Com diferentes orçamentos de planeamento, aumentar o número de níveis até três melhorou a relação entre sucesso e computação no AntMaze, FourRoom e Cube. O Push-T foi a exceção: dois níveis igualaram ou superaram a referência plana nos orçamentos testados, enquanto três níveis tiveram fraco desempenho. Os autores apontam os episódios curtos, que deixam menos clipes de treino utilizáveis para modelos mais profundos.

Noutro conjunto de tarefas AntMaze, a referência plana LeWM teve um sucesso médio de **18,0%, com erro padrão de 3,5 pontos**, enquanto o planeamento completo de três níveis do H-JEPA teve uma média de **73,3%, com erro padrão de 3,5 pontos**. Ambos os valores são médias indicadas pelos autores para três sementes emparelhadas de modelo e planeador. A [comparação do artigo entre sucesso e FLOPs do planeador ](https://arxiv.org/html/2610.06805v1) também mostra que a hierarquia alcança maior sucesso com menos computação de planeamento medida. Não mede o custo total de treinar e implementar um robô.

As ablações esclarecem a contribuição de cada elemento. Uma hierarquia temporal com uma representação partilhada superou a referência plana nos quatro ambientes, indicando o valor de dividir o plano. No AntMaze, utilizar uma representação do nível superior apenas para pontuar a distância prevista pelo planeador plano até ao objetivo também aumentou o sucesso. Ainda assim, essa alteração isolada não alcançou a média de 73,3% do planeador hierárquico completo. Nesta avaliação, os dois efeitos complementam-se. No Push-T e no Cube, onde o artigo encontrou pouca abstração seletiva, alterar apenas a representação do custo do objetivo não trouxe um benefício claro.

## O limite dos vídeos de robôs reais

Os investigadores também utilizaram [vídeos DROID de manipulação robótica](https://arxiv.org/html/2610.06805v1). As cenas, os objetos e a iluminação mudam entre episódios gravados. Neste contexto, o artigo afirma que um modelo puramente preditivo pode favorecer o fundo estável e perder informação sobre o robô em movimento. A equipa acrescentou uma perda de dinâmica inversa e treinou um componente para inferir a ação entre estados aprendidos consecutivos, de forma a preservar o movimento do agente na representação. Com esse acréscimo, a hierarquia aprendida de dois níveis melhorou a medida offline de fidelidade do planeamento do artigo face à referência plana, com menos computação do planeador.

Essa medida compara uma trajetória proposta em três dimensões do efetuador final com uma trajetória de especialista na gravação. Segundo a calibração do artigo, é de 100% para a trajetória do especialista e de 0% para um braço imóvel. Não mede se um robô completaria uma tarefa após executar as ações propostas. Os autores avaliaram estes planos DROID em ciclo aberto porque o conjunto de dados não tem um simulador para as cenas em mudança. A BIG CHANGE não treinou o modelo, não executou o [código público](https://github.com/kevinghst/H-JEPA) nem testou um robô.

O repositório de código disponibiliza scripts de treino e planeamento, bem como instruções para reproduzir algumas figuras e tabelas do artigo. Permite aos investigadores examinar o método, mas o artigo continua a ser um pré-print e a evidência no mundo físico permanece offline. O nosso anterior [relatório sobre GPT-Policy ](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents)aborda uma abordagem distinta, baseada em exemplos contextuais e pedidos a ferramentas robóticas; os seus resultados não validam o planeamento por modelo do mundo do H-JEPA.

## Fontes e leituras adicionais

- [Zhang e colegas, “H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning”, arXiv v1](https://arxiv.org/html/2610.06805v1): pré-print principal submetido a 5 de outubro de 2026. As secções 2–4 e o apêndice de planeamento descrevem o método, as comparações em simulador, os valores do AntMaze com três sementes e o protocolo DROID offline. São resultados dos autores, não uma replicação independente nem evidência de implementação física.
- [Página do projeto H-JEPA](https://h-jepa.com/): explicação visual dos autores sobre previsão hierárquica, planeamento de cima para baixo, quatro ambientes simulados e o teste de fidelidade DROID. Os exemplos ilustram as experiências relatadas; os vídeos selecionados não são dados de desempenho por ensaio.
- [Repositório público do código H-JEPA](https://github.com/kevinghst/H-JEPA): implementação de treino e planeamento dos autores, lista de ambientes e instruções para reproduzir resultados selecionados. A BIG CHANGE analisou a descrição e as instruções do repositório, mas não executou o código.
- [BIG CHANGE, “GPT-Policy testa o contexto em tarefas de braço robótico e exploração móvel”](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents): cobertura anterior de um método de investigação em robótica distinto. Dá contexto, não evidência dos resultados do H-JEPA.

## Sources

- [H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, arXiv v1](https://arxiv.org/html/2610.06805v1) — Pré-print principal sobre o método, avaliações de quatro tarefas simuladas, resultados e ablações do AntMaze e protocolo offline de fidelidade de Fréchet do DROID. Resultados dos autores; não são replicação independente nem implementação física.
- [Página do projeto dos autores do H-JEPA](https://h-jepa.com/) — Página explicativa dos autores e exemplos visuais da hierarquia e das experiências. Os vídeos selecionados ilustram resultados, mas não fornecem dados de resultados por ensaio.
- [Repositório público do código H-JEPA](https://github.com/kevinghst/H-JEPA) — Implementação de treino e planeamento dos autores e instruções para reproduzir algumas figuras e tabelas. A BIG CHANGE consultou-o como documentação, mas não executou o código.
- [BIG CHANGE, GPT-Policy testa o contexto em tarefas de braço robótico e exploração móvel](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) — Cobertura anterior relacionada com outro método e experiência de robótica. Apenas contexto; não existe relação followUpTo.