AI-translated from English; not yet reviewed by a fluent editor.

# H-JEPA melhora o planejamento visual em tarefas simuladas com um modelo de mundo hierárquico

> O planejador de três níveis do H-JEPA eleva o sucesso no AntMaze simulado de 18% para 73%, usando menos computação de planejamento. Os resultados com vídeos de robôs reais medem a fidelidade das trajetórias offline, não a conclusão de tarefas por um robô.

By BIG CHANGE Editorial

Published: 2026-10-12T02:56:09.290Z
Updated: 2026-10-12T02:56:09.290Z
Canonical: https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning

![A small orange sphere rests inside a raised tabletop maze, with a segmented orange route visible through the passages.](https://bigchange.ai/api/media/file/hjepa-maze-concept-hero-v2.png)
AI-generated conceptual illustration of hierarchical navigation planning by BIG CHANGE. The maze is not the AntMaze environment or a physical robot test.

Os pesquisadores por trás do [H-JEPA ](https://arxiv.org/html/2610.06805v1)apresentam uma forma de um modelo visual de mundo planejar em várias escalas de tempo. Em um labirinto simulado, o planejador de três níveis concluiu 73% das tarefas, contra 18% de um modelo plano, usando menos computação de planejamento. O artigo de 5 de outubro também testa vídeos gravados de robôs reais, mas essas avaliações pontuam trajetórias propostas offline; não mostram um robô executando os planos.

Para pesquisadores e engenheiros de robótica, a pergunta útil é se a melhoria vem de dividir um plano longo em etapas mais curtas, de aprender uma medida melhor do progresso até o objetivo ou das duas coisas. O artigo testa essas explicações separadamente. Os resultados são promissores para a pesquisa em planejamento visual, mas há limites importantes para o que se pode inferir sobre robôs físicos.

## A grande mudança

- **O que mudou:** O H-JEPA treina uma sequência de modelos preditivos condicionados por ações. Cada nível olha mais adiante em sua própria representação aprendida, e o planejador transforma os estados previstos do nível superior em subobjetivos para o nível inferior.
- **Por que importa:** No Visual AntMaze, os autores relatam sucesso de 73,3% com planejamento de três níveis, contra 18,0% de uma referência plana. As ablações indicam que segmentos de planejamento mais curtos e uma representação mais útil do objetivo no nível superior contribuem para o resultado. Uma equipe de robótica pode estudar os dois mecanismos separadamente, em vez de tratar a hierarquia como uma melhoria indivisível.
- **O que observar:** Os quatro ambientes de tarefa são simulados. O teste adicional com DROID compara trajetórias planejadas de braço robótico com trajetórias gravadas de especialistas; um ensaio em malha fechada em diversos ambientes físicos responderia a outra pergunta ainda em aberto.

## Um plano em várias escalas de tempo

Um modelo de mundo prevê como um ambiente pode mudar após uma ação. O H-JEPA usa uma arquitetura preditiva de incorporação conjunta, ou JEPA, que prevê representações compactas de observações futuras em vez de reconstruir cada pixel da imagem. Seu [artigo ](https://arxiv.org/html/2610.06805v1) descreve uma hierarquia treinada em conjunto com trajetórias de observação e ação. O nível mais baixo acompanha os passos de tempo mais finos. Cada nível superior recebe representações do nível abaixo, agrupa ações em intervalos mais longos e prevê mais adiante em um espaço latente separado.

O planejamento começa com uma observação atual e uma observação do objetivo. O nível superior busca uma rota aproximada até o objetivo. Seus estados previstos orientam o nível seguinte, que refina a rota. O nível mais baixo produz ações. Nas avaliações simuladas em malha fechada, o sistema executa um trecho inicial de ações, observa o estado resultante e planeja novamente. Os pesquisadores o comparam ao LeWM, o mesmo JEPA de primeiro nível treinado e planejado sozinho, e a uma hierarquia temporal cujos níveis compartilham uma representação.

As representações separadas importam no labirinto porque o objetivo pode ser chegar a um local enquanto a posição das pernas da formiga muda rapidamente. As sondagens dos autores mostraram que os níveis mais altos do H-JEPA preservavam a posição da formiga, mas tornavam menos recuperáveis os detalhes da postura das pernas. Eles observaram um padrão semelhante no FourRoom, onde um distrator que se movia de forma independente ficava menos destacado nos níveis superiores. O efeito foi bem menor nos conjuntos de dados de manipulação, cujos movimentos rápidos e lentos medidos eram menos distintos. O artigo não demonstra que descartar detalhes finos beneficie todas as tarefas.

## O que as comparações mostram

Os autores avaliaram navegação no Visual AntMaze e no FourRoom Distractors, e manipulação no Push-T e no OGBench Cube. São tarefas simuladas com câmeras e fundos fixos. Em diferentes orçamentos de planejamento, aumentar o número de níveis até três melhorou a relação entre sucesso e computação no AntMaze, FourRoom e Cube. Push-T foi a exceção: dois níveis igualaram ou superaram a referência plana nos orçamentos testados, enquanto três níveis tiveram desempenho ruim. Os autores apontam os episódios curtos, que deixam menos clipes de treinamento aproveitáveis para modelos mais profundos.

Em outro conjunto de tarefas AntMaze, a referência plana LeWM teve sucesso médio de **18,0%, com erro padrão de 3,5 pontos**, enquanto o planejamento completo de três níveis do H-JEPA teve média de **73,3%, com erro padrão de 3,5 pontos**. Ambos são valores médios relatados pelos autores sobre três sementes pareadas de modelo e planejador. A [comparação do artigo entre sucesso e FLOPs do planejador ](https://arxiv.org/html/2610.06805v1) também mostra que a hierarquia alcança maior sucesso com menos computação de planejamento medida. Ela não mede o custo total de treinar e implantar um robô.

As ablações esclarecem a contribuição de cada elemento. Uma hierarquia temporal com representação compartilhada superou a referência plana nos quatro ambientes, indicando valor em dividir o plano. No AntMaze, usar uma representação do nível superior apenas para pontuar a distância prevista pelo planejador plano até o objetivo também elevou o sucesso. Ainda assim, essa mudança isolada não alcançou a média de 73,3% do planejador hierárquico completo. Nesta avaliação, os dois efeitos se complementam. No Push-T e no Cube, onde o artigo encontrou pouca abstração seletiva, mudar apenas a representação do custo do objetivo não trouxe benefício claro.

## O limite dos vídeos de robôs reais

Os pesquisadores também usaram [vídeos DROID de manipulação robótica](https://arxiv.org/html/2610.06805v1). Cenas, objetos e iluminação mudam entre episódios gravados. Nesse contexto, o artigo diz que um modelo puramente preditivo pode favorecer o fundo estável e perder informações sobre o robô em movimento. A equipe acrescentou uma perda de dinâmica inversa e treinou um componente para inferir a ação entre estados aprendidos consecutivos, preservando o movimento do agente na representação. Com isso, a hierarquia aprendida de dois níveis melhorou a medida offline de fidelidade do planejamento do artigo em relação à referência plana, usando menos computação do planejador.

Essa medida compara uma trajetória proposta em três dimensões do efetuador final com uma trajetória de especialista na gravação. Pela calibração do artigo, ela é 100% para a trajetória do especialista e 0% para um braço parado. Não mede se um robô concluiria uma tarefa após executar as ações propostas. Os autores avaliaram esses planos DROID em malha aberta porque o conjunto de dados não tem simulador para as cenas mutáveis. A BIG CHANGE não treinou o modelo, não executou o [código público](https://github.com/kevinghst/H-JEPA) nem testou um robô.

O repositório de código oferece scripts de treinamento e planejamento e instruções para reproduzir algumas figuras e tabelas do artigo. Ele permite que pesquisadores examinem o método, mas o artigo continua sendo um preprint e as evidências no mundo físico permanecem offline. Nosso relatório anterior sobre [GPT-Policy ](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents)trata de uma abordagem distinta, baseada em exemplos contextuais e solicitações a ferramentas robóticas; seus resultados não validam o planejamento com modelo de mundo do H-JEPA.

## Fontes e leituras complementares

- [Zhang e colegas, “H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning”, arXiv v1](https://arxiv.org/html/2610.06805v1): principal preprint enviado em 5 de outubro de 2026. As seções 2–4 e o apêndice de planejamento apresentam o método, comparações em simuladores, resultados de AntMaze com três sementes e o protocolo DROID offline. São resultados dos autores, não uma replicação independente nem evidência de implantação física.
- [Página do projeto H-JEPA](https://h-jepa.com/): explicação visual dos autores sobre previsão hierárquica, planejamento de cima para baixo, quatro ambientes simulados e o teste de fidelidade DROID. Os exemplos ilustram os experimentos relatados; os vídeos selecionados não são dados de desempenho por tentativa.
- [Repositório público do código H-JEPA](https://github.com/kevinghst/H-JEPA): implementação de treinamento e planejamento dos autores, lista de ambientes e instruções para reproduzir resultados selecionados. A BIG CHANGE examinou a descrição e as instruções do repositório, mas não executou o código.
- [BIG CHANGE, “GPT-Policy testa contexto em tarefas de braço robótico e exploração móvel”](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents): cobertura anterior de um método de pesquisa em robótica distinto. Serve de contexto, não de evidência para os resultados do H-JEPA.

## Sources

- [H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, arXiv v1](https://arxiv.org/html/2610.06805v1) — Preprint principal sobre o método, avaliações de quatro tarefas simuladas, resultados e ablações de AntMaze e protocolo offline de fidelidade Fréchet do DROID. Resultados dos autores; não são replicação independente nem implantação física.
- [Página do projeto dos autores do H-JEPA](https://h-jepa.com/) — Página explicativa dos autores e exemplos visuais da hierarquia e dos experimentos. Vídeos selecionados ilustram resultados, mas não fornecem dados de desempenho por tentativa.
- [Repositório público do código H-JEPA](https://github.com/kevinghst/H-JEPA) — Implementação de treinamento e planejamento dos autores e instruções para reproduzir algumas figuras e tabelas. A BIG CHANGE o consultou como documentação, mas não executou o código.
- [BIG CHANGE, GPT-Policy testa contexto em tarefas de braço robótico e exploração móvel](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) — Cobertura anterior relacionada a outro método e experimento de robótica. Apenas contexto; não há relação followUpTo.