Os pesquisadores por trás do H-JEPA apresentam uma forma de um modelo visual de mundo planejar em várias escalas de tempo. Em um labirinto simulado, o planejador de três níveis concluiu 73% das tarefas, contra 18% de um modelo plano, usando menos computação de planejamento. O artigo de 5 de outubro também testa vídeos gravados de robôs reais, mas essas avaliações pontuam trajetórias propostas offline; não mostram um robô executando os planos.

Para pesquisadores e engenheiros de robótica, a pergunta útil é se a melhoria vem de dividir um plano longo em etapas mais curtas, de aprender uma medida melhor do progresso até o objetivo ou das duas coisas. O artigo testa essas explicações separadamente. Os resultados são promissores para a pesquisa em planejamento visual, mas há limites importantes para o que se pode inferir sobre robôs físicos.

A grande mudança

  • O que mudou: O H-JEPA treina uma sequência de modelos preditivos condicionados por ações. Cada nível olha mais adiante em sua própria representação aprendida, e o planejador transforma os estados previstos do nível superior em subobjetivos para o nível inferior.
  • Por que importa: No Visual AntMaze, os autores relatam sucesso de 73,3% com planejamento de três níveis, contra 18,0% de uma referência plana. As ablações indicam que segmentos de planejamento mais curtos e uma representação mais útil do objetivo no nível superior contribuem para o resultado. Uma equipe de robótica pode estudar os dois mecanismos separadamente, em vez de tratar a hierarquia como uma melhoria indivisível.
  • O que observar: Os quatro ambientes de tarefa são simulados. O teste adicional com DROID compara trajetórias planejadas de braço robótico com trajetórias gravadas de especialistas; um ensaio em malha fechada em diversos ambientes físicos responderia a outra pergunta ainda em aberto.

Um plano em várias escalas de tempo

Um modelo de mundo prevê como um ambiente pode mudar após uma ação. O H-JEPA usa uma arquitetura preditiva de incorporação conjunta, ou JEPA, que prevê representações compactas de observações futuras em vez de reconstruir cada pixel da imagem. Seu artigo descreve uma hierarquia treinada em conjunto com trajetórias de observação e ação. O nível mais baixo acompanha os passos de tempo mais finos. Cada nível superior recebe representações do nível abaixo, agrupa ações em intervalos mais longos e prevê mais adiante em um espaço latente separado.

O planejamento começa com uma observação atual e uma observação do objetivo. O nível superior busca uma rota aproximada até o objetivo. Seus estados previstos orientam o nível seguinte, que refina a rota. O nível mais baixo produz ações. Nas avaliações simuladas em malha fechada, o sistema executa um trecho inicial de ações, observa o estado resultante e planeja novamente. Os pesquisadores o comparam ao LeWM, o mesmo JEPA de primeiro nível treinado e planejado sozinho, e a uma hierarquia temporal cujos níveis compartilham uma representação.

As representações separadas importam no labirinto porque o objetivo pode ser chegar a um local enquanto a posição das pernas da formiga muda rapidamente. As sondagens dos autores mostraram que os níveis mais altos do H-JEPA preservavam a posição da formiga, mas tornavam menos recuperáveis os detalhes da postura das pernas. Eles observaram um padrão semelhante no FourRoom, onde um distrator que se movia de forma independente ficava menos destacado nos níveis superiores. O efeito foi bem menor nos conjuntos de dados de manipulação, cujos movimentos rápidos e lentos medidos eram menos distintos. O artigo não demonstra que descartar detalhes finos beneficie todas as tarefas.

O que as comparações mostram

Os autores avaliaram navegação no Visual AntMaze e no FourRoom Distractors, e manipulação no Push-T e no OGBench Cube. São tarefas simuladas com câmeras e fundos fixos. Em diferentes orçamentos de planejamento, aumentar o número de níveis até três melhorou a relação entre sucesso e computação no AntMaze, FourRoom e Cube. Push-T foi a exceção: dois níveis igualaram ou superaram a referência plana nos orçamentos testados, enquanto três níveis tiveram desempenho ruim. Os autores apontam os episódios curtos, que deixam menos clipes de treinamento aproveitáveis para modelos mais profundos.

Em outro conjunto de tarefas AntMaze, a referência plana LeWM teve sucesso médio de 18,0%, com erro padrão de 3,5 pontos, enquanto o planejamento completo de três níveis do H-JEPA teve média de 73,3%, com erro padrão de 3,5 pontos. Ambos são valores médios relatados pelos autores sobre três sementes pareadas de modelo e planejador. A comparação do artigo entre sucesso e FLOPs do planejador também mostra que a hierarquia alcança maior sucesso com menos computação de planejamento medida. Ela não mede o custo total de treinar e implantar um robô.

As ablações esclarecem a contribuição de cada elemento. Uma hierarquia temporal com representação compartilhada superou a referência plana nos quatro ambientes, indicando valor em dividir o plano. No AntMaze, usar uma representação do nível superior apenas para pontuar a distância prevista pelo planejador plano até o objetivo também elevou o sucesso. Ainda assim, essa mudança isolada não alcançou a média de 73,3% do planejador hierárquico completo. Nesta avaliação, os dois efeitos se complementam. No Push-T e no Cube, onde o artigo encontrou pouca abstração seletiva, mudar apenas a representação do custo do objetivo não trouxe benefício claro.

O limite dos vídeos de robôs reais

Os pesquisadores também usaram vídeos DROID de manipulação robótica. Cenas, objetos e iluminação mudam entre episódios gravados. Nesse contexto, o artigo diz que um modelo puramente preditivo pode favorecer o fundo estável e perder informações sobre o robô em movimento. A equipe acrescentou uma perda de dinâmica inversa e treinou um componente para inferir a ação entre estados aprendidos consecutivos, preservando o movimento do agente na representação. Com isso, a hierarquia aprendida de dois níveis melhorou a medida offline de fidelidade do planejamento do artigo em relação à referência plana, usando menos computação do planejador.

Essa medida compara uma trajetória proposta em três dimensões do efetuador final com uma trajetória de especialista na gravação. Pela calibração do artigo, ela é 100% para a trajetória do especialista e 0% para um braço parado. Não mede se um robô concluiria uma tarefa após executar as ações propostas. Os autores avaliaram esses planos DROID em malha aberta porque o conjunto de dados não tem simulador para as cenas mutáveis. A BIG CHANGE não treinou o modelo, não executou o código público nem testou um robô.

O repositório de código oferece scripts de treinamento e planejamento e instruções para reproduzir algumas figuras e tabelas do artigo. Ele permite que pesquisadores examinem o método, mas o artigo continua sendo um preprint e as evidências no mundo físico permanecem offline. Nosso relatório anterior sobre GPT-Policy trata de uma abordagem distinta, baseada em exemplos contextuais e solicitações a ferramentas robóticas; seus resultados não validam o planejamento com modelo de mundo do H-JEPA.

Fontes e leituras complementares