Os investigadores por detrás do H-JEPA apresentam uma forma de um modelo visual do mundo planear em várias escalas temporais. Num labirinto simulado, o planeador de três níveis concluiu 73% das tarefas, contra 18% de um modelo plano, utilizando menos computação de planeamento. O artigo de 5 de outubro também testa vídeos gravados de robôs reais, mas essas avaliações classificam trajetórias propostas offline; não mostram um robô a executar os planos.

Para investigadores e engenheiros de robótica, a questão útil é saber se a melhoria resulta da divisão de um plano longo em etapas mais curtas, da aprendizagem de uma medida melhor do progresso até ao objetivo ou de ambas. O artigo testa estas explicações separadamente. Os resultados são promissores para a investigação em planeamento visual, mas há limites importantes para o que se pode inferir sobre robôs físicos.

A grande mudança

  • O que mudou: O H-JEPA treina uma sequência de modelos preditivos condicionados por ações. Cada nível antecipa mais na sua própria representação aprendida, e o planeador transforma os estados previstos do nível superior em subobjetivos para o nível inferior.
  • Porque é importante: No Visual AntMaze, os autores indicam um sucesso de 73,3% com planeamento de três níveis, contra 18,0% de uma referência plana. As ablações sugerem que contribuem tanto os segmentos de planeamento mais curtos como uma representação do objetivo mais útil no nível superior. Uma equipa de robótica pode estudar os dois mecanismos separadamente, em vez de tratar a hierarquia como uma melhoria indivisível.
  • O que acompanhar: Os quatro ambientes de tarefas são simulados. O teste adicional com DROID compara trajetórias planeadas do braço robótico com trajetórias gravadas de especialistas; um ensaio em ciclo fechado em vários ambientes físicos responderia a outra questão ainda em aberto.

Um plano em várias escalas temporais

Um modelo do mundo prevê como um ambiente poderá mudar após uma ação. O H-JEPA utiliza uma arquitetura preditiva de incorporação conjunta, ou JEPA, que prevê representações compactas de observações futuras em vez de reconstruir cada pixel da imagem. O seu artigo descreve uma hierarquia treinada em conjunto com trajetórias de observação e ação. O nível mais baixo acompanha os passos temporais mais finos. Cada nível superior recebe representações do nível abaixo, agrega ações ao longo de um intervalo maior e prevê mais adiante num espaço latente separado.

O planeamento começa com uma observação atual e uma observação do objetivo. O nível superior procura uma rota aproximada até ao objetivo. Os seus estados previstos orientam depois o nível seguinte, que refina a rota. O nível mais baixo produz ações. Nas avaliações simuladas em ciclo fechado, o sistema executa um segmento inicial de ações, observa o estado resultante e volta a planear. Os investigadores comparam-no com o LeWM, o mesmo JEPA de primeiro nível treinado e planeado isoladamente, e com uma hierarquia temporal cujos níveis partilham uma representação.

As representações distintas são importantes no labirinto porque o objetivo pode ser chegar a um local enquanto a posição das patas da formiga muda rapidamente. As sondagens dos autores revelaram que os níveis superiores do H-JEPA preservavam a posição da formiga, tornando menos recuperáveis os detalhes da posição das patas. Observaram um padrão semelhante em FourRoom, onde um elemento de distração que se movia de forma independente se tornava menos proeminente nos níveis superiores. O efeito foi muito mais fraco nos conjuntos de dados de manipulação, cujos movimentos rápidos e lentos medidos eram menos distintos. O artigo não demonstra que descartar detalhes finos beneficie todas as tarefas.

O que mostram as comparações

Os autores avaliaram a navegação no Visual AntMaze e no FourRoom Distractors, e a manipulação no Push-T e no OGBench Cube. São tarefas simuladas com câmaras e fundos fixos. Com diferentes orçamentos de planeamento, aumentar o número de níveis até três melhorou a relação entre sucesso e computação no AntMaze, FourRoom e Cube. O Push-T foi a exceção: dois níveis igualaram ou superaram a referência plana nos orçamentos testados, enquanto três níveis tiveram fraco desempenho. Os autores apontam os episódios curtos, que deixam menos clipes de treino utilizáveis para modelos mais profundos.

Noutro conjunto de tarefas AntMaze, a referência plana LeWM teve um sucesso médio de 18,0%, com erro padrão de 3,5 pontos, enquanto o planeamento completo de três níveis do H-JEPA teve uma média de 73,3%, com erro padrão de 3,5 pontos. Ambos os valores são médias indicadas pelos autores para três sementes emparelhadas de modelo e planeador. A comparação do artigo entre sucesso e FLOPs do planeador também mostra que a hierarquia alcança maior sucesso com menos computação de planeamento medida. Não mede o custo total de treinar e implementar um robô.

As ablações esclarecem a contribuição de cada elemento. Uma hierarquia temporal com uma representação partilhada superou a referência plana nos quatro ambientes, indicando o valor de dividir o plano. No AntMaze, utilizar uma representação do nível superior apenas para pontuar a distância prevista pelo planeador plano até ao objetivo também aumentou o sucesso. Ainda assim, essa alteração isolada não alcançou a média de 73,3% do planeador hierárquico completo. Nesta avaliação, os dois efeitos complementam-se. No Push-T e no Cube, onde o artigo encontrou pouca abstração seletiva, alterar apenas a representação do custo do objetivo não trouxe um benefício claro.

O limite dos vídeos de robôs reais

Os investigadores também utilizaram vídeos DROID de manipulação robótica. As cenas, os objetos e a iluminação mudam entre episódios gravados. Neste contexto, o artigo afirma que um modelo puramente preditivo pode favorecer o fundo estável e perder informação sobre o robô em movimento. A equipa acrescentou uma perda de dinâmica inversa e treinou um componente para inferir a ação entre estados aprendidos consecutivos, de forma a preservar o movimento do agente na representação. Com esse acréscimo, a hierarquia aprendida de dois níveis melhorou a medida offline de fidelidade do planeamento do artigo face à referência plana, com menos computação do planeador.

Essa medida compara uma trajetória proposta em três dimensões do efetuador final com uma trajetória de especialista na gravação. Segundo a calibração do artigo, é de 100% para a trajetória do especialista e de 0% para um braço imóvel. Não mede se um robô completaria uma tarefa após executar as ações propostas. Os autores avaliaram estes planos DROID em ciclo aberto porque o conjunto de dados não tem um simulador para as cenas em mudança. A BIG CHANGE não treinou o modelo, não executou o código público nem testou um robô.

O repositório de código disponibiliza scripts de treino e planeamento, bem como instruções para reproduzir algumas figuras e tabelas do artigo. Permite aos investigadores examinar o método, mas o artigo continua a ser um pré-print e a evidência no mundo físico permanece offline. O nosso anterior relatório sobre GPT-Policy aborda uma abordagem distinta, baseada em exemplos contextuais e pedidos a ferramentas robóticas; os seus resultados não validam o planeamento por modelo do mundo do H-JEPA.

Fontes e leituras adicionais