Uma política robótica treinada para copiar demonstrações bem-sucedidas pode ter dificuldades quando uma preensão falha ou um braço chega a uma posição que a trajetória registrada não cobriu. Em um artigo de 9 de outubro, pesquisadores da Academia Chinesa de Ciências e da Universidade de Pequim descrevem uma forma de treinar políticas de visão-linguagem-ação (VLA) usando o progresso da tarefa em trajetórias robóticas existentes. O método, chamado Offline Goal-conditioned Policy Optimization (OGPO), melhorou as taxas de sucesso em testes simulados de manipulação que incluíram perturbações durante a execução. O artigo não relata implantação em robôs físicos nem replicação independente.

A grande mudança

  • O que mudou: A OGPO identifica etapas de trajetórias robóticas registradas como estados alcançáveis de progresso da tarefa e usa essas identificações para recompensar ações que conduzem a política à etapa seguinte durante o treinamento offline.
  • Por que isso importa: Uma política que aprendeu o valor de alcançar um estado intermediário pode ter mais opções quando uma preensão ou um movimento sai da trajetória demonstrada. O artigo testa essa hipótese em simulação; não comprova confiabilidade em um robô físico.
  • O que acompanhar: Uma reprodução independente, resultados em manipuladores físicos e tarefas cujo progresso não possa ser dividido por eventos da garra ajudariam a esclarecer o alcance do método.

Aprender com o progresso de tentativas registradas

A seção dos autores sobre método descreve esse processo de rotulagem e os objetivos de treinamento.

Os rótulos criam uma recompensa de treinamento pelo movimento em direção a estados concluídos, um bônus por alcançar um deles e uma penalidade quando um segmento não atinge sua meta. Um modelo de valor estima quais estados observados são seguidos por progresso. Em seguida, a OGPO dá mais peso às ações registradas com maior vantagem estimada, mantendo o ajuste fino supervisionado em demonstrações bem-sucedidas como uma referência para as ações. A meta local é usada para construir recompensas durante o treinamento; ela não é uma entrada adicional da política implantada nem de sua função de valor. Segundo os detalhes de implementação do artigo, o modelo de valor é usado durante o treinamento.

Esse projeto aborda um problema específico do treinamento por imitação. Copiar uma ação especializada em cada etapa registrada informa ao modelo o que ocorreu naquela trajetória. A OGPO tenta tornar os resultados intermediários informativos quando a política encontra um desvio viável. A capacidade de recuperação ainda depende do conteúdo do conjunto de dados fixo. Os autores alertam explicitamente que desvios severos para além desses dados podem continuar fora de alcance.

O que os benchmarks mostram

Os autores testaram a OGPO nas suítes simuladas de manipulação LIBERO e MetaWorld, usando os backbones VLA π0 e π0.5. Na comparação LIBERO do artigo, a linha de base supervisionada π0.5 com poucos exemplos obteve, em média, 77,1% de sucesso na tarefa; a mesma política inicial com OGPO obteve, em média, 97,1%. No LIBERO-Long, o resultado relatado subiu de 43,9% para 93,2%. São taxas de sucesso nas tarefas dos benchmarks e da política inicial especificada, não uma taxa geral de sucesso robótico.

A recuperação é testada de forma mais direta em dois cenários de perturbação. O LIBERO-Plus altera a visão da câmera, o estado inicial do robô, o ruído visual ou a disposição dos objetos. A extensão LIBERO-ReAct dos autores perturba a execução com ruído nas ações, um comando de garra invertido ou uma mudança de posição do efetuador final durante um intervalo selecionado de 20 passos. Em comparação com a linha de base supervisionada π0.5 com todos os dados na tabela de robustez, a pontuação combinada da OGPO foi de 81,8% contra 76,7%. Com um comando de garra invertido, o sucesso foi de 87,7% contra 76,8%. O desempenho com mudança na visão da câmera foi na direção oposta: de 62,8% para a linha de base a 61,5% para a OGPO. Portanto, a melhora agregada não abrange todas as perturbações.

Os pesquisadores também removeram partes da receita de treinamento. As ablações relatam desempenho menor quando se elimina a recompensa por metas intermediárias ou o termo de reforço offline; remover o termo supervisionado também prejudica os resultados. Isso ajuda a localizar o ganho dentro da configuração dos autores, mas não constitui um teste independente do método.

O limite restante

As mudanças na garra definem os limites das trajetórias da OGPO. Os autores reconhecem que isso pode se ajustar mal a tarefas cujo progresso não tenha um evento natural da garra. Também destacam a dependência da qualidade e da abrangência dos dados offline. Os testes relatados são benchmarks simulados de manipulação, e o artigo não apresenta uma taxa medida de conclusão com robôs físicos nem resultados de segurança operacional.

Para equipes que avaliam treinamento offline de VLA, o artigo oferece uma comparação concreta: treinar com as mesmas trajetórias registradas e testar a conclusão da tarefa após desvios controlados. As evidências mais fortes vêm da manipulação simulada, sobretudo da perturbação da garra durante a execução. A BIG CHANGE analisou o artigo e as tabelas relatadas; não treinamos um modelo nem testamos um robô.

Fontes e leituras adicionais