Uma política robótica treinada para imitar demonstrações bem-sucedidas pode ter dificuldades quando uma preensão falha ou um braço acaba numa posição não abrangida pela trajetória registada. Num artigo de 9 de outubroinvestigadores da Academia Chinesa de Ciências e da Universidade de Pequim descrevem uma forma de treinar políticas de visão, linguagem e ação (VLA) com base no progresso da tarefa e em trajetórias robóticas existentes. O método, denominado Offline Goal-conditioned Policy Optimization (OGPO), melhorou as taxas de sucesso em testes simulados de manipulação que incluíam perturbações durante a execução. O artigo não relata implantação em robôs físicos nem replicação independente.

A grande mudança

  • O que mudou: OGPO classifica etapas de trajetórias robóticas registadas como estados alcançáveis de progresso da tarefa e usa essas etiquetas para recompensar ações que aproximam uma política da etapa seguinte durante o treino offline.
  • Porque importa: Uma política que aprendeu o valor de alcançar um estado intermédio poderá ter mais opções quando uma preensão ou movimento se desvia da trajetória demonstrada. O artigo testa essa hipótese em simulação; não demonstra fiabilidade num robô físico.
  • O que acompanhar: A replicação independente, os resultados em manipuladores físicos e as tarefas cujo progresso não possa ser dividido por eventos da pinça ajudariam a esclarecer o alcance do método.

Aprender o progresso a partir de tentativas registadas

Os autores começam com demonstrações bem-sucedidas e trajetórias falhadas. O OGPO divide cada trajetória quando o estado da pinça muda, por exemplo ao abrir ou fechar, e atribui um objetivo local a cada segmento. Os segmentos concluídos recebem uma etiqueta positiva. Um modelo de visão-linguagem assinala se os segmentos de trajetórias falhadas atingiram os respetivos objetivos locais, pelo que uma execução que acaba por falhar ainda pode fornecer indícios de progresso intermédio. A secção do método dos autores descreve este processo de anotação e os objetivos de treino.

As etiquetas criam uma recompensa de treino pelo movimento em direção a estados concluídos, um bónus por os alcançar e uma penalização quando um segmento não atinge o seu objetivo. Um modelo de valor estima quais os estados observados que são seguidos de progresso. O OGPO dá depois mais peso às ações registadas com uma vantagem estimada superior, mantendo o ajuste fino supervisionado em demonstrações bem-sucedidas como prior de ação. O objetivo local serve para construir recompensas durante o treino; não é uma entrada adicional da política implantada nem da sua função de valor. Segundo os detalhes de implementação do artigo, o modelo de valor é usado durante o treino.

Este desenho aborda um problema delimitado da aprendizagem por imitação. Copiar uma ação especializada em cada passo registado informa o modelo sobre o que aconteceu naquela trajetória. O OGPO tenta tornar os resultados intermédios informativos quando a política encontra um desvio viável. A capacidade de recuperação continua dependente do conteúdo do conjunto de dados fixo. Os autores alertam explicitamente que desvios graves para além desses dados poderão continuar fora do alcance.

O que mostram os benchmarks

Os autores testaram o OGPO nos conjuntos de manipulação simulada LIBERO e MetaWorld, com as bases VLA π0 e π0.5. Na comparação LIBERO do artigo, a linha de base supervisionada few-shot de π0.5 obteve uma média de 77,1% de sucesso nas tarefas; a mesma política inicial com OGPO obteve 97,1%em média. No LIBERO-Long, o resultado divulgado subiu de 43,9% para 93,2% . Estas são taxas de sucesso nas tarefas para o benchmark e a política inicial indicados, não uma taxa geral de sucesso robótico.

A recuperação é testada de forma mais direta em dois cenários de perturbação. O LIBERO-Plus altera a vista da câmara, o estado inicial do robô, o ruído visual ou a disposição dos objetos. A extensão LIBERO-ReAct dos autores perturba a execução com ruído de ação, um comando invertido da pinça ou uma alteração da posição do efetuador final durante um intervalo selecionado de 20 passos. Face à linha de base supervisionada full-shot de π0.5 na tabela de robustez, a pontuação combinada do OGPO foi 81,8% contra 76,7% . Com um comando invertido da pinça, o sucesso foi 87,7% contra 76,8% . O desempenho com alterações da vista da câmara seguiu o sentido inverso: passou de 62,8% na linha de base para 61,5% no OGPO . A melhoria agregada, portanto, não abrange todas as perturbações.

Os investigadores também removeram partes da receita de treino. As ablações relatam um desempenho inferior quando se retira a recompensa por objetivos intermédios ou o termo de reforço offline; retirar o termo supervisionado também prejudica o resultado. Isto ajuda a localizar o ganho na configuração dos autores, mas não constitui um teste independente do método.

O limite que permanece

As mudanças da pinça definem os limites das trajetórias do OGPO. Os autores reconhecem que isso poderá não se adequar a tarefas sem um evento natural da pinça que marque o progresso. Também identificam a dependência da qualidade e do alcance dos dados offline. Os testes relatados são benchmarks de manipulação simulada, e o artigo não apresenta uma taxa medida de conclusão por robôs físicos nem um resultado de segurança operacional.

Para equipas que avaliam o treino VLA offline, o artigo oferece uma comparação concreta: treinar com as mesmas trajetórias registadas e depois testar a conclusão da tarefa após desvios controlados. As provas mais fortes surgem na manipulação simulada, sobretudo na perturbação da pinça durante a execução. A BIG CHANGE analisou o artigo e as tabelas divulgadas; não treinámos um modelo nem testámos um robô.

Fontes e leitura adicional