Une politique robotique entraînée à copier des démonstrations réussies peut peiner lorsqu’une prise échoue ou qu’un bras se retrouve dans une position non couverte par la trajectoire enregistrée. Dans un article du 9 octobredes chercheurs de l’Académie chinoise des sciences et de l’Université de Pékin décrivent une façon d’entraîner des politiques vision-langage-action (VLA) à partir de la progression de la tâche et de trajectoires robotiques existantes. Leur méthode, appelée Offline Goal-conditioned Policy Optimization (OGPO), a amélioré les taux de réussite lors de tests de manipulation simulée comprenant des perturbations en cours d’exécution. L’article ne fait état ni d’un déploiement sur des robots physiques ni d’une réplication indépendante.

Le changement majeur

  • Ce qui a changé : OGPO étiquette des étapes de trajectoires robotiques enregistrées comme des états de progression de tâche accessibles, puis utilise ces étiquettes pour récompenser, pendant l’entraînement hors ligne, les actions qui rapprochent une politique de l’étape suivante.
  • Pourquoi c’est important : Une politique qui a appris la valeur d’un état intermédiaire peut avoir davantage d’options lorsqu’une prise ou un mouvement s’écarte de la trajectoire démontrée. L’article teste cette idée en simulation ; il n’établit pas la fiabilité d’un robot physique.
  • À surveiller : Une réplication indépendante, des résultats sur des manipulateurs physiques et des tâches dont la progression ne se divise pas selon les événements de la pince aideraient à préciser la portée de la méthode.

Apprendre la progression à partir de tentatives enregistrées

Les auteurs partent de démonstrations réussies et de trajectoires ayant échoué. OGPO découpe chaque trajectoire lorsque l’état de la pince change, par exemple à son ouverture ou à sa fermeture, et attribue un objectif local à chaque segment. Les segments achevés reçoivent une étiquette positive. Un modèle vision-langage indique si les segments des trajectoires ayant échoué ont atteint leurs objectifs locaux ; une exécution qui finit par échouer peut donc encore fournir des indices de progression intermédiaire. La section méthodologique des auteurs décrit ce processus d’annotation et les objectifs d’entraînement.

Les étiquettes créent une récompense d’entraînement pour le mouvement vers les états achevés, un bonus pour les atteindre et une pénalité lorsqu’un segment manque son objectif. Un modèle de valeur estime quels états observés sont suivis d’une progression. OGPO accorde ensuite davantage de poids aux actions enregistrées dont l’avantage estimé est supérieur, tout en conservant l’ajustement fin supervisé sur des démonstrations réussies comme a priori d’action. L’objectif local sert à construire les récompenses pendant l’entraînement ; il n’est pas une entrée supplémentaire de la politique déployée ni de sa fonction de valeur. Selon les détails d’implémentation de l’article, le modèle de valeur est utilisé pendant l’entraînement.

Cette conception traite un problème circonscrit de l’apprentissage par imitation. Copier une action experte à chaque étape enregistrée indique au modèle ce qui s’est passé sur cette trajectoire. OGPO cherche à rendre les résultats intermédiaires informatifs lorsque la politique rencontre une déviation réalisable. La capacité de récupération dépend toujours du contenu du jeu de données fixe. Les auteurs avertissent explicitement que des écarts importants au-delà de ces données peuvent rester hors de portée.

Ce que montrent les benchmarks

Les auteurs ont testé OGPO sur les suites de manipulation simulée LIBERO et MetaWorld, avec les bases VLA π0 et π0.5. Dans la comparaison LIBERO de l’article, la base supervisée few-shot π0.5 a obtenu en moyenne 77,1 % de réussite des tâches ; la même politique initiale avec OGPO a atteint en moyenne 97,1 % . Sur LIBERO-Long, le résultat rapporté est passé de 43,9 % à 93,2 % . Il s’agit de taux de réussite pour le benchmark et la politique de départ nommés, et non d’un taux général de réussite robotique.

La récupération est testée plus directement dans deux configurations de perturbation. LIBERO-Plus modifie le point de vue de la caméra, l’état initial du robot, le bruit visuel ou la disposition des objets. L’extension LIBERO-ReAct des auteurs perturbe l’exécution par du bruit d’action, une commande inversée de la pince ou un changement de position de l’effecteur terminal pendant un intervalle choisi de 20 étapes. Par rapport à la base supervisée full-shot π0.5 de leur tableau de robustesse, le score combiné d’OGPO était de 81,8 % contre 76,7 % . Avec une commande inversée de la pince, la réussite était de 87,7 % contre 76,8 % . Les performances sous changement de vue caméra ont évolué en sens inverse : de 62,8 % pour la base à 61,5 % pour OGPO . L’amélioration agrégée ne couvre donc pas toutes les perturbations.

Les chercheurs ont également retiré des éléments de la recette d’entraînement. Leurs ablations rapportent une baisse des performances lorsque la récompense d’objectif intermédiaire ou le terme de renforcement hors ligne est supprimé ; le retrait du terme supervisé nuit aussi aux résultats. Cela aide à situer le gain dans la configuration des auteurs, mais ne constitue pas un test indépendant de la méthode.

La limite qui subsiste

Les changements de pince définissent les frontières des trajectoires d’OGPO. Les auteurs reconnaissent que cette approche peut convenir moins bien lorsque la progression d’une tâche ne comporte pas d’événement naturel de pince. Ils signalent également une dépendance à la qualité et à l’étendue des données hors ligne. Les tests rapportés sont des benchmarks de manipulation simulée, et l’article ne fournit ni taux mesuré d’achèvement par des robots physiques ni résultat de sécurité opérationnelle.

Pour les équipes qui évaluent l’entraînement VLA hors ligne, l’article propose une comparaison concrète : entraîner sur les mêmes trajectoires enregistrées, puis tester l’achèvement de la tâche après des écarts contrôlés. Ses éléments les plus probants viennent de la manipulation simulée, notamment de la perturbation de pince en cours d’exécution. BIG CHANGE a examiné l’article et ses tableaux ; nous n’avons entraîné aucun modèle ni testé de robot.

Sources et lectures complémentaires