Una política robótica entrenada para imitar demostraciones exitosas puede tener dificultades cuando falla un agarre o un brazo termina en una posición que la trayectoria registrada no contemplaba. En un artículo del 9 de octubre, investigadores de la Academia China de Ciencias y la Universidad de Pekín presentan una forma de entrenar políticas de visión, lenguaje y acción (VLA) con el progreso de la tarea a partir de trayectorias robóticas existentes. Su método, llamado Offline Goal-conditioned Policy Optimization (OGPO), mejoró las tasas de éxito en pruebas simuladas de manipulación que incluían perturbaciones durante la ejecución. El artículo no informa de despliegues en robots físicos ni de una replicación independiente.

El gran cambio

  • Qué cambió: OGPO etiqueta etapas de trayectorias robóticas registradas como estados alcanzables de progreso de la tarea y usa después esas etiquetas para recompensar acciones que acercan una política a la etapa siguiente durante el entrenamiento offline.
  • Por qué importa: Una política que ha aprendido el valor de alcanzar un estado intermedio puede tener más opciones cuando un agarre o movimiento se desvía de la trayectoria demostrada. El artículo pone a prueba esa propuesta en simulación; no demuestra fiabilidad en un robot físico.
  • Qué observar: La reproducción independiente, los resultados en manipuladores físicos y las tareas cuyo progreso no pueda dividirse según eventos de la pinza ayudarían a aclarar el alcance del método.

Aprender del progreso en intentos registrados

Los autores parten de demostraciones exitosas y trayectorias fallidas. OGPO divide cada trayectoria cuando cambia el estado de la pinza, por ejemplo al abrirse o cerrarse, y asigna un objetivo local a cada segmento. Los segmentos completados reciben una etiqueta positiva. Un modelo de visión y lenguaje anota si los segmentos de las trayectorias fallidas alcanzaron sus objetivos locales, de modo que una ejecución que acaba fallando aún puede aportar pruebas de progreso intermedio. La sección de método de los autores sección de método describe este proceso de etiquetado y los objetivos de entrenamiento.

Las etiquetas crean una recompensa de entrenamiento por avanzar hacia estados completados, una bonificación por alcanzarlos y una penalización cuando un segmento no logra su objetivo. Un modelo de valor estima qué estados observados van seguidos de progreso. OGPO da después más peso a las acciones registradas con una ventaja estimada mayor, mientras conserva el ajuste fino supervisado con demostraciones exitosas como prior de acción. El objetivo local se usa para construir recompensas durante el entrenamiento; no es una entrada adicional para la política desplegada ni para su función de valor. Según los detalles de implementación del artículo, el modelo de valor se usa durante el entrenamiento.

Este diseño aborda un problema acotado del aprendizaje por imitación. Copiar una acción experta en cada paso registrado indica al modelo qué ocurrió en esa trayectoria. OGPO intenta hacer informativos los resultados intermedios cuando la política encuentra una desviación viable. La capacidad de recuperación sigue dependiendo de lo que contenga el conjunto de datos fijo. Los autores advierten expresamente que las desviaciones graves que superen esos datos pueden seguir fuera de alcance.

Qué muestran los benchmarks

Los autores probaron OGPO en los entornos de manipulación simulada LIBERO y MetaWorld, con las arquitecturas VLA π0 y π0.5. En la comparación LIBERO del artículo, la línea base supervisada few-shot de π0.5 promedió 77,1 % de éxito en las tareas; la misma política inicial con OGPO promedió 97,1 % . En LIBERO-Long, el resultado informado pasó de 43,9 % a 93,2 %. Son tasas de éxito en las tareas del benchmark y de la política inicial indicados, no una tasa general de éxito robótico.

La recuperación se prueba de forma más directa en dos condiciones de perturbación. LIBERO-Plus cambia la vista de cámara, el estado inicial del robot, el ruido visual o la disposición de los objetos. La extensión LIBERO-ReAct de los autores perturba la ejecución con ruido en las acciones, una orden invertida de la pinza o un cambio de posición del efector final durante un intervalo seleccionado de 20 pasos. Frente a la línea base supervisada full-shot de π0.5 en su tabla de robustez, la puntuación combinada de OGPO fue 81,8 % frente a 76,7 % . Con una orden invertida de la pinza, el éxito fue 87,7 % frente a 76,8 % . El rendimiento con cambios de vista de cámara fue en sentido contrario: pasó de 62,8 % para la línea base a 61,5 % para OGPO . Por tanto, la mejora agregada no abarca todas las perturbaciones.

Los investigadores también eliminaron partes de la receta de entrenamiento. Sus estudios de ablación informan de un rendimiento menor al retirar la recompensa por objetivos intermedios o el término de refuerzo offline; quitar el término supervisado también perjudica el resultado. Esto ayuda a localizar la mejora dentro de la configuración de los autores, aunque no constituye una prueba independiente del método.

El límite restante

Los cambios de la pinza delimitan las trayectorias de OGPO. Los autores reconocen que esto puede encajar mal cuando el progreso de una tarea no tiene un evento natural de la pinza. También señalan la dependencia de la calidad y el alcance de los datos offline. Las pruebas informadas son benchmarks de manipulación simulada, y el artículo no aporta una tasa medida de finalización con robots físicos ni resultados de seguridad operativa.

Para los equipos que evalúan el entrenamiento VLA offline, el artículo ofrece una comparación concreta: entrenar con las mismas trayectorias registradas y luego probar la finalización de tareas tras desviaciones controladas. Sus pruebas más sólidas proceden de la manipulación simulada, especialmente de la perturbación de la pinza durante la ejecución. BIG CHANGE revisó el artículo y sus tablas; no entrenamos un modelo ni probamos un robot.

Fuentes y lecturas adicionales