Edición en Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# OGPO entrena políticas robóticas para recuperarse de errores de acción simulados

> Un método de entrenamiento offline etiqueta el progreso en trayectorias robóticas y mejora los resultados de manipulación simulada ante varias perturbaciones de ejecución. Aún no se ha probado la fiabilidad en robots físicos.

By BIG CHANGE Editorial

Published: 2026-10-12T08:04:09.296Z
Updated: 2026-10-12T08:04:09.296Z
Canonical: https://bigchange.ai/blog/ogpo-offline-vla-robot-recovery

![A conceptual robotic arm with an open gripper above a tipped orange block beside a shallow tray holding an upright block.](https://bigchange.ai/api/media/file/ogpo-recovery-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. It does not depict an OGPO test or a physical deployment.

Una política robótica entrenada para imitar demostraciones exitosas puede tener dificultades cuando falla un agarre o un brazo termina en una posición que la trayectoria registrada no contemplaba. En un [artículo del 9 de octubre](https://arxiv.org/html/2610.12914), investigadores de la Academia China de Ciencias y la Universidad de Pekín presentan una forma de entrenar políticas de visión, lenguaje y acción (VLA) con el progreso de la tarea a partir de trayectorias robóticas existentes. Su método, llamado Offline Goal-conditioned Policy Optimization (OGPO), mejoró las tasas de éxito en pruebas simuladas de manipulación que incluían perturbaciones durante la ejecución. El artículo no informa de despliegues en robots físicos ni de una replicación independiente.

## El gran cambio

- **Qué cambió:** OGPO etiqueta etapas de trayectorias robóticas registradas como estados alcanzables de progreso de la tarea y usa después esas etiquetas para recompensar acciones que acercan una política a la etapa siguiente durante el entrenamiento offline.
- **Por qué importa:** Una política que ha aprendido el valor de alcanzar un estado intermedio puede tener más opciones cuando un agarre o movimiento se desvía de la trayectoria demostrada. El artículo pone a prueba esa propuesta en simulación; no demuestra fiabilidad en un robot físico.
- **Qué observar:** La reproducción independiente, los resultados en manipuladores físicos y las tareas cuyo progreso no pueda dividirse según eventos de la pinza ayudarían a aclarar el alcance del método.

## Aprender del progreso en intentos registrados

Los autores parten de demostraciones exitosas y trayectorias fallidas. OGPO divide cada trayectoria cuando cambia el estado de la pinza, por ejemplo al abrirse o cerrarse, y asigna un objetivo local a cada segmento. Los segmentos completados reciben una etiqueta positiva. Un modelo de visión y lenguaje anota si los segmentos de las trayectorias fallidas alcanzaron sus objetivos locales, de modo que una ejecución que acaba fallando aún puede aportar pruebas de progreso intermedio. La sección de método de los autores[ sección de método](https://arxiv.org/html/2610.12914) describe este proceso de etiquetado y los objetivos de entrenamiento.

Las etiquetas crean una recompensa de entrenamiento por avanzar hacia estados completados, una bonificación por alcanzarlos y una penalización cuando un segmento no logra su objetivo. Un modelo de valor estima qué estados observados van seguidos de progreso. OGPO da después más peso a las acciones registradas con una ventaja estimada mayor, mientras conserva el ajuste fino supervisado con demostraciones exitosas como prior de acción. El objetivo local se usa para construir recompensas durante el entrenamiento; no es una entrada adicional para la política desplegada ni para su función de valor. Según los detalles de implementación del artículo, el modelo de valor se usa durante el entrenamiento.

Este diseño aborda un problema acotado del aprendizaje por imitación. Copiar una acción experta en cada paso registrado indica al modelo qué ocurrió en esa trayectoria. OGPO intenta hacer informativos los resultados intermedios cuando la política encuentra una desviación viable. La capacidad de recuperación sigue dependiendo de lo que contenga el conjunto de datos fijo. Los autores advierten expresamente que las desviaciones graves que superen esos datos pueden seguir fuera de alcance.

## Qué muestran los benchmarks

Los autores probaron OGPO en los entornos de manipulación simulada LIBERO y MetaWorld, con las arquitecturas VLA π0 y π0.5. En la comparación LIBERO del artículo, la línea base supervisada few-shot de π0.5 promedió **77,1 %** de éxito en las tareas; la misma política inicial con OGPO promedió **97,1 %** . En LIBERO-Long, el resultado informado pasó de **43,9 % a 93,2 %**. Son tasas de éxito en las tareas del benchmark y de la política inicial indicados, no una tasa general de éxito robótico.

La recuperación se prueba de forma más directa en dos condiciones de perturbación. LIBERO-Plus cambia la vista de cámara, el estado inicial del robot, el ruido visual o la disposición de los objetos. La extensión LIBERO-ReAct de los autores perturba la ejecución con ruido en las acciones, una orden invertida de la pinza o un cambio de posición del efector final durante un intervalo seleccionado de 20 pasos. Frente a la línea base supervisada full-shot de π0.5 en su tabla de robustez, la puntuación combinada de OGPO fue **81,8 % frente a 76,7 %** . Con una orden invertida de la pinza, el éxito fue **87,7 % frente a 76,8 %** . El rendimiento con cambios de vista de cámara fue en sentido contrario: pasó de **62,8 % para la línea base a 61,5 % para OGPO** . Por tanto, la mejora agregada no abarca todas las perturbaciones.

Los investigadores también eliminaron partes de la receta de entrenamiento. Sus estudios de ablación informan de un rendimiento menor al retirar la recompensa por objetivos intermedios o el término de refuerzo offline; quitar el término supervisado también perjudica el resultado. Esto ayuda a localizar la mejora dentro de la configuración de los autores, aunque no constituye una prueba independiente del método.

## El límite restante

Los cambios de la pinza delimitan las trayectorias de OGPO. Los autores reconocen que esto puede encajar mal cuando el progreso de una tarea no tiene un evento natural de la pinza. También señalan la dependencia de la calidad y el alcance de los datos offline. Las pruebas informadas son benchmarks de manipulación simulada, y el artículo no aporta una tasa medida de finalización con robots físicos ni resultados de seguridad operativa.

Para los equipos que evalúan el entrenamiento VLA offline, el artículo ofrece una comparación concreta: entrenar con las mismas trayectorias registradas y luego probar la finalización de tareas tras desviaciones controladas. Sus pruebas más sólidas proceden de la manipulación simulada, especialmente de la perturbación de la pinza durante la ejecución. BIG CHANGE revisó el artículo y sus tablas; no entrenamos un modelo ni probamos un robot.

## Fuentes y lecturas adicionales

- [artículo de OGPO, arXiv v1, 9 de octubre de 2026](https://arxiv.org/html/2610.12914): método, configuración de benchmarks, tablas principales, ablaciones, detalles de implementación y límites declarados. El registro de arXiv indica que el artículo fue aceptado en NeurIPS 2026. Los resultados son los comunicados por los autores.
- [resumen y registro de versiones de arXiv](https://arxiv.org/abs/2610.12914): título, autores, hora de envío y estado de la versión.
- [BIG CHANGE sobre planificación visual H-JEPA](https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning): investigación relacionada sobre planificación jerárquica con modelos del mundo visuales. H-JEPA es un método y artículo distinto, con pruebas de evaluación diferentes.

## Sources

- [OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models, artículo HTML completo](https://arxiv.org/html/2610.12914) — Artículo primario de los autores. §§3–5, Tablas 1–3, ablaciones y Apéndices E–F documentan el método, los resultados en simuladores, la implementación y los límites declarados. Los resultados son de los autores.
- [Resumen de OGPO y registro de versiones de arXiv](https://arxiv.org/abs/2610.12914) — Título, autores, hora de envío, v1 y comentario de arXiv que indica la aceptación en NeurIPS 2026.
- [BIG CHANGE: H-JEPA mejora la planificación visual en tareas simuladas con un modelo jerárquico del mundo](https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning) — Método y evidencia robótica relacionada, pero distinta; contexto únicamente, sin relación followUpTo.