世界从未停止变化。RSS
BIG CHANGE.

Markdown 版本

AI-translated from English; not yet reviewed by a fluent editor.

# OGPO训练机器人策略，使其从模拟动作错误中恢复

> 一种离线训练方法为机器人轨迹中的进展打标签，并在多种执行扰动下提升模拟操作表现。其在实体机器人上的可靠性尚未经过测试。

By BIG CHANGE Editorial

Published: 2026-10-12T08:04:09.296Z
Updated: 2026-10-12T08:04:09.296Z
Canonical: https://bigchange.ai/blog/ogpo-offline-vla-robot-recovery

![A conceptual robotic arm with an open gripper above a tipped orange block beside a shallow tray holding an upright block.](https://bigchange.ai/api/media/file/ogpo-recovery-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. It does not depict an OGPO test or a physical deployment.

通过成功示范训练、以便模仿示范的机器人策略，可能难以应对抓取失败，或手臂落在记录路径未覆盖的位置的情况。在一篇[10月9日的论文](https://arxiv.org/html/2610.12914)中，中国科学院和北京大学的研究人员报告了一种利用现有机器人轨迹、根据任务进展训练视觉-语言-动作（VLA）策略的方法。他们称之为离线目标条件策略优化（OGPO），并在包含执行中途扰动的模拟操作测试中提高了成功率。论文未报告实体机器人部署或独立复现。

## 重大变化

- **变化：**OGPO将记录机器人轨迹的阶段标记为可达的任务进展状态，然后在离线训练中利用这些标签奖励使策略向下一阶段推进的动作。
- **为何重要：**学会到达中间状态价值的策略，在抓取或动作偏离示范路径时可能拥有更多选择。论文在仿真中测试了这一设想；它并未证明实体机器人上的可靠性。
- **关注事项：**独立复现、实体机械臂上的结果，以及进展无法按夹爪事件划分的任务，将有助于明确该方法的适用范围。

## 从记录的尝试中学习进展

作者使用成功示范和失败轨迹。OGPO在夹爪状态变化时（如张开或闭合）切分每条轨迹，并为各片段分配局部目标。完成的片段获得正标签。视觉-语言模型会标注失败轨迹中的片段是否达到局部目标，因此即使一次运行最终失败，也能提供中间进展的证据。作者的[方法部分](https://arxiv.org/html/2610.12914)描述了这一标注流程和训练目标。

这些标签为朝完成状态移动提供训练奖励，为到达该状态提供额外奖励，并在片段未达到目标时予以惩罚。价值模型估计观察到的状态之后是否会有进展。OGPO随后提高估计优势较高的记录动作的权重，同时保留成功示范上的监督微调，作为动作先验。局部目标用于训练期间构造奖励；它不是部署后策略或其价值函数的额外输入。根据论文实现细节，价值模型仅在训练时使用。

这一设计针对模仿训练中的一个有限问题。在每个记录步骤复制专家动作，只能告诉模型那条路径上发生了什么。OGPO试图让策略遇到可行偏离时也能从中间结果获取信息。恢复能力仍取决于固定数据集包含的内容。作者明确提醒，远超数据范围的严重偏离仍可能无法应对。

## 基准测试结果

作者在LIBERO和MetaWorld模拟操作套件上测试OGPO，使用π0和π0.5视觉-语言-动作骨干模型。论文的LIBERO对比中，π0.5少样本监督基线平均**77.1%**任务成功率；同一起始策略使用OGPO后的平均值为**97.1%**。在LIBERO-Long上，报告结果从**43.9%升至93.2%**。这些是指定基准和起始策略上的任务成功率，并非普遍的机器人成功率。

两种扰动设置更直接地测试恢复能力。LIBERO-Plus会改变摄像机视角、机器人初始状态、视觉噪声或物体布局。作者的LIBERO-ReAct扩展会在选定的20步区间内，通过动作噪声、反转夹爪指令或改变末端执行器位置扰乱执行。在鲁棒性表中，相对于π0.5全样本监督基线，OGPO综合得分为**81.8%对76.7%**。夹爪指令反转时，成功率为**87.7%对76.8%**。摄像机视角变化时，结果则相反：从**基线的62.8%降至OGPO的61.5%**。因此，综合提升并不覆盖所有扰动。

研究人员还移除了训练方案的部分内容。消融实验显示，去掉中间目标奖励或离线强化项后表现更低；去掉监督项也会造成损害。这有助于在作者的设置中定位收益来源，但不是对该方法的独立测试。

## 仍存局限

夹爪变化为OGPO划分轨迹边界。作者承认，如果任务进展没有自然的夹爪事件，这种方法可能不太适用。他们还指出，该方法依赖离线数据的质量和范围。报告的测试是模拟操作基准，论文没有提供实体机器人测得的任务完成率或运行安全结果。

对于评估离线VLA训练的团队，论文给出一种具体比较方式：用相同的记录轨迹训练，再测试任务在受控偏离后的完成情况。最有力的证据来自模拟操作，特别是执行中途的夹爪扰动。BIG CHANGE审阅了论文和其报告表格；我们没有训练模型或测试机器人。

## 来源与延伸阅读

- [OGPO论文，arXiv v1，2026年10月9日](https://arxiv.org/html/2610.12914)：方法、基准设置、主要表格、消融实验、实现细节和所述局限。arXiv记录称论文已被NeurIPS 2026接收。结果由作者报告。
- [arXiv摘要与版本记录](https://arxiv.org/abs/2610.12914)：标题、作者、提交时间和版本状态。
- [BIG CHANGE关于H-JEPA视觉规划的报道](https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning)：关于分层视觉世界模型规划的相关机器人研究。H-JEPA是另一种方法和论文，评估证据不同。

## Sources

- [OGPO：用于可恢复视觉-语言-动作模型的离线目标条件策略优化，完整HTML论文](https://arxiv.org/html/2610.12914) — 作者的主要论文。§§3–5、表1–3、消融实验及附录E–F说明方法、模拟器结果、实现和所述局限。结果由作者报告。
- [OGPO的arXiv摘要与版本记录](https://arxiv.org/abs/2610.12914) — 标题、作者、提交时间、v1状态，以及arXiv评论中关于NeurIPS 2026接收的信息。
- [BIG CHANGE：H-JEPA借助分层世界模型提升模拟任务中的视觉规划](https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning) — 相关但不同的机器人方法及其证据边界；仅作背景，没有followUpTo关系。