通过成功示范训练、以便模仿示范的机器人策略，可能难以应对抓取失败，或手臂落在记录路径未覆盖的位置的情况。在一篇10月9日的论文中，中国科学院和北京大学的研究人员报告了一种利用现有机器人轨迹、根据任务进展训练视觉-语言-动作（VLA）策略的方法。他们称之为离线目标条件策略优化（OGPO），并在包含执行中途扰动的模拟操作测试中提高了成功率。论文未报告实体机器人部署或独立复现。

重大变化

  • 变化：OGPO将记录机器人轨迹的阶段标记为可达的任务进展状态，然后在离线训练中利用这些标签奖励使策略向下一阶段推进的动作。
  • 为何重要：学会到达中间状态价值的策略，在抓取或动作偏离示范路径时可能拥有更多选择。论文在仿真中测试了这一设想；它并未证明实体机器人上的可靠性。
  • 关注事项：独立复现、实体机械臂上的结果，以及进展无法按夹爪事件划分的任务，将有助于明确该方法的适用范围。

从记录的尝试中学习进展

作者使用成功示范和失败轨迹。OGPO在夹爪状态变化时（如张开或闭合）切分每条轨迹，并为各片段分配局部目标。完成的片段获得正标签。视觉-语言模型会标注失败轨迹中的片段是否达到局部目标，因此即使一次运行最终失败，也能提供中间进展的证据。作者的方法部分描述了这一标注流程和训练目标。

这些标签为朝完成状态移动提供训练奖励，为到达该状态提供额外奖励，并在片段未达到目标时予以惩罚。价值模型估计观察到的状态之后是否会有进展。OGPO随后提高估计优势较高的记录动作的权重，同时保留成功示范上的监督微调，作为动作先验。局部目标用于训练期间构造奖励；它不是部署后策略或其价值函数的额外输入。根据论文实现细节，价值模型仅在训练时使用。

这一设计针对模仿训练中的一个有限问题。在每个记录步骤复制专家动作，只能告诉模型那条路径上发生了什么。OGPO试图让策略遇到可行偏离时也能从中间结果获取信息。恢复能力仍取决于固定数据集包含的内容。作者明确提醒，远超数据范围的严重偏离仍可能无法应对。

基准测试结果

作者在LIBERO和MetaWorld模拟操作套件上测试OGPO，使用π0和π0.5视觉-语言-动作骨干模型。论文的LIBERO对比中，π0.5少样本监督基线平均77.1%任务成功率；同一起始策略使用OGPO后的平均值为97.1%。在LIBERO-Long上，报告结果从43.9%升至93.2%。这些是指定基准和起始策略上的任务成功率，并非普遍的机器人成功率。

两种扰动设置更直接地测试恢复能力。LIBERO-Plus会改变摄像机视角、机器人初始状态、视觉噪声或物体布局。作者的LIBERO-ReAct扩展会在选定的20步区间内，通过动作噪声、反转夹爪指令或改变末端执行器位置扰乱执行。在鲁棒性表中，相对于π0.5全样本监督基线，OGPO综合得分为81.8%对76.7%。夹爪指令反转时，成功率为87.7%对76.8%。摄像机视角变化时，结果则相反：从基线的62.8%降至OGPO的61.5%。因此，综合提升并不覆盖所有扰动。

研究人员还移除了训练方案的部分内容。消融实验显示，去掉中间目标奖励或离线强化项后表现更低；去掉监督项也会造成损害。这有助于在作者的设置中定位收益来源，但不是对该方法的独立测试。

仍存局限

夹爪变化为OGPO划分轨迹边界。作者承认，如果任务进展没有自然的夹爪事件，这种方法可能不太适用。他们还指出，该方法依赖离线数据的质量和范围。报告的测试是模拟操作基准，论文没有提供实体机器人测得的任务完成率或运行安全结果。

对于评估离线VLA训练的团队，论文给出一种具体比较方式：用相同的记录轨迹训练，再测试任务在受控偏离后的完成情况。最有力的证据来自模拟操作，特别是执行中途的夹爪扰动。BIG CHANGE审阅了论文和其报告表格；我们没有训练模型或测试机器人。

来源与延伸阅读