H-JEPA背后的研究人员H-JEPA提出了一种让视觉世界模型按多个时间尺度进行规划的方法。在一个模拟迷宫中，他们的三级规划器完成了73%的任务，而扁平模型为18%，且规划计算量更少。10月5日发布的论文还测试了录制的真实机器人视频，但这些测试是在离线状态下对提出的路径进行评分，并未展示机器人执行规划。

对机器人研究人员和工程师而言，关键问题是：改进来自把长计划拆成较短步骤、学习更好的目标进度度量，还是两者兼有。论文分别检验了这些解释。结果对视觉规划研究颇有希望，但对于实体机器人能得出什么结论仍有重要限制。

重大变化

  • 发生了什么变化： H-JEPA训练了一组由动作条件化的预测模型。每一层都在自身学得的表示中向更远的未来预测；规划器再将上层预测的状态转化为下层的子目标。
  • 为何重要： 在Visual AntMaze中，作者报告称，三级规划成功率为73.3%，扁平基线为18.0%。消融实验显示，缩短规划片段和采用更有用的高层目标表示都作出了贡献。机器人团队可以分别研究这两种机制，而不必把层级结构视为一个不可拆分的改进。
  • 值得关注之处： 四种任务环境均为模拟环境。额外的DROID测试将规划出的机械臂路径与录制的专家路径进行比较；而在多样化实体环境中进行闭环试验，回答的是另一个仍未解决的问题。

跨多个时间尺度的规划

世界模型预测采取行动后环境可能如何变化。H-JEPA采用联合嵌入预测架构（JEPA），预测未来观察的紧凑表示，而非重建每个图像像素。其论文描述了一种在观察和动作轨迹上联合训练的层级结构。最低层跟随最细的时间步。每个更高层接收下层表示，按更长的步幅聚合动作，并在独立的潜在空间中预测更远的未来。

规划从当前观察和目标观察开始。顶层搜索通往目标的粗略路线，其预测状态随后引导下一层细化路线。最低层生成动作。在模拟闭环评估中，系统执行一段动作前缀，观察结果状态，然后重新规划。研究人员将其与LeWM比较：即单独训练和规划的同一第一级JEPA；还与各层共享一种表示的时间层级模型比较。

不同表示在迷宫任务中很重要，因为目标可能是到达某个位置，而蚂蚁的腿部姿态却在快速变化。作者的探测实验发现，H-JEPA较高层保留了蚂蚁的位置，同时降低了腿部姿态细节的可恢复性。在FourRoom中也发现类似模式：独立移动的干扰物在较高层中不那么显著。在操作数据集中，这种效应弱得多，因为测得的快慢运动区分较小。论文并未证明每种任务都能从舍弃细节中获益。

比较结果说明了什么

作者在Visual AntMaze和FourRoom Distractors中评估导航，在Push-T和OGBench Cube中评估操作。这些都是采用固定摄像机和背景的模拟任务。在不同规划预算下，增加层级至三级改善了AntMaze、FourRoom和Cube中成功率与计算量之间的权衡。Push-T是例外：在测试的预算下，两级模型达到或超过扁平基线，而三级模型表现较差。作者指出，该任务回合较短，留给深层模型的可用训练片段较少。

在另一组AntMaze任务中，扁平LeWM基线的平均成功率为18.0%，标准误差为3.5个百分点，而完整三级H-JEPA规划的平均成功率为73.3%，标准误差为3.5个百分点。这两个数字是作者报告的均值，基于三组配对的模型和规划器随机种子。论文的成功率与规划FLOP对比还显示，层级模型以更低的实测规划计算量达到更高成功率。该结果没有衡量训练和部署机器人的总成本。

消融实验进一步说明了各部分的作用。使用共享表示的时间层级在四种环境中均优于扁平基线，表明把计划拆分有价值。在AntMaze中，仅使用上层表示为扁平规划器预测的目标距离打分，也提高了成功率。不过，这一改变单独并未达到完整层级规划器73.3%的平均值。在本次评估中，两种作用相辅相成。在论文发现选择性抽象作用较小的Push-T和Cube中，只改变目标代价表示并未带来明确收益。

真实机器人视频的边界

研究人员还使用了DROID机器人操作视频。不同录制回合中的场景、物体和光照都会变化。论文指出，在这种情况下，纯预测模型可能偏重稳定背景，丢失移动机器人相关信息。团队加入逆动力学损失，训练一个组件推断连续学习状态之间的动作，使表示保留智能体的运动。加入该项后，学得的两级层级模型在论文的离线规划保真度指标上优于扁平基线，同时规划计算量更低。

该指标将提出的三维末端执行器路径与录制中的专家路径进行比较。按论文的校准，专家路径为100%，静止机械臂为0%。它并不衡量机器人执行所提动作后能否完成任务。由于数据集没有针对变化场景的模拟器，作者以开环方式评估这些DROID规划。BIG CHANGE没有训练该模型、运行公开代码或测试机器人。

代码仓库提供训练和规划脚本，并附有复现论文部分图表的说明，便于研究人员检查方法；但该论文仍是预印本，其实体环境证据仍来自离线测试。我们此前的GPT-Policy报道介绍了另一种基于上下文示例和机器人工具请求的方法；其结果不能验证H-JEPA的世界模型规划。

来源与延伸阅读