EmbodiedCLBench，这项于10月9日发布的预印本测试：AI智能体能否借助简单家务任务的经验，解决这些任务的新组合。作者的模拟评估显示，一个先前示例带来了显著提升。继续增加示例并未可靠地进一步提高成功率。因此，这一基准有助于区分初始收益与技能持续累积的证据。

重大变化

  • 变化内容： 研究人员发布了一个包含168项基础家务任务和100项高阶家务任务的基准，旨在测试智能体能否将经验迁移到未见过的任务组合。
  • 运作方式： 智能体先完成相关基础任务，随后从基于TongSim家居模拟器构建的离线状态图中选择候选动作。若智能体在固定步数预算内到达目标，任务即为成功。
  • 作者的发现： 在主要比较中，获得两项基础任务经验后，所有八种受测运行框架与模型组合的高阶任务成功率均有所提高。在较窄的示例数量分析中，从零个增至一个示例带来显著帮助，而从一个增至六个则没有呈现一致的上升趋势。
  • 为何重要： 这些结果为开发者提供了一种方法，用于测试智能体是否会运用新经验解决陌生组合，而不是假定存储更多示例就能提升表现。该研究评估的是模拟决策，并非实体机器人运行。

家务任务如何转化为一连串选择

该基准使用TongSim，这是一款包含室内场景、可交互物体及走到物体旁、拿起、打开和启动等动作的模拟器。作者用简短的物体交互序列构建基础任务。高阶任务则组合来自两到四个基础任务类别的动作。论文以“把杯子放到桌上”作为基础示例，以“整理房间”作为高阶示例。

在已发表的评估中，智能体并未控制正在运行的模拟器。作者使用闭源TongSim版本构建离线状态转移图。每个节点包含一张模拟器图像和若干候选动作。可执行的选择会把智能体带到另一状态；无效动作无法在该状态执行。智能体重复选择，直到到达目标或步数耗尽。论文称，任务描述和候选动作由Qwen3.7-Plus生成并经过人工检查。

这种设计使测量结果明确：成功率 是在预算内完成的任务占比。主要测试中的高阶任务最短路径为12步，测试时额外允许三步。因此，失败可能反映了在该限制下动作序列错误或效率低下。它不衡量抓取可靠性、运动控制或在不断变化的真实家庭环境中的表现。

早期任务有帮助，随后收益趋于平缓

这张主要结果表比较了没有先前示例的高阶任务智能体，以及两种从相关基础任务迁移经验的方法。上下文学习保留先前交互的完整轨迹；技能学习则用智能体撰写的Markdown技能摘要替代这些轨迹。在四种运行框架中，每种搭配两种基础模型，这两种方法的表现都超过相应的零样本高阶任务结果。例如，使用Qwen3.8-Flash的Codex运行框架，在没有学习阶段时成功率为4%，使用轨迹时为34%，使用技能摘要时为33%。这些是作者在该基准任务集和预算下报告的结果。

示例数量分析将基础任务示例数从零调整到六。作者在这里仅使用Hermes和OpenClaw，二者都搭配Qwen3.8-Flash。在两种运行框架和两种学习方法中，一个示例将高阶任务成功率从零示例时的8%–10%提高到28%–40%。此后，四条报告曲线均未随着示例增加而持续上升。该发现适用于论文评估条件下的这些智能体和记忆方法，并未确立经验帮助效果的一般上限。

作者的动作分析为这种提升提供了更具体的线索。与零样本运行相比，有经验的智能体在记录的决策中选择无效动作的次数更少。论文报告，在使用Qwen3.8-Flash分析的四种运行框架中，无效动作减少了13%–20%。这种模式与更好地利用可用动作选项相符，但并不能证明智能体学会了持久且通用的技能。

对于选择评估方法的研究者，有用的问题是：在相同的留出组合和步数预算下，随着先前任务的数量与多样性增加，某种方法是否提高了成功率。EmbodiedCLBench为此提供了一项结构化测试。证据仍来自作者10月9日的预印本和项目发布；BIG CHANGE没有运行该基准，结果也未在此处得到独立复现。

来源与延伸阅读