EmbodiedCLBench 是 10 月 9 日發布的預印本，測試 AI 代理程式能否運用簡單家務任務的經驗，解決這些任務的新組合。作者的模擬評估中，一個先前範例帶來明顯提升；增加更多範例並未可靠地進一步提高成功率。因此，這項基準有助於區分初始效益與技能持續累積的證據。

重大變化

  • 變化內容： 研究人員發布包含 168 項基本與 100 項進階家務任務的基準，用來測試代理程式能否將經驗帶入未見過的任務組合。
  • 運作方式： 代理程式先完成相關基本任務，再從以 TongSim 家庭模擬器建立的離線狀態圖中選擇候選動作。在固定步數預算內達成目標即為成功。
  • 作者的發現： 主要比較中，取得兩項基本任務的經驗，讓測試的八種框架與模型組合在進階任務上的成功率都提高。較窄的範例數量分析顯示，從零個增至一個很有幫助，但從一個增至六個沒有一致上升趨勢。
  • 為何重要： 這些結果讓開發者能測試代理程式是否運用新經驗解決陌生組合，而不是先假設儲存更多範例會改善表現。研究評估的是模擬決策，不是實體機器人的操作。

家務任務成為一連串選擇

這項基準使用 TongSim，一款具備室內場景、可互動物件，以及走近、拿起、打開、啟動等動作的模擬器。作者以短串物件互動建立基本任務；進階任務則結合兩至四類基本任務的動作。論文以「把杯子放在桌上」為基本範例，以「整理房間」為進階範例。

在已發布的評估中，代理程式不會控制正在運行的模擬器。作者使用閉源 TongSim 版本建立離線狀態轉換圖。每個節點包含模擬器影像與候選動作。可執行的選擇會使代理程式移至另一狀態；無效動作在該狀態無法執行。代理程式持續選擇，直到達成目標或用完步數。論文指出，任務描述與候選動作由 Qwen3.7-Plus 產生並經人工檢查。

這項設計明確定義測量結果：成功率是預算內完成的任務比例。主要測試的進階任務最短路徑為 12 步，測試時再允許三步。因此，失敗可能反映在此限制下選錯順序或效率不佳；它不衡量抓取可靠度、動作控制，或在變動中的實際住宅環境表現。

先前任務有幫助，之後增益趨平

以下的主要結果表比較沒有先前範例的進階任務代理程式，以及兩種從兩項相關基本任務延續經驗的方法。情境內學習保留完整的先前互動軌跡；技能學習則以代理程式撰寫的 Markdown 技能摘要取代軌跡。在四種框架各搭配兩個基礎模型時，兩種方法都勝過對應的零樣本進階任務結果。例如，搭配 Qwen3.8-Flash 的 Codex 框架，沒有學習階段時為 4%，使用軌跡時為 34%，使用技能摘要時為 33%。這些是作者在此基準任務集與預算下的結果。

範例數量分析將基本任務範例從零變為六個。作者在此只使用 Hermes 與 OpenClaw，兩者皆搭配 Qwen3.8-Flash。在兩種框架與兩種學習方法中，一個範例讓進階任務成功率從零範例的 8%–10% 區間升至 28%–40%。第一個範例之後，四條報告曲線都沒有隨範例增加而持續上升。這項發現適用於論文評估條件下的這些代理程式與記憶方法，並未確立經驗效益的一般上限。

作者的動作分析提供了改善原因的較窄線索。相較於零樣本執行，有經驗的代理程式在記錄的決策中選擇較少無效動作。論文在使用 Qwen3.8-Flash 分析的四種框架中，報告降低 13%–20%。這種模式符合更善用可用動作選項的解釋，但不能證明代理程式學會了持久且通用的技能。

研究人員選擇評估方法時，可問：在相同保留組合與步數預算下，先前任務的數量與多樣性增加時，某方法是否提升成功率？EmbodiedCLBench 為此提供結構化測試。證據仍是作者 10 月 9 日的預印本與專案發布；BIG CHANGE 未執行此基準，這些結果也未在此獨立重現。

來源與延伸閱讀