EmbodiedCLBenchは10月9日公開のプレプリントで、AIエージェントが簡単な家庭タスクの経験を使い、新しい組み合わせを解けるかを検証する。著者らのシミュレーション評価では、過去の例が1つあると大きく改善した。例を増やしても成功率は安定して上がらなかった。そのため、このベンチマークは初期の効果と技能が継続的に蓄積する証拠を分けて考えるのに役立つ。

大きな変化

  • 変更点：研究者は基本的な家庭タスク168件と高度なタスク100件を含むベンチマークを公開し、エージェントが未見のタスク組み合わせに経験を持ち込めるかを試した。
  • 仕組み：エージェントは関連する基本タスクを終えた後、家庭シミュレーターTongSimから作ったオフライン状態グラフの候補行動を選ぶ。固定された手数内に目標へ到達すれば成功となる。
  • 著者らの結果：主比較では、基本タスク2件の経験を与えると、試験した8つのハーネスとモデルの組み合わせすべてで高度なタスクの成功率が上がった。例数を絞った分析では、0から1への増加は有効だったが、1から6では一貫した上昇がなかった。
  • 意義：例を多く保存すれば性能が上がると決めつけず、エージェントが新たな経験を使って未知の組み合わせを解くか確かめる方法を開発者に示す。研究対象はシミュレーション上の判断であり、実機ロボットの動作ではない。

家事タスクは選択の連続になる

ベンチマークにはTongSimを使用する。室内シーンや操作可能な物体に加え、近づく、拾う、開ける、電源を入れるといった行動を備えたシミュレーターだ。短い物体操作の列から基本タスクを作り、高度なタスクでは2～4種類の基本タスクの行動を組み合わせる。論文は「カップをテーブルに置く」を基本例、「部屋を片付ける」を高度な例としている。

公開された評価で、エージェントは稼働中のシミュレーターを制御しない。著者らはクローズドソース版TongSimを使ってオフラインの状態遷移グラフを構築した。各ノードにはシミュレーター画像と候補行動がある。実行可能な選択は別の状態へ移るが、無効な行動は実行できない。目標に届くか手数を使い切るまで選択を繰り返す。タスク記述と候補行動はQwen3.7-Plusで作成し、手作業で確認したと論文は述べる。

この設計では測定対象が明確だ。成功率は予算内に完了したタスクの割合である。主試験の高度なタスクでは最短経路が12手で、試験時に3手が追加される。失敗はその制限下で誤った手順や非効率な手順を選んだ結果かもしれない。把持の信頼性、運動制御、変化する実住宅での性能は測っていない。

以前のタスクは役立つが、効果は頭打ちになる

主な結果を示すのは主な結果表は、事前例なしで高度なタスクに挑むエージェントと、関連する基本タスク2件の経験を引き継ぐ2つの方法を比べる。文脈内学習は過去のやり取りの軌跡全体を保つ。スキル学習はそれらをエージェントが書いたMarkdownのスキル要約に置き換える。4つのハーネスと各2つの基盤モデルで、どちらの方法も対応するゼロショット結果を上回った。例えばQwen3.8-Flashを使うCodexハーネスは、学習段階なしの4%から軌跡ありで34%、スキル要約ありで33%になった。これはこのベンチマークのタスク集合と予算での著者らの結果である。

例数分析では基本タスクの例を0から6へ変えた。ここではQwen3.8-Flashを使うHermesとOpenClawだけを検証した。2つのハーネスと2つの学習方法で、例が1つあると高度なタスクの成功率は例なしの8～10%から28～40%へ上がった。それ以降、報告された4つの曲線のどれも例を増やして一貫して上昇しなかった。この知見は論文の評価条件におけるこれらのエージェントと記憶方法に限られ、経験が役立つ一般的な上限を示すものではない。

著者らの行動分析は改善について限定的な手掛かりを示す。ゼロショット実行と比べ、経験ありのエージェントは記録された判断で無効な行動を選ぶ回数が少なかった。Qwen3.8-Flashで分析した4つのハーネスでは13～20%減ったと論文は報告する。利用可能な行動選択肢をよりうまく使った説明と整合するが、持続的で汎用的な技能を学んだ証明ではない。

評価を選ぶ研究者にとって有用な問いは、同じ保留済みの組み合わせと手数予算で、過去タスクの数や多様性が増えると手法が成功率を高めるかだ。EmbodiedCLBenchはその問いを構造化して試す。根拠は引き続き著者らの10月9日のプレプリントとプロジェクト公開であり、BIG CHANGEはベンチマークを実行しておらず、ここで独立再現もされていない。

出典・関連資料

  • Jie Huangほか「EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents」、arXiv v1、2026年10月9日公開。主論文はTongSimのタスク構築、オフライン行動グラフ、手数予算、8つの主要なハーネス／モデル構成、0～6例の限定分析を記録する。すべて著者報告のシミュレーション結果であり、プレプリントである。実機ロボット試験でも独立再現でもない。
  • EmbodiedCLBenchプロジェクトページ、2026年10月13日確認。著者のページはベンチマークを要約し、公開コードとデータセットへリンクする。論文の結果を繰り返すもので、独立した実験資料ではない。
  • arXiv版の記録、2026年10月13日確認。論文名、著者、10月9日のv1公開日を確認できる。別個の性能証拠ではなくメタデータを示す。