Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# EmbodiedCLBench: дополнительные примеры не дают устойчивого прироста

> EmbodiedCLBench проверяет симулированные домашние задачи. В исследовании авторов один пример улучшил успех на сложных задачах, но последующие примеры не дали постоянного выигрыша.

By BIG CHANGE Editorial

Published: 2026-10-13T06:25:18.817Z
Updated: 2026-10-13T06:25:18.817Z
Canonical: https://bigchange.ai/blog/embodiedclbench-robot-learning-examples

![Conceptual illustration of a simulated household room on a computer display, with an orange cup on the floor beside a low table and closed cupboard.](https://bigchange.ai/api/media/file/embodiedclbench-simulated-room-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. It does not depict an actual EmbodiedCLBench frame, test or physical deployment.

[EmbodiedCLBench](https://arxiv.org/html/2610.13021v1) — препринт от 9 октября — проверяет, используют ли ИИ-агенты опыт простых домашних задач для новых сочетаний. В симуляциях авторов один пример существенно помог; больше примеров не обеспечило дальнейшего роста. Бенчмарк отделяет начальный эффект от доказательств накопления навыков.

## Главное изменение

- **Что нового:** Исследователи выпустили бенчмарк со 168 базовыми и 100 сложными домашними задачами для проверки переноса опыта на невиданные сочетания.
- **Как это работает:** Агенты выполняют связанные базовые задачи, затем выбирают действия в офлайн-графе состояний симулятора TongSim. Успех — достижение цели в фиксированном лимите шагов.
- **Выводы авторов:** В основном сравнении опыт двух базовых задач повысил успех во всех восьми парах тестовой среды и модели. В анализе числа примеров переход от нуля к одному помог, а от одного к шести не дал постоянного роста.
- **Зачем это важно:** Результаты позволяют проверить, используют ли агенты новый опыт в незнакомых сочетаниях, не предполагая заранее пользу от большего числа примеров. Оцениваются симулированные решения, не физические роботы.

## Домашняя задача становится цепочкой выборов

Бенчмарк использует [TongSim](https://arxiv.org/html/2610.13021v1#S3.SS1) — симулятор интерьеров, интерактивных предметов и действий: подойти, взять, открыть, включить. Базовые задачи собраны из коротких взаимодействий; сложные объединяют действия из двух-четырех категорий базовых задач. Примеры: «поставить чашку на стол» и «убраться в комнате».

В опубликованной оценке агент не управлял работающим симулятором. Закрытая версия TongSim использовалась для офлайн-графа переходов: узлы содержат изображения и действия-кандидаты; допустимый выбор меняет состояние, недопустимый нельзя выполнить. Агент выбирает до достижения цели или исчерпания шагов. Описания и кандидаты действий, по статье, созданы Qwen3.7-Plus и проверены вручную.

Измеряемый результат определен точно: [доля успеха](https://arxiv.org/html/2610.13021v1#S4.SS1) — часть задач, завершенных в лимите. В основном тесте кратчайший путь сложной задачи — 12 шагов, разрешены еще три. Неудача может означать неверную или неэффективную последовательность; это не измеряет захват предметов, управление движением или работу в меняющемся реальном доме.

## Ранний опыт помогает, затем прирост выравнивается

В [основная таблица результатов](https://arxiv.org/html/2610.13021v1#S4.SS1) сравнивает выполнение сложных задач без примеров с двумя способами переноса опыта двух базовых задач. Контекстное обучение сохраняет траектории; обучение навыкам заменяет их написанным агентом Markdown-описанием. Оба подхода превзошли соответствующий zero-shot результат во всех четырех средах с двумя базовыми моделями. Например, Codex с Qwen3.8-Flash вырос с 4% до 34% с траекториями и 33% с описанием навыка. Это результаты авторов в рамках набора и лимита бенчмарка.

Анализ менял число базовых примеров от нуля до шести; использовались Hermes и OpenClaw с Qwen3.8-Flash. В двух средах и двух методах один пример поднял успех с 8%–10% до 28%–40%. После этого ни одна из четырех кривых не росла последовательно. Вывод относится к этим агентам и методам памяти в условиях статьи, а не задает общий предел пользы опыта.

Более узкую подсказку дает [анализ действий](https://arxiv.org/html/2610.13021v1#S5.SS3) : опытные агенты реже выбирали недопустимые действия, чем zero-shot агенты. В четырех средах с Qwen3.8-Flash статья сообщает о снижении на 13%–20%. Это согласуется с лучшим использованием вариантов действий, но не доказывает устойчивый общий навык.

Исследователям полезно проверить, повышает ли метод успех при росте числа и разнообразия прошлых задач на одинаковых отложенных сочетаниях и с тем же лимитом шагов. EmbodiedCLBench дает структурированный тест. Основание — препринт и выпуск проекта авторами 9 октября; BIG CHANGE не запускала тест, независимого воспроизведения здесь нет.

## Источники и дополнительное чтение

- [Jie Huang и соавторы, “EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents”, arXiv v1](https://arxiv.org/html/2610.13021v1), опубликовано 9 октября 2026 года. Основная статья описывает задачи TongSim, офлайн-граф действий, лимиты шагов, восемь конфигураций среды и модели и анализ от нуля до шести примеров. Все результаты — симуляции авторов; это препринт, не испытание робота или независимое воспроизведение.
- [Страница проекта EmbodiedCLBench](https://pku-value-lab.github.io/EmbodiedCLBench-homepage/), проверена 13 октября 2026 года. Страница авторов описывает бенчмарк и ссылки на код и данные; она повторяет статью, не является независимым экспериментом.
- [Запись версии arXiv](https://arxiv.org/abs/2610.13021v1), проверена 13 октября 2026 года. Подтверждает название, авторов и дату v1; содержит метаданные, не отдельные данные о результатах.

## Sources

- [Статья EmbodiedCLBench, arXiv HTML v1](https://arxiv.org/html/2610.13021v1) — Основной источник по задачам, протоколу и симуляционным результатам авторов в препринте от 9 октября 2026 года; без независимого повтора.
- [Страница проекта EmbodiedCLBench](https://pku-value-lab.github.io/EmbodiedCLBench-homepage/) — Обзор бенчмарка и ссылки авторов на код и данные; повторяет результаты статьи.
- [Запись версии EmbodiedCLBench на arXiv](https://arxiv.org/abs/2610.13021v1) — Подтверждает название, авторов и дату v1; отдельных экспериментальных доказательств нет.