EmbodiedCLBench — препринт от 9 октября — проверяет, используют ли ИИ-агенты опыт простых домашних задач для новых сочетаний. В симуляциях авторов один пример существенно помог; больше примеров не обеспечило дальнейшего роста. Бенчмарк отделяет начальный эффект от доказательств накопления навыков.

Главное изменение

  • Что нового: Исследователи выпустили бенчмарк со 168 базовыми и 100 сложными домашними задачами для проверки переноса опыта на невиданные сочетания.
  • Как это работает: Агенты выполняют связанные базовые задачи, затем выбирают действия в офлайн-графе состояний симулятора TongSim. Успех — достижение цели в фиксированном лимите шагов.
  • Выводы авторов: В основном сравнении опыт двух базовых задач повысил успех во всех восьми парах тестовой среды и модели. В анализе числа примеров переход от нуля к одному помог, а от одного к шести не дал постоянного роста.
  • Зачем это важно: Результаты позволяют проверить, используют ли агенты новый опыт в незнакомых сочетаниях, не предполагая заранее пользу от большего числа примеров. Оцениваются симулированные решения, не физические роботы.

Домашняя задача становится цепочкой выборов

Бенчмарк использует TongSim — симулятор интерьеров, интерактивных предметов и действий: подойти, взять, открыть, включить. Базовые задачи собраны из коротких взаимодействий; сложные объединяют действия из двух-четырех категорий базовых задач. Примеры: «поставить чашку на стол» и «убраться в комнате».

В опубликованной оценке агент не управлял работающим симулятором. Закрытая версия TongSim использовалась для офлайн-графа переходов: узлы содержат изображения и действия-кандидаты; допустимый выбор меняет состояние, недопустимый нельзя выполнить. Агент выбирает до достижения цели или исчерпания шагов. Описания и кандидаты действий, по статье, созданы Qwen3.7-Plus и проверены вручную.

Измеряемый результат определен точно: доля успеха — часть задач, завершенных в лимите. В основном тесте кратчайший путь сложной задачи — 12 шагов, разрешены еще три. Неудача может означать неверную или неэффективную последовательность; это не измеряет захват предметов, управление движением или работу в меняющемся реальном доме.

Ранний опыт помогает, затем прирост выравнивается

В основная таблица результатов сравнивает выполнение сложных задач без примеров с двумя способами переноса опыта двух базовых задач. Контекстное обучение сохраняет траектории; обучение навыкам заменяет их написанным агентом Markdown-описанием. Оба подхода превзошли соответствующий zero-shot результат во всех четырех средах с двумя базовыми моделями. Например, Codex с Qwen3.8-Flash вырос с 4% до 34% с траекториями и 33% с описанием навыка. Это результаты авторов в рамках набора и лимита бенчмарка.

Анализ менял число базовых примеров от нуля до шести; использовались Hermes и OpenClaw с Qwen3.8-Flash. В двух средах и двух методах один пример поднял успех с 8%–10% до 28%–40%. После этого ни одна из четырех кривых не росла последовательно. Вывод относится к этим агентам и методам памяти в условиях статьи, а не задает общий предел пользы опыта.

Более узкую подсказку дает анализ действий : опытные агенты реже выбирали недопустимые действия, чем zero-shot агенты. В четырех средах с Qwen3.8-Flash статья сообщает о снижении на 13%–20%. Это согласуется с лучшим использованием вариантов действий, но не доказывает устойчивый общий навык.

Исследователям полезно проверить, повышает ли метод успех при росте числа и разнообразия прошлых задач на одинаковых отложенных сочетаниях и с тем же лимитом шагов. EmbodiedCLBench дает структурированный тест. Основание — препринт и выпуск проекта авторами 9 октября; BIG CHANGE не запускала тест, независимого воспроизведения здесь нет.

Источники и дополнительное чтение

  • Jie Huang и соавторы, “EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents”, arXiv v1, опубликовано 9 октября 2026 года. Основная статья описывает задачи TongSim, офлайн-граф действий, лимиты шагов, восемь конфигураций среды и модели и анализ от нуля до шести примеров. Все результаты — симуляции авторов; это препринт, не испытание робота или независимое воспроизведение.
  • Страница проекта EmbodiedCLBench, проверена 13 октября 2026 года. Страница авторов описывает бенчмарк и ссылки на код и данные; она повторяет статью, не является независимым экспериментом.
  • Запись версии arXiv, проверена 13 октября 2026 года. Подтверждает название, авторов и дату v1; содержит метаданные, не отдельные данные о результатах.