Edição em Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# EmbodiedCLBench não encontra ganho constante com mais exemplos

> EmbodiedCLBench testa tarefas domésticas simuladas. Um exemplo aumentou o sucesso em tarefas avançadas no estudo dos autores, mas exemplos extras não trouxeram ganho constante.

By BIG CHANGE Editorial

Published: 2026-10-13T06:25:18.817Z
Updated: 2026-10-13T06:25:18.817Z
Canonical: https://bigchange.ai/blog/embodiedclbench-robot-learning-examples

![Conceptual illustration of a simulated household room on a computer display, with an orange cup on the floor beside a low table and closed cupboard.](https://bigchange.ai/api/media/file/embodiedclbench-simulated-room-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. It does not depict an actual EmbodiedCLBench frame, test or physical deployment.

[EmbodiedCLBench](https://arxiv.org/html/2610.13021v1), um preprint publicado em 9 de outubro, testa se agentes de IA conseguem usar experiência com tarefas domésticas simples para resolver novas combinações. Na avaliação simulada dos autores, um exemplo anterior gerou grande melhora. Acrescentar outros não aumentou o sucesso de forma confiável. O benchmark ajuda a separar um benefício inicial de evidências de habilidades que se acumulam continuamente.

## A grande mudança

- **O que mudou:** Os pesquisadores lançaram um benchmark com 168 tarefas domésticas básicas e 100 avançadas para testar se agentes transferem experiência a combinações ainda não vistas.
- **Como funciona:** Os agentes primeiro concluem tarefas básicas relacionadas. Depois escolhem ações candidatas em um grafo de estados offline criado a partir do simulador doméstico TongSim. A tarefa tem sucesso quando o agente alcança o objetivo dentro de um limite fixo de passos.
- **O que os autores encontraram:** Na comparação principal, o acesso à experiência de duas tarefas básicas elevou o sucesso em tarefas avançadas nas oito combinações de harness e modelo testadas. Na análise mais restrita da quantidade de exemplos, passar de zero a um ajudou bastante; de um a seis não houve tendência constante de alta.
- **Por que importa:** Os resultados dão aos desenvolvedores uma forma de testar se o agente usa experiências novas para resolver combinações desconhecidas, em vez de presumir que guardar mais exemplos melhora o desempenho. O estudo avalia decisões simuladas, não a operação de um robô físico.

## Uma tarefa doméstica vira uma sequência de escolhas

O benchmark usa [TongSim](https://arxiv.org/html/2610.13021v1#S3.SS1), um simulador com ambientes internos, objetos interativos e ações como se aproximar, pegar, abrir e ligar. Os autores constroem tarefas básicas com sequências curtas de interação com objetos. Tarefas avançadas combinam ações de duas a quatro categorias básicas. O artigo cita “colocar a xícara na mesa” e “arrumar o quarto” como exemplos.

Na avaliação publicada, o agente não controla um simulador em execução. Os autores usaram uma versão fechada do TongSim para construir um grafo offline de transições de estado. Cada nó contém uma imagem do simulador e ações candidatas. Uma escolha executável leva o agente a outro estado; ali uma ação inválida não pode ser executada. O agente repete a escolha até chegar ao objetivo ou acabar os passos. Segundo o artigo, Qwen3.7-Plus gerou descrições e ações candidatas, que foram conferidas manualmente.

Esse desenho define com precisão o resultado medido: a [taxa de sucesso](https://arxiv.org/html/2610.13021v1#S4.SS1) é a proporção de tarefas concluídas dentro do limite. As tarefas avançadas do teste principal têm caminho mínimo de 12 passos, com três adicionais permitidos no teste. Assim, uma falha pode refletir uma sequência errada ou ineficiente dentro do limite. A medida não avalia confiabilidade de preensão, controle motor nem desempenho em uma casa física em mudança.

## Tarefas anteriores ajudam; depois os ganhos se estabilizam

A [tabela principal de resultados](https://arxiv.org/html/2610.13021v1#S4.SS1) compara agentes que tentam tarefas avançadas sem exemplos prévios com duas formas de levar a experiência de duas tarefas básicas relacionadas. O aprendizado em contexto mantém as trajetórias completas das interações anteriores. O aprendizado de habilidades troca essas trajetórias por um resumo de habilidade em Markdown escrito pelo agente. Em quatro harnesses, cada um com dois modelos-base, as duas abordagens superaram o resultado avançado correspondente sem exemplos. Por exemplo, o harness Codex com Qwen3.8-Flash passou de 4% sem etapa de aprendizado para 34% com trajetórias e 33% com resumo de habilidade. São resultados dos autores neste conjunto e orçamento do benchmark.

A análise da quantidade de exemplos varia de zero a seis exemplos de tarefas básicas. Aqui, os autores usaram apenas Hermes e OpenClaw, ambos com Qwen3.8-Flash. Nos dois harnesses e métodos, um exemplo elevou o sucesso avançado da faixa de 8%–10% sem exemplos para 28%–40%. Depois dele, nenhuma das quatro curvas relatadas subiu de forma consistente com mais exemplos. O achado vale para esses agentes e métodos de memória nas condições do artigo; não define um limite geral para o benefício da experiência.

A [análise de ações](https://arxiv.org/html/2610.13021v1#S5.SS3) dos autores dá uma pista mais específica. Comparados aos testes sem exemplos, agentes experientes escolheram menos ações inválidas nas decisões registradas. O artigo relata queda de 13%–20% nos quatro harnesses analisados com Qwen3.8-Flash. O padrão é compatível com melhor uso das opções disponíveis, mas não prova a aprendizagem de uma habilidade duradoura e geral.

Para pesquisadores que escolhem uma avaliação, a pergunta útil é se um método aumenta o sucesso quando crescem o número e a variedade de tarefas anteriores, com as mesmas composições reservadas e o mesmo limite de passos. EmbodiedCLBench oferece um teste estruturado. A evidência continua sendo o preprint e o lançamento do projeto pelos autores em 9 de outubro; a BIG CHANGE não executou o benchmark e os resultados não foram reproduzidos independentemente aqui.

## Fontes e leituras adicionais

- [Jie Huang e coautores, “EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents”, arXiv v1](https://arxiv.org/html/2610.13021v1), publicado em 9 de outubro de 2026. O artigo principal documenta a construção de tarefas no TongSim, o grafo offline de ações, limites de passos, oito configurações principais de harness/modelo e a análise mais restrita de zero a seis exemplos. Todos os resultados são simulações relatadas pelos autores; é um preprint, não um teste de robô físico nem uma replicação independente.
- [Página do projeto EmbodiedCLBench](https://pku-value-lab.github.io/EmbodiedCLBench-homepage/), consultada em 13 de outubro de 2026. A página dos autores resume o benchmark e liga ao código e ao conjunto de dados publicados. Ela repete os resultados do artigo e não é uma fonte experimental independente.
- [Registro de versão do arXiv](https://arxiv.org/abs/2610.13021v1), consultado em 13 de outubro de 2026. Confirma título, autores e data da v1 em 9 de outubro; fornece metadados, não evidência de desempenho separada.

## Sources

- [Artigo EmbodiedCLBench, arXiv HTML v1](https://arxiv.org/html/2610.13021v1) — Fonte primária sobre construção das tarefas, protocolo e resultados de simulação relatados pelos autores no preprint de 9 de outubro de 2026; sem reprodução independente.
- [Página do projeto EmbodiedCLBench](https://pku-value-lab.github.io/EmbodiedCLBench-homepage/) — Visão geral do benchmark e links dos autores para código e dados; repete os resultados do artigo.
- [Registro de versão do EmbodiedCLBench no arXiv](https://arxiv.org/abs/2610.13021v1) — Confirma título, autores e data da v1; não traz evidência experimental separada.