AI-translated from English; not yet reviewed by a fluent editor.

# EmbodiedCLBench não encontra ganhos consistentes com mais exemplos

> O EmbodiedCLBench testa tarefas domésticas simuladas. Um exemplo aumenta o sucesso em tarefas avançadas no estudo dos autores, mas exemplos adicionais não trazem ganhos consistentes.

By BIG CHANGE Editorial

Published: 2026-10-13T06:25:18.817Z
Updated: 2026-10-13T06:25:18.817Z
Canonical: https://bigchange.ai/blog/embodiedclbench-robot-learning-examples

![Conceptual illustration of a simulated household room on a computer display, with an orange cup on the floor beside a low table and closed cupboard.](https://bigchange.ai/api/media/file/embodiedclbench-simulated-room-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. It does not depict an actual EmbodiedCLBench frame, test or physical deployment.

[EmbodiedCLBench](https://arxiv.org/html/2610.13021v1), um preprint publicado a 9 de outubro, testa se os agentes de IA conseguem usar a experiência em tarefas domésticas simples para resolver novas combinações dessas tarefas. Na avaliação simulada dos autores, um exemplo anterior produziu uma melhoria acentuada. Acrescentar mais exemplos não aumentou o sucesso de forma fiável. O benchmark ajuda assim a distinguir um benefício inicial de provas de acumulação constante de competências.

## A grande mudança

- **O que mudou:** Os investigadores lançaram um benchmark com 168 tarefas domésticas básicas e 100 avançadas para testar se os agentes conseguem transferir experiência para combinações de tarefas ainda não vistas.
- **Como funciona:** Os agentes começam por concluir tarefas básicas relacionadas. Depois escolhem ações entre candidatas num grafo de estados offline construído a partir do simulador doméstico TongSim. Uma tarefa é bem-sucedida se o agente atingir o objetivo dentro de um limite fixo de passos.
- **O que os autores descobriram:** Na comparação principal, o acesso a experiências de duas tarefas básicas melhorou o sucesso nas tarefas avançadas nas oito combinações de harness e modelo testadas. Numa análise mais restrita do número de exemplos, passar de zero para um ajudou bastante, enquanto passar de um para seis não revelou uma tendência ascendente consistente.
- **Porque importa:** Os resultados dão aos programadores uma forma de testar se um agente usa novas experiências para resolver combinações desconhecidas, em vez de presumir que guardar mais exemplos melhora o desempenho. O estudo avalia decisões simuladas, não a operação de um robô físico.

## Uma tarefa doméstica transforma-se numa sequência de escolhas

O benchmark usa [TongSim](https://arxiv.org/html/2610.13021v1#S3.SS1), um simulador com cenários interiores, objetos interativos e ações como caminhar até um objeto, pegá-lo, abri-lo e ligá-lo. Os autores constroem tarefas básicas a partir de sequências curtas de interações com objetos. As tarefas avançadas combinam ações de duas a quatro categorias de tarefas básicas. O artigo dá “pôr a chávena na mesa” como exemplo básico e “arrumar a divisão” como exemplo avançado.

Na avaliação publicada, o agente não controla um simulador em execução. Os autores usaram uma versão fechada do TongSim para construir um grafo offline de transições de estado. Cada nó contém uma imagem do simulador e ações candidatas. Uma escolha executável leva o agente a outro estado; uma ação inválida não pode ser executada nesse estado. O agente repete a escolha até atingir o objetivo ou esgotar os passos. O artigo diz que as descrições das tarefas e as ações candidatas foram geradas com Qwen3.7-Plus e verificadas manualmente.

Este desenho torna preciso o resultado medido: a [taxa de sucesso](https://arxiv.org/html/2610.13021v1#S4.SS1) é a proporção de tarefas concluídas dentro do limite. As tarefas avançadas do teste principal têm um percurso mínimo de 12 passos, com mais três passos permitidos durante o teste. Assim, uma falha pode refletir uma sequência errada ou ineficiente dentro desse limite. Não mede a fiabilidade da preensão, o controlo motor nem o desempenho numa casa física em mudança.

## As tarefas anteriores ajudam; depois, os ganhos estabilizam

A [tabela principal de resultados](https://arxiv.org/html/2610.13021v1#S4.SS1) compara agentes que tentam tarefas avançadas sem exemplos anteriores com duas formas de transferir experiência de duas tarefas básicas relacionadas. A aprendizagem em contexto mantém as trajetórias completas das interações anteriores. A aprendizagem de competências substitui essas trajetórias por um resumo de competências em Markdown escrito pelo agente. Em quatro harnesses, cada um associado a dois modelos base, ambas as abordagens superaram o resultado avançado correspondente sem exemplos. Por exemplo, o harness Codex com Qwen3.8-Flash subiu de 4% sem fase de aprendizagem para 34% com trajetórias e 33% com um resumo de competências. São resultados dos autores para o conjunto de tarefas e o limite deste benchmark.

A análise da quantidade de exemplos varia entre zero e seis exemplos de tarefas básicas. Aqui, os autores usaram apenas Hermes e OpenClaw, ambos com Qwen3.8-Flash. Nos dois harnesses e nos dois métodos de aprendizagem, um exemplo elevou o sucesso em tarefas avançadas do intervalo de 8%–10% sem exemplos para 28%–40%. Depois desse primeiro exemplo, nenhuma das quatro curvas comunicadas subiu de forma consistente com a adição de exemplos. A conclusão aplica-se a estes agentes e métodos de memória nas condições de avaliação do artigo; não estabelece um limite geral para o benefício da experiência.

A [análise de ações](https://arxiv.org/html/2610.13021v1#S5.SS3) dos autores dá uma pista mais específica sobre a melhoria. Em comparação com execuções sem exemplos, os agentes com experiência escolheram menos ações inválidas nas decisões registadas. O artigo comunica uma redução de 13%–20% nos quatro harnesses analisados com Qwen3.8-Flash. O padrão é compatível com uma melhor utilização das ações disponíveis, mas não prova que os agentes tenham aprendido uma competência duradoura e geral.

Para os investigadores que escolhem uma avaliação, a questão útil é saber se um método melhora o sucesso à medida que aumentam o número e a variedade de tarefas anteriores, com as mesmas composições reservadas e o mesmo limite de passos. O EmbodiedCLBench oferece um teste estruturado dessa questão. As provas continuam a ser o preprint e o lançamento do projeto pelos autores a 9 de outubro; a BIG CHANGE não executou o benchmark e os resultados não foram aqui reproduzidos de forma independente.

## Fontes e leituras adicionais

- [Jie Huang e coautores, “EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents”, arXiv v1](https://arxiv.org/html/2610.13021v1), publicado a 9 de outubro de 2026. O artigo principal documenta a construção das tarefas no TongSim, o grafo de ações offline, os limites de passos, as oito configurações principais de harness e modelo e a análise mais restrita de zero a seis exemplos. Todos os resultados são simulações comunicadas pelos autores; trata-se de um preprint, não de um ensaio com robôs físicos nem de uma reprodução independente.
- [Página do projeto EmbodiedCLBench](https://pku-value-lab.github.io/EmbodiedCLBench-homepage/), consultada a 13 de outubro de 2026. A página dos autores resume o benchmark e liga às versões publicadas do código e do conjunto de dados. Repete as conclusões do artigo e não é uma fonte experimental independente.
- [Registo de versões do arXiv](https://arxiv.org/abs/2610.13021v1), consultado a 13 de outubro de 2026. Confirma o título do artigo, os autores e a data da versão v1, de 9 de outubro; fornece metadados, não provas independentes de desempenho.

## Sources

- [Artigo EmbodiedCLBench, arXiv HTML v1](https://arxiv.org/html/2610.13021v1) — Fonte primária para a construção das tarefas, o protocolo e os resultados de simulação comunicados pelos autores no preprint de 9 de outubro de 2026; sem reprodução independente.
- [Página do projeto EmbodiedCLBench](https://pku-value-lab.github.io/EmbodiedCLBench-homepage/) — Visão geral do benchmark e ligações para o código e conjunto de dados dos autores; repete os resultados do artigo.
- [Registo da versão EmbodiedCLBench no arXiv](https://arxiv.org/abs/2610.13021v1) — Confirma o título, os autores e a data da v1; não oferece provas experimentais distintas.