Édition Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# EmbodiedCLBench ne trouve pas de gain régulier avec davantage d’exemples

> EmbodiedCLBench évalue des tâches domestiques simulées. Dans l’étude des auteurs, un exemple améliore la réussite des tâches avancées, mais les exemples supplémentaires n’apportent pas de gain régulier.

By BIG CHANGE Editorial

Published: 2026-10-13T06:25:18.817Z
Updated: 2026-10-13T06:25:18.817Z
Canonical: https://bigchange.ai/blog/embodiedclbench-robot-learning-examples

![Conceptual illustration of a simulated household room on a computer display, with an orange cup on the floor beside a low table and closed cupboard.](https://bigchange.ai/api/media/file/embodiedclbench-simulated-room-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE. It does not depict an actual EmbodiedCLBench frame, test or physical deployment.

[EmbodiedCLBench](https://arxiv.org/html/2610.13021v1), un prépublication mise en ligne le 9 octobre, vérifie si des agents d’IA peuvent utiliser leur expérience de tâches domestiques simples pour résoudre de nouvelles combinaisons. Dans l’évaluation simulée des auteurs, un exemple antérieur a nettement amélioré les résultats. En ajouter d’autres n’a pas fiablement accru la réussite. Le benchmark aide donc à distinguer un bénéfice initial d’une accumulation continue de compétences.

## Le grand changement

- **Ce qui change :** Les chercheurs ont publié un benchmark de 168 tâches domestiques élémentaires et 100 tâches avancées pour déterminer si les agents transfèrent leur expérience à des combinaisons inédites.
- **Fonctionnement :** Les agents accomplissent d’abord des tâches élémentaires apparentées, puis choisissent des actions candidates dans un graphe d’états hors ligne issu du simulateur domestique TongSim. La tâche réussit si l’objectif est atteint dans un nombre fixe d’étapes.
- **Résultats des auteurs :** Dans la comparaison principale, l’expérience de deux tâches élémentaires a amélioré la réussite des tâches avancées dans les huit associations de harness et modèle testées. Dans l’analyse plus restreinte du nombre d’exemples, passer de zéro à un aide nettement, mais de un à six ne produit pas de hausse régulière.
- **Pourquoi c’est important :** Les résultats permettent aux développeurs de vérifier si un agent utilise de nouvelles expériences pour résoudre des combinaisons inconnues, plutôt que de supposer que stocker davantage d’exemples améliore les performances. L’étude évalue des décisions simulées, pas le fonctionnement d’un robot physique.

## Une tâche domestique devient une suite de choix

Le benchmark utilise [TongSim](https://arxiv.org/html/2610.13021v1#S3.SS1), un simulateur avec scènes intérieures, objets interactifs et actions comme s’approcher, prendre, ouvrir ou allumer. Les tâches élémentaires sont de courtes séquences d’interactions avec des objets. Les tâches avancées combinent des actions de deux à quatre catégories élémentaires. L’article cite « poser la tasse sur la table » et « ranger la pièce » comme exemples.

Dans l’évaluation publiée, l’agent ne commande pas un simulateur en cours d’exécution. Les auteurs ont utilisé une version fermée de TongSim pour construire un graphe hors ligne de transitions d’état. Chaque nœud contient une image du simulateur et des actions candidates. Un choix exécutable mène à un autre état ; une action invalide ne peut y être exécutée. L’agent répète ses choix jusqu’à atteindre l’objectif ou épuiser ses étapes. Selon l’article, Qwen3.7-Plus a généré les descriptions et actions candidates, ensuite vérifiées manuellement.

Cette conception définit précisément le résultat mesuré : le [taux de réussite](https://arxiv.org/html/2610.13021v1#S4.SS1) est la part des tâches achevées dans la limite. Dans le test principal, le chemin minimal des tâches avancées compte 12 étapes et trois étapes supplémentaires sont autorisées au test. Un échec peut donc refléter une séquence incorrecte ou inefficace dans cette limite. Il ne mesure ni la fiabilité de la préhension, ni le contrôle moteur, ni les performances dans un domicile réel changeant.

## Les tâches antérieures aident, puis les gains plafonnent

Le [tableau principal des résultats](https://arxiv.org/html/2610.13021v1#S4.SS1) compare les agents qui tentent des tâches avancées sans exemple préalable à deux méthodes de transfert de l’expérience de deux tâches élémentaires apparentées. L’apprentissage en contexte conserve les trajectoires complètes des interactions antérieures. L’apprentissage de compétences les remplace par un résumé Markdown rédigé par l’agent. Dans quatre harness associés chacun à deux modèles de base, les deux méthodes dépassent le résultat avancé correspondant sans exemple. Par exemple, le harness Codex avec Qwen3.8-Flash passe de 4 % sans phase d’apprentissage à 34 % avec trajectoires et 33 % avec résumé de compétence. Ce sont les résultats des auteurs pour les tâches et la limite de ce benchmark.

L’analyse fait varier de zéro à six le nombre d’exemples de tâches élémentaires. Les auteurs n’ont utilisé ici que Hermes et OpenClaw, tous deux avec Qwen3.8-Flash. Dans les deux harness et les deux méthodes, un exemple fait passer la réussite avancée de 8–10 % sans exemple à 28–40 %. Ensuite, aucune des quatre courbes publiées ne monte régulièrement avec l’ajout d’exemples. Le constat concerne ces agents et méthodes de mémoire dans les conditions de l’étude ; il n’établit pas de limite générale au bénéfice de l’expérience.

L’[analyse des actions](https://arxiv.org/html/2610.13021v1#S5.SS3) des auteurs fournit un indice plus ciblé. Par rapport aux exécutions sans exemple, les agents expérimentés choisissent moins d’actions invalides dans les décisions enregistrées. L’article rapporte une baisse de 13–20 % dans les quatre harness étudiés avec Qwen3.8-Flash. Cela concorde avec une meilleure utilisation des actions disponibles, sans prouver l’acquisition d’une compétence durable et générale.

Pour choisir une évaluation, les chercheurs peuvent demander si une méthode améliore la réussite quand le nombre et la variété des tâches antérieures augmentent, à compositions réservées et limite d’étapes identiques. EmbodiedCLBench structure ce test. Les éléments disponibles restent le prépublication et le lancement du projet par les auteurs le 9 octobre ; BIG CHANGE n’a pas exécuté le benchmark et ces résultats n’ont pas été reproduits indépendamment ici.

## Sources et lectures complémentaires

- [Jie Huang et coauteurs, « EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents », arXiv v1](https://arxiv.org/html/2610.13021v1), publié le 9 octobre 2026. L’article principal décrit la construction des tâches TongSim, le graphe d’actions hors ligne, les limites d’étapes, huit configurations principales de harness et modèle et l’analyse plus restreinte de zéro à six exemples. Tous les résultats sont des simulations rapportées par les auteurs ; c’est un prépublication, pas un essai de robot physique ni une réplication indépendante.
- [Page du projet EmbodiedCLBench](https://pku-value-lab.github.io/EmbodiedCLBench-homepage/), consultée le 13 octobre 2026. La page des auteurs résume le benchmark et renvoie au code et au jeu de données publiés. Elle reprend les résultats de l’article et n’est pas une source expérimentale indépendante.
- [Notice de version arXiv](https://arxiv.org/abs/2610.13021v1), consultée le 13 octobre 2026. Elle confirme le titre, les auteurs et la date de v1, le 9 octobre ; elle fournit des métadonnées, pas une preuve indépendante des performances.

## Sources

- [Article EmbodiedCLBench, arXiv HTML v1](https://arxiv.org/html/2610.13021v1) — Source principale pour la construction des tâches, le protocole et les résultats simulés rapportés par les auteurs dans le prépublication du 9 octobre 2026 ; aucune réplication indépendante.
- [Page du projet EmbodiedCLBench](https://pku-value-lab.github.io/EmbodiedCLBench-homepage/) — Présentation du benchmark et liens des auteurs vers le code et les données ; reprend les résultats de l’article.
- [Notice de version d’EmbodiedCLBench sur arXiv](https://arxiv.org/abs/2610.13021v1) — Confirme le titre, les auteurs et la date de v1 ; ne fournit pas de preuve expérimentale distincte.