EmbodiedCLBench findet keinen stetigen Gewinn durch zusätzliche Beispiele

EmbodiedCLBench, ein am 9. Oktober veröffentlichtes Preprint, prüft, ob KI-Agenten Erfahrungen mit einfachen Haushaltsaufgaben nutzen können, um neue Kombinationen dieser Aufgaben zu lösen. In der Simulation der Autoren verbesserte ein früheres Beispiel die Ergebnisse deutlich. Weitere Beispiele steigerten den Erfolg nicht verlässlich. Der Benchmark hilft damit, einen anfänglichen Nutzen von Belegen für stetig anwachsende Fähigkeiten zu trennen.

Die große Veränderung

• Was sich änderte: Die Forschenden veröffentlichten einen Benchmark mit 168 einfachen und 100 fortgeschrittenen Haushaltsaufgaben, um den Transfer auf unbekannte Aufgabenkombinationen zu prüfen.
• So funktioniert es: Die Agenten erledigen zunächst verwandte einfache Aufgaben. Danach wählen sie Aktionen aus Kandidaten in einem Offline-Zustandsgraphen des Haushaltssimulators TongSim. Erfolg bedeutet, das Ziel innerhalb eines festen Schrittekontingents zu erreichen.
• Ergebnisse der Autoren: Im Hauptvergleich erhöhte die Erfahrung aus zwei einfachen Aufgaben den Erfolg bei fortgeschrittenen Aufgaben in allen acht getesteten Kombinationen aus Harness und Modell. Die engere Analyse der Beispielzahl zeigte einen deutlichen Nutzen von null auf eins, aber keinen stetigen Aufwärtstrend von eins auf sechs.
• Warum das wichtig ist: Die Ergebnisse geben Entwicklern eine Möglichkeit zu testen, ob ein Agent neue Erfahrungen für unbekannte Kombinationen nutzt, statt einen Vorteil durch mehr gespeicherte Beispiele anzunehmen. Die Studie bewertet simulierte Entscheidungen, nicht den Betrieb eines physischen Roboters.

Eine Haushaltsaufgabe wird zur Folge von Entscheidungen

Der Benchmark verwendet TongSim, einen Simulator mit Innenräumen, interaktiven Objekten und Aktionen wie hingehen, aufheben, öffnen oder einschalten. Einfache Aufgaben bestehen aus kurzen Folgen von Objektinteraktionen. Fortgeschrittene Aufgaben kombinieren Aktionen aus zwei bis vier einfachen Aufgabenkategorien. Als Beispiele nennt die Arbeit „die Tasse auf den Tisch stellen“ und „das Zimmer aufräumen“.

In der veröffentlichten Bewertung steuert der Agent keinen laufenden Simulator. Die Autoren nutzten eine geschlossene TongSim-Version, um einen Offline-Zustandsübergangsgraphen aufzubauen. Jeder Knoten enthält ein Simulatorbild und mögliche Aktionen. Eine ausführbare Wahl führt in einen anderen Zustand; eine ungültige Aktion kann dort nicht ausgeführt werden. Der Agent wiederholt die Auswahl, bis er das Ziel erreicht oder die Schritte aufgebraucht sind. Laut Arbeit wurden Aufgabenbeschreibungen und Aktionskandidaten mit Qwen3.7-Plus erstellt und manuell geprüft.

Das Design legt das gemessene Ergebnis genau fest: Die Erfolgsquote ist der Anteil der Aufgaben, die innerhalb des Kontingents abgeschlossen werden. Fortgeschrittene Aufgaben im Haupttest haben einen kürzesten Pfad von 12 Schritten; beim Test sind drei weitere erlaubt. Ein Fehlschlag kann daher eine falsche oder ineffiziente Abfolge unter dieser Grenze widerspiegeln. Gemessen werden weder Greifsicherheit noch Bewegungssteuerung oder Leistung in einem veränderlichen realen Haushalt.

Frühere Aufgaben helfen, dann flacht der Gewinn ab

Die Hauptergebnistabelle vergleicht Agenten ohne frühere Beispiele bei fortgeschrittenen Aufgaben mit zwei Methoden, Erfahrungen aus zwei verwandten einfachen Aufgaben zu übertragen. In-Context-Lernen bewahrt vollständige frühere Interaktionsverläufe. Skill-Lernen ersetzt sie durch eine vom Agenten verfasste Markdown-Fertigkeitszusammenfassung. In vier Harnesses, jeweils mit zwei Basismodellen, übertrafen beide Ansätze das entsprechende Ergebnis ohne Beispiele. Das Codex-Harness mit Qwen3.8-Flash stieg etwa von 4% ohne Lernphase auf 34% mit Verläufen und 33% mit einer Fertigkeitszusammenfassung. Das sind Autorenresultate mit dem Aufgabensatz und Kontingent dieses Benchmarks.

Die Analyse der Beispielzahl variiert die Zahl einfacher Aufgabenbeispiele von null bis sechs. Hier nutzten die Autoren nur Hermes und OpenClaw, beide mit Qwen3.8-Flash. In zwei Harnesses und zwei Lernmethoden erhöhte ein Beispiel den Erfolg fortgeschrittener Aufgaben von 8–10% ohne Beispiele auf 28–40%. Danach stieg keine der vier berichteten Kurven mit weiteren Beispielen stetig an. Der Befund gilt für diese Agenten und Speichermethoden unter den Bedingungen der Arbeit; er legt keine allgemeine Grenze des Erfahrungsnutzens fest.

Die Aktionsanalyse der Autoren gibt einen engeren Hinweis zur Verbesserung. Gegenüber Zero-Shot-Läufen wählten erfahrene Agenten in den protokollierten Entscheidungen weniger ungültige Aktionen. Für vier mit Qwen3.8-Flash analysierte Harnesses berichtet die Arbeit einen Rückgang von 13–20%. Das passt zu einer besseren Nutzung verfügbarer Aktionen, beweist aber keine dauerhafte, allgemeine Fähigkeit.

Für Forschende bei der Wahl einer Evaluation ist die Frage nützlich, ob eine Methode den Erfolg steigert, wenn Zahl und Vielfalt früherer Aufgaben zunehmen, bei denselben zurückgehaltenen Kombinationen und demselben Schrittekontingent. EmbodiedCLBench bietet dafür einen strukturierten Test. Die Belege bleiben das Preprint und der Projektstart der Autoren vom 9. Oktober; BIG CHANGE hat den Benchmark nicht ausgeführt und die Ergebnisse hier nicht unabhängig repliziert.

Quellen und weiterführende Informationen

• Jie Huang und Mitautoren, „EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents“, arXiv v1, veröffentlicht am 9. Oktober 2026. Die Hauptarbeit dokumentiert TongSim-Aufgabenbau, Offline-Aktionsgraph, Schrittlimits, acht Hauptkonfigurationen aus Harness und Modell sowie die engere Analyse von null bis sechs Beispielen. Alle Ergebnisse sind von den Autoren berichtete Simulationen; es handelt sich um ein Preprint, keinen Versuch mit physischem Roboter und keine unabhängige Replikation.
• Projektseite von EmbodiedCLBench, abgerufen am 13. Oktober 2026. Die Autorenseite fasst den Benchmark zusammen und verlinkt Code und Datensatz. Sie wiederholt die Ergebnisse der Arbeit und ist keine unabhängige Experimentquelle.
• arXiv-Versionsnachweis, abgerufen am 13. Oktober 2026. Bestätigt Titel, Autoren und das v1-Datum vom 9. Oktober; liefert Metadaten, keinen separaten Leistungsbeleg.