Die Forschenden hinter H-JEPA beschreiben einen Ansatz, mit dem ein visuelles Weltmodell auf mehreren Zeitskalen planen kann. In einem simulierten Labyrinth bewältigte ihr dreistufiger Planer 73% der Aufgaben, verglichen mit 18% bei einem flachen Modell, und benötigte weniger Planungsrechenleistung. Die Arbeit vom 5. Oktober testet auch aufgezeichnete Videos realer Roboter. Dabei werden vorgeschlagene Pfade offline bewertet; ein Roboter bei der Ausführung der Pläne ist nicht zu sehen.

Für Forschende und Ingenieure in der Robotik lautet die relevante Frage, ob die Verbesserung dadurch entsteht, dass ein langer Plan in kürzere Schritte zerlegt wird, dass ein besseres Maß für den Fortschritt zum Ziel erlernt wird oder durch beides. Die Arbeit prüft diese Erklärungen getrennt. Die Ergebnisse sind für die Forschung zur visuellen Planung vielversprechend, erlauben aber nur begrenzte Rückschlüsse auf physische Roboter.

Die wesentliche Veränderung

  • Was sich geändert hat: H-JEPA trainiert eine Folge aktionsabhängiger Vorhersagemodelle. Jede Ebene blickt in ihrer eigenen erlernten Repräsentation weiter voraus. Der Planer macht aus den vorhergesagten Zuständen der oberen Ebene Unterziele für die darunterliegende Ebene.
  • Warum das wichtig ist: Im Visual AntMaze berichten die Autoren eine Erfolgsquote von 73,3% für die dreistufige Planung gegenüber 18,0% für eine flache Baseline. Ablationen deuten darauf hin, dass sowohl kürzere Planungsabschnitte als auch eine nützlichere Zielrepräsentation auf höherer Ebene beitragen. Ein Robotikteam kann die beiden Mechanismen getrennt untersuchen, statt Hierarchie als unteilbare Verbesserung zu behandeln.
  • Worauf zu achten ist: Alle vier Aufgabenumgebungen sind simuliert. Der zusätzliche DROID-Test vergleicht geplante Roboterarm-Pfade mit aufgezeichneten Expertenpfaden. Ein Closed-Loop-Test in unterschiedlichen physischen Umgebungen würde eine andere, weiterhin offene Frage beantworten.

Planung auf mehreren Zeitskalen

Ein Weltmodell sagt voraus, wie sich eine Umgebung nach einer Aktion verändern könnte. H-JEPA verwendet eine prädiktive Architektur mit gemeinsamem Embedding (JEPA), die kompakte Repräsentationen künftiger Beobachtungen vorhersagt, statt jedes Bildpixel zu rekonstruieren. Die Arbeit beschreibt eine Hierarchie, die gemeinsam anhand von Beobachtungs- und Aktionsverläufen trainiert wird. Die unterste Ebene folgt den feinsten Zeitschritten. Jede höhere Ebene erhält Repräsentationen der darunterliegenden Ebene, fasst Aktionen über einen längeren Abstand zusammen und sagt in einem eigenen latenten Raum weiter voraus.

Die Planung beginnt mit einer aktuellen Beobachtung und einer Zielbeobachtung. Die oberste Ebene sucht einen groben Weg zum Ziel. Ihre vorhergesagten Zustände leiten dann die nächste Ebene an, die den Weg verfeinert. Die unterste Ebene erzeugt Aktionen. In den simulierten Closed-Loop-Auswertungen führt das System zunächst einen Teil der Aktionen aus, beobachtet den resultierenden Zustand und plant erneut. Die Forschenden vergleichen es mit LeWM, demselben JEPA der ersten Ebene, das allein trainiert und zur Planung verwendet wird, sowie mit einer zeitlichen Hierarchie, deren Ebenen eine Repräsentation teilen.

Getrennte Repräsentationen sind im Labyrinth wichtig, weil das Ziel darin bestehen kann, einen Ort zu erreichen, während sich die Beinstellung der Ameise schnell ändert. Die Analysen der Autoren ergaben, dass höhere H-JEPA-Ebenen die Position der Ameise beibehielten, während Details der Beinstellung schwerer rekonstruierbar wurden. Ein ähnliches Muster fanden sie in FourRoom: Ein unabhängig beweglicher Störfaktor trat auf höheren Ebenen weniger hervor. In den Manipulationsdatensätzen war der Effekt deutlich schwächer, weil die gemessenen schnellen und langsamen Bewegungen weniger klar getrennt waren. Die Arbeit belegt nicht, dass der Verzicht auf feine Details bei jeder Aufgabe hilft.

Was die Vergleiche zeigen

Die Autoren bewerteten Navigation in Visual AntMaze und FourRoom Distractors sowie Manipulation in Push-T und OGBench Cube. Es handelt sich um simulierte Aufgaben mit festen Kameras und Hintergründen. Bei unterschiedlichen Planungsbudgets verbesserte die Erweiterung auf bis zu drei Ebenen das Verhältnis zwischen Erfolg und Rechenaufwand in AntMaze, FourRoom und Cube. Push-T war die Ausnahme: Bei den getesteten Budgets erreichten zwei Ebenen mindestens die flache Baseline, während drei Ebenen schlecht abschnitten. Die Autoren verweisen auf die kurzen Episoden, die für tiefere Modelle weniger nutzbare Trainingsclips liefern.

In einem separaten AntMaze-Aufgabensatz erreichte die flache LeWM-Baseline im Mittel eine Erfolgsquote von 18,0% bei einem Standardfehler von 3,5 Punkten, während die vollständige dreistufige H-JEPA-Planung im Mittel 73,3% bei einem Standardfehler von 3,5 Punkten erzielte. Beide Werte sind von den Autoren angegebene Mittelwerte über drei gepaarte Modell- und Planer-Seeds. Der Vergleich der Arbeit zwischen Erfolg und Planer-FLOPs zeigt zudem, dass die Hierarchie bei geringerem gemessenem Planungsaufwand einen höheren Erfolg erreicht. Die Gesamtkosten für Training und Einsatz eines Roboters werden nicht gemessen.

Die Ablationen verdeutlichen den jeweiligen Beitrag. Eine zeitliche Hierarchie mit gemeinsamer Repräsentation übertraf die flache Baseline in allen vier Umgebungen; das spricht für den Nutzen, einen Plan aufzuteilen. In AntMaze verbesserte sich der Erfolg auch dann, wenn eine Repräsentation der oberen Ebene lediglich dazu diente, die vorhergesagte Entfernung zum Ziel eines flachen Planers zu bewerten. Diese Änderung allein erreichte jedoch nicht den Mittelwert von 73,3% des vollständigen hierarchischen Planers. In dieser Auswertung ergänzen sich die beiden Effekte. In Push-T und Cube, wo die Arbeit wenig selektive Abstraktion fand, brachte eine Änderung nur der Zielkostenrepräsentation keinen klaren Vorteil.

Die Grenzen von Videos realer Roboter

Die Forschenden verwendeten außerdem DROID-Videos zur Roboter-Manipulation. Szenen, Objekte und Beleuchtung ändern sich zwischen aufgezeichneten Episoden. In diesem Umfeld kann ein rein prädiktives Modell den stabilen Hintergrund bevorzugen und Informationen über den bewegten Roboter verlieren, heißt es in der Arbeit. Das Team ergänzte einen inversen Dynamikverlust und trainierte eine Komponente, die die Aktion zwischen aufeinanderfolgenden erlernten Zuständen erschließt, damit die Repräsentation die Bewegung des Agenten bewahrt. Mit dieser Ergänzung verbesserte die erlernte zweistufige Hierarchie das Offline-Maß der Planungsgenauigkeit gegenüber der flachen Baseline und benötigte weniger Planungsrechenleistung.

Das Maß vergleicht einen vorgeschlagenen dreidimensionalen Pfad des Endeffektors mit einem Expertenpfad in der Aufzeichnung. Nach der Kalibrierung der Arbeit beträgt es 100% für den Expertenpfad und 0% für einen stillstehenden Arm. Es misst nicht, ob ein Roboter eine Aufgabe nach Ausführung der vorgeschlagenen Aktionen abschließen würde. Da dem Datensatz ein Simulator für die wechselnden Szenen fehlt, werteten die Autoren diese DROID-Pläne im offenen Regelkreis aus. BIG CHANGE trainierte das Modell nicht, führte den öffentlichen Codenicht aus und testete keinen Roboter.

Das Code-Repository enthält Trainings- und Planungsskripte sowie Anleitungen zur Reproduktion ausgewählter Abbildungen und Tabellen der Arbeit. Es ermöglicht Forschenden, die Methode zu untersuchen; die Arbeit ist jedoch weiterhin ein Preprint, und die Evidenz aus der physischen Welt bleibt offline. Unser früherer Bericht zu GPT-Policy behandelt einen anderen Ansatz mit Kontextbeispielen und Anfragen an Roboterwerkzeuge. Seine Ergebnisse bestätigen nicht die Weltmodellplanung von H-JEPA.

Quellen und weiterführende Lektüre