Markdown-Ausgabe

AI-translated from English; not yet reviewed by a fluent editor.

# H-JEPA verbessert die visuelle Planung in simulierten Aufgaben mit einem hierarchischen Weltmodell

> Der dreistufige Planer von H-JEPA steigert die Erfolgsquote im simulierten AntMaze von 18% auf 73% und benötigt weniger Rechenaufwand für die Planung. Die Ergebnisse mit Videos realer Roboter messen die Pfadtreue offline, nicht die Aufgabenerfüllung durch einen Roboter.

By BIG CHANGE Editorial

Published: 2026-10-12T02:56:09.290Z
Updated: 2026-10-12T02:56:09.290Z
Canonical: https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning

![A small orange sphere rests inside a raised tabletop maze, with a segmented orange route visible through the passages.](https://bigchange.ai/api/media/file/hjepa-maze-concept-hero-v2.png)
AI-generated conceptual illustration of hierarchical navigation planning by BIG CHANGE. The maze is not the AntMaze environment or a physical robot test.

Die Forschenden hinter [H-JEPA ](https://arxiv.org/html/2610.06805v1)beschreiben einen Ansatz, mit dem ein visuelles Weltmodell auf mehreren Zeitskalen planen kann. In einem simulierten Labyrinth bewältigte ihr dreistufiger Planer 73% der Aufgaben, verglichen mit 18% bei einem flachen Modell, und benötigte weniger Planungsrechenleistung. Die Arbeit vom 5. Oktober testet auch aufgezeichnete Videos realer Roboter. Dabei werden vorgeschlagene Pfade offline bewertet; ein Roboter bei der Ausführung der Pläne ist nicht zu sehen.

Für Forschende und Ingenieure in der Robotik lautet die relevante Frage, ob die Verbesserung dadurch entsteht, dass ein langer Plan in kürzere Schritte zerlegt wird, dass ein besseres Maß für den Fortschritt zum Ziel erlernt wird oder durch beides. Die Arbeit prüft diese Erklärungen getrennt. Die Ergebnisse sind für die Forschung zur visuellen Planung vielversprechend, erlauben aber nur begrenzte Rückschlüsse auf physische Roboter.

## Die wesentliche Veränderung

- **Was sich geändert hat:** H-JEPA trainiert eine Folge aktionsabhängiger Vorhersagemodelle. Jede Ebene blickt in ihrer eigenen erlernten Repräsentation weiter voraus. Der Planer macht aus den vorhergesagten Zuständen der oberen Ebene Unterziele für die darunterliegende Ebene.
- **Warum das wichtig ist:** Im Visual AntMaze berichten die Autoren eine Erfolgsquote von 73,3% für die dreistufige Planung gegenüber 18,0% für eine flache Baseline. Ablationen deuten darauf hin, dass sowohl kürzere Planungsabschnitte als auch eine nützlichere Zielrepräsentation auf höherer Ebene beitragen. Ein Robotikteam kann die beiden Mechanismen getrennt untersuchen, statt Hierarchie als unteilbare Verbesserung zu behandeln.
- **Worauf zu achten ist:** Alle vier Aufgabenumgebungen sind simuliert. Der zusätzliche DROID-Test vergleicht geplante Roboterarm-Pfade mit aufgezeichneten Expertenpfaden. Ein Closed-Loop-Test in unterschiedlichen physischen Umgebungen würde eine andere, weiterhin offene Frage beantworten.

## Planung auf mehreren Zeitskalen

Ein Weltmodell sagt voraus, wie sich eine Umgebung nach einer Aktion verändern könnte. H-JEPA verwendet eine prädiktive Architektur mit gemeinsamem Embedding (JEPA), die kompakte Repräsentationen künftiger Beobachtungen vorhersagt, statt jedes Bildpixel zu rekonstruieren. Die [Arbeit ](https://arxiv.org/html/2610.06805v1)beschreibt eine Hierarchie, die gemeinsam anhand von Beobachtungs- und Aktionsverläufen trainiert wird. Die unterste Ebene folgt den feinsten Zeitschritten. Jede höhere Ebene erhält Repräsentationen der darunterliegenden Ebene, fasst Aktionen über einen längeren Abstand zusammen und sagt in einem eigenen latenten Raum weiter voraus.

Die Planung beginnt mit einer aktuellen Beobachtung und einer Zielbeobachtung. Die oberste Ebene sucht einen groben Weg zum Ziel. Ihre vorhergesagten Zustände leiten dann die nächste Ebene an, die den Weg verfeinert. Die unterste Ebene erzeugt Aktionen. In den simulierten Closed-Loop-Auswertungen führt das System zunächst einen Teil der Aktionen aus, beobachtet den resultierenden Zustand und plant erneut. Die Forschenden vergleichen es mit LeWM, demselben JEPA der ersten Ebene, das allein trainiert und zur Planung verwendet wird, sowie mit einer zeitlichen Hierarchie, deren Ebenen eine Repräsentation teilen.

Getrennte Repräsentationen sind im Labyrinth wichtig, weil das Ziel darin bestehen kann, einen Ort zu erreichen, während sich die Beinstellung der Ameise schnell ändert. Die Analysen der Autoren ergaben, dass höhere H-JEPA-Ebenen die Position der Ameise beibehielten, während Details der Beinstellung schwerer rekonstruierbar wurden. Ein ähnliches Muster fanden sie in FourRoom: Ein unabhängig beweglicher Störfaktor trat auf höheren Ebenen weniger hervor. In den Manipulationsdatensätzen war der Effekt deutlich schwächer, weil die gemessenen schnellen und langsamen Bewegungen weniger klar getrennt waren. Die Arbeit belegt nicht, dass der Verzicht auf feine Details bei jeder Aufgabe hilft.

## Was die Vergleiche zeigen

Die Autoren bewerteten Navigation in Visual AntMaze und FourRoom Distractors sowie Manipulation in Push-T und OGBench Cube. Es handelt sich um simulierte Aufgaben mit festen Kameras und Hintergründen. Bei unterschiedlichen Planungsbudgets verbesserte die Erweiterung auf bis zu drei Ebenen das Verhältnis zwischen Erfolg und Rechenaufwand in AntMaze, FourRoom und Cube. Push-T war die Ausnahme: Bei den getesteten Budgets erreichten zwei Ebenen mindestens die flache Baseline, während drei Ebenen schlecht abschnitten. Die Autoren verweisen auf die kurzen Episoden, die für tiefere Modelle weniger nutzbare Trainingsclips liefern.

In einem separaten AntMaze-Aufgabensatz erreichte die flache LeWM-Baseline im Mittel eine **Erfolgsquote von 18,0% bei einem Standardfehler von 3,5 Punkten**, während die vollständige dreistufige H-JEPA-Planung im Mittel **73,3% bei einem Standardfehler von 3,5 Punkten** erzielte. Beide Werte sind von den Autoren angegebene Mittelwerte über drei gepaarte Modell- und Planer-Seeds. Der [Vergleich der Arbeit zwischen Erfolg und Planer-FLOPs](https://arxiv.org/html/2610.06805v1) zeigt zudem, dass die Hierarchie bei geringerem gemessenem Planungsaufwand einen höheren Erfolg erreicht. Die Gesamtkosten für Training und Einsatz eines Roboters werden nicht gemessen.

Die Ablationen verdeutlichen den jeweiligen Beitrag. Eine zeitliche Hierarchie mit gemeinsamer Repräsentation übertraf die flache Baseline in allen vier Umgebungen; das spricht für den Nutzen, einen Plan aufzuteilen. In AntMaze verbesserte sich der Erfolg auch dann, wenn eine Repräsentation der oberen Ebene lediglich dazu diente, die vorhergesagte Entfernung zum Ziel eines flachen Planers zu bewerten. Diese Änderung allein erreichte jedoch nicht den Mittelwert von 73,3% des vollständigen hierarchischen Planers. In dieser Auswertung ergänzen sich die beiden Effekte. In Push-T und Cube, wo die Arbeit wenig selektive Abstraktion fand, brachte eine Änderung nur der Zielkostenrepräsentation keinen klaren Vorteil.

## Die Grenzen von Videos realer Roboter

Die Forschenden verwendeten außerdem [DROID-Videos zur Roboter-Manipulation](https://arxiv.org/html/2610.06805v1). Szenen, Objekte und Beleuchtung ändern sich zwischen aufgezeichneten Episoden. In diesem Umfeld kann ein rein prädiktives Modell den stabilen Hintergrund bevorzugen und Informationen über den bewegten Roboter verlieren, heißt es in der Arbeit. Das Team ergänzte einen inversen Dynamikverlust und trainierte eine Komponente, die die Aktion zwischen aufeinanderfolgenden erlernten Zuständen erschließt, damit die Repräsentation die Bewegung des Agenten bewahrt. Mit dieser Ergänzung verbesserte die erlernte zweistufige Hierarchie das Offline-Maß der Planungsgenauigkeit gegenüber der flachen Baseline und benötigte weniger Planungsrechenleistung.

Das Maß vergleicht einen vorgeschlagenen dreidimensionalen Pfad des Endeffektors mit einem Expertenpfad in der Aufzeichnung. Nach der Kalibrierung der Arbeit beträgt es 100% für den Expertenpfad und 0% für einen stillstehenden Arm. Es misst nicht, ob ein Roboter eine Aufgabe nach Ausführung der vorgeschlagenen Aktionen abschließen würde. Da dem Datensatz ein Simulator für die wechselnden Szenen fehlt, werteten die Autoren diese DROID-Pläne im offenen Regelkreis aus. BIG CHANGE trainierte das Modell nicht, führte den [öffentlichen Code](https://github.com/kevinghst/H-JEPA)nicht aus und testete keinen Roboter.

Das Code-Repository enthält Trainings- und Planungsskripte sowie Anleitungen zur Reproduktion ausgewählter Abbildungen und Tabellen der Arbeit. Es ermöglicht Forschenden, die Methode zu untersuchen; die Arbeit ist jedoch weiterhin ein Preprint, und die Evidenz aus der physischen Welt bleibt offline. Unser früherer [Bericht zu GPT-Policy ](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents)behandelt einen anderen Ansatz mit Kontextbeispielen und Anfragen an Roboterwerkzeuge. Seine Ergebnisse bestätigen nicht die Weltmodellplanung von H-JEPA.

## Quellen und weiterführende Lektüre

- [Zhang und Kollegen, „H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning“, arXiv v1](https://arxiv.org/html/2610.06805v1): maßgeblicher Preprint, eingereicht am 5. Oktober 2026. Abschnitte 2–4 und der Planungsanhang beschreiben Methode, Simulatorvergleiche, AntMaze-Zahlen mit drei Seeds und das Offline-DROID-Protokoll. Es sind Ergebnisse der Autoren, keine unabhängige Replikation oder Evidenz für einen Einsatz in der physischen Welt.
- [H-JEPA-Projektseite](https://h-jepa.com/): visuelle Erklärung der Autoren zu hierarchischer Vorhersage, Top-down-Planung, vier simulierten Umgebungen und dem DROID-Treue-Test. Die Beispiele veranschaulichen die berichteten Experimente; ausgewählte Videos sind keine Leistungsdaten einzelner Versuche.
- [Öffentliches H-JEPA-Code-Repository](https://github.com/kevinghst/H-JEPA): Trainings- und Planungsimplementierung der Autoren, Liste der Umgebungen und Anleitungen zur Reproduktion ausgewählter Ergebnisse. BIG CHANGE prüfte Beschreibung und Anleitungen des Repositorys, führte den Code jedoch nicht aus.
- [BIG CHANGE, „GPT-Policy testet Kontext in Aufgaben mit Roboterarm und mobiler Erkundung“](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents): frühere Berichterstattung über eine andere Forschungsmethode in der Robotik. Sie liefert Kontext, aber keine Evidenz für H-JEPA-Ergebnisse.

## Sources

- [H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, arXiv v1](https://arxiv.org/html/2610.06805v1) — Maßgeblicher Preprint zu Methode, vier simulierten Aufgaben, AntMaze-Ergebnissen und Ablationen sowie dem Offline-Fréchet-Treueprotokoll von DROID. Von den Autoren erzielte Ergebnisse, keine unabhängige Replikation oder Einsatz in der physischen Welt.
- [Projektseite der H-JEPA-Autoren](https://h-jepa.com/) — Erklärungsseite der Autoren mit visuellen Beispielen zur Hierarchie und zu den Experimenten. Ausgewählte Videos veranschaulichen Ergebnisse, liefern aber keine Versuchsdaten für einzelne Durchläufe.
- [Öffentliches H-JEPA-Code-Repository](https://github.com/kevinghst/H-JEPA) — Trainings- und Planungsimplementierung der Autoren sowie Anleitungen zur Reproduktion ausgewählter Abbildungen und Tabellen. BIG CHANGE nutzte es als Dokumentation, führte den Code aber nicht aus.
- [BIG CHANGE, GPT-Policy testet Kontext in Aufgaben mit Roboterarm und mobiler Erkundung](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) — Frühere Berichterstattung zu einer anderen Robotikmethode und einem anderen Experiment. Nur Kontext; keine followUpTo-Beziehung.