Edisi Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# H-JEPA meningkatkan perencanaan visual pada tugas simulasi dengan model dunia hierarkis

> Perencana tiga tingkat H-JEPA menaikkan keberhasilan AntMaze simulasi dari 18% menjadi 73% dengan komputasi perencanaan yang lebih sedikit. Hasil pada video robot nyata mengukur kesetiaan lintasan secara offline, bukan penyelesaian tugas oleh robot.

By BIG CHANGE Editorial

Published: 2026-10-12T02:56:09.290Z
Updated: 2026-10-12T02:56:09.290Z
Canonical: https://bigchange.ai/blog/h-jepa-hierarchical-world-model-visual-planning

![A small orange sphere rests inside a raised tabletop maze, with a segmented orange route visible through the passages.](https://bigchange.ai/api/media/file/hjepa-maze-concept-hero-v2.png)
AI-generated conceptual illustration of hierarchical navigation planning by BIG CHANGE. The maze is not the AntMaze environment or a physical robot test.

Para peneliti di balik [H-JEPA ](https://arxiv.org/html/2610.06805v1)memaparkan cara model dunia visual merencanakan pada beberapa skala waktu. Dalam sebuah labirin simulasi, perencana tiga tingkat mereka menyelesaikan 73% tugas dibanding 18% untuk model datar, dengan komputasi perencanaan lebih sedikit. Makalah 5 Oktober itu juga menguji video robot nyata yang direkam, tetapi pengujiannya memberi skor offline pada lintasan usulan; bukan memperlihatkan robot menjalankan rencana.

Bagi peneliti dan insinyur robotika, pertanyaan yang berguna ialah apakah peningkatan berasal dari pemecahan rencana panjang menjadi langkah lebih singkat, pembelajaran ukuran kemajuan ke tujuan yang lebih baik, atau keduanya. Makalah menguji penjelasan tersebut secara terpisah. Hasilnya menjanjikan untuk riset perencanaan visual, dengan batas penting mengenai kesimpulan yang dapat diambil untuk robot fisik.

## Perubahan utama

- **Apa yang berubah:** H-JEPA melatih susunan model prediktif yang dikondisikan oleh tindakan. Setiap tingkat melihat lebih jauh dalam representasi yang dipelajarinya sendiri, sedangkan perencana mengubah keadaan prediksi tingkat atas menjadi subtujuan untuk tingkat bawah.
- **Mengapa ini penting:** Pada Visual AntMaze, penulis melaporkan keberhasilan 73,3% untuk perencanaan tiga tingkat dibanding 18,0% untuk baseline datar. Ablasi menunjukkan bahwa segmen perencanaan yang lebih pendek dan representasi tujuan tingkat tinggi yang lebih berguna sama-sama berkontribusi. Tim robotika dapat mempelajari kedua mekanisme itu secara terpisah, bukan menganggap hierarki sebagai satu peningkatan yang tak terpisahkan.
- **Hal yang perlu dipantau:** Keempat lingkungan tugas merupakan simulasi. Uji DROID tambahan membandingkan lintasan lengan robot yang direncanakan dengan lintasan ahli yang direkam; uji closed-loop dalam beragam lingkungan fisik akan menjawab pertanyaan lain yang masih terbuka.

## Rencana pada beberapa skala waktu

Model dunia memprediksi bagaimana lingkungan dapat berubah setelah suatu tindakan. H-JEPA menggunakan arsitektur prediktif joint-embedding, atau JEPA, yang memprediksi representasi ringkas dari pengamatan mendatang alih-alih merekonstruksi setiap piksel gambar. [Makalahnya ](https://arxiv.org/html/2610.06805v1) menjelaskan hierarki yang dilatih bersama pada lintasan pengamatan dan tindakan. Tingkat terendah mengikuti langkah waktu paling halus. Setiap tingkat di atasnya menerima representasi dari tingkat bawah, menggabungkan tindakan dalam rentang lebih panjang, dan memprediksi lebih jauh dalam ruang laten terpisah.

Perencanaan dimulai dari pengamatan saat ini dan pengamatan tujuan. Tingkat teratas mencari rute kasar menuju tujuan. Keadaan prediksinya kemudian memandu tingkat berikutnya untuk menyempurnakan rute. Tingkat terbawah menghasilkan tindakan. Dalam evaluasi closed-loop simulasi, sistem menjalankan awalan tindakan, mengamati keadaan hasilnya, lalu merencanakan kembali. Peneliti membandingkannya dengan LeWM, JEPA tingkat pertama yang sama tetapi dilatih dan digunakan sendiri, serta hierarki temporal yang tingkat-tingkatnya berbagi satu representasi.

Representasi terpisah penting dalam labirin karena tujuannya dapat berupa mencapai lokasi sementara pose kaki semut berubah cepat. Pengujian penulis menemukan bahwa tingkat atas H-JEPA mempertahankan posisi semut, sementara detail pose kakinya lebih sulit dipulihkan. Pola serupa muncul di FourRoom, tempat pengganggu yang bergerak sendiri menjadi kurang menonjol di tingkat atas. Efeknya jauh lebih lemah pada kumpulan data manipulasi, yang gerak cepat dan lambat terukurnya tidak terlalu terpisah. Makalah tidak membuktikan bahwa membuang detail halus menguntungkan setiap tugas.

## Apa yang ditunjukkan perbandingan

Penulis mengevaluasi navigasi di Visual AntMaze dan FourRoom Distractors, serta manipulasi di Push-T dan OGBench Cube. Semuanya tugas simulasi dengan kamera dan latar tetap. Pada beragam anggaran perencanaan, penambahan tingkat hingga tiga memperbaiki pertukaran antara keberhasilan dan komputasi di AntMaze, FourRoom, dan Cube. Push-T menjadi pengecualian: pada anggaran yang diuji, dua tingkat menyamai atau melampaui baseline datar, sedangkan tiga tingkat berkinerja buruk. Penulis menunjuk episode pendeknya, yang menyisakan lebih sedikit klip pelatihan berguna untuk model lebih dalam.

Pada set tugas AntMaze terpisah, keberhasilan rata-rata baseline datar LeWM adalah **18,0%, dengan galat baku 3,5 poin**, sedangkan rata-rata perencanaan H-JEPA tiga tingkat penuh adalah **73,3%, dengan galat baku 3,5 poin**. Kedua angka merupakan rata-rata yang dilaporkan penulis dari tiga seed model dan perencana berpasangan. [Perbandingan keberhasilan dan FLOP perencana dalam makalah ](https://arxiv.org/html/2610.06805v1) juga menunjukkan hierarki mencapai keberhasilan lebih tinggi dengan komputasi perencanaan terukur lebih rendah. Perbandingan itu tidak mengukur total biaya melatih dan menerapkan robot.

Ablasi memperjelas kontribusi tiap unsur. Hierarki temporal dengan satu representasi bersama mengungguli baseline datar di keempat lingkungan, yang menunjukkan manfaat memecah rencana. Di AntMaze, penggunaan representasi tingkat atas hanya untuk menilai jarak tujuan yang diprediksi perencana datar juga meningkatkan keberhasilan. Namun perubahan itu saja belum mencapai rata-rata 73,3% perencana hierarkis penuh. Dalam evaluasi ini, kedua efek saling melengkapi. Di Push-T dan Cube, tempat makalah menemukan sedikit abstraksi selektif, perubahan representasi biaya tujuan saja tidak memberi manfaat jelas.

## Batas bukti dari video robot nyata

Peneliti juga menggunakan [video manipulasi robot DROID](https://arxiv.org/html/2610.06805v1). Pemandangan, objek, dan pencahayaan berubah antar episode rekaman. Dalam kondisi itu, model prediktif murni dapat mengutamakan latar stabil dan kehilangan informasi tentang robot yang bergerak, menurut makalah. Tim menambahkan loss dinamika invers dan melatih komponen untuk menyimpulkan tindakan di antara keadaan berurutan yang dipelajari, agar representasi mempertahankan gerak agen. Dengan tambahan itu, hierarki dua tingkat yang dipelajari meningkatkan ukuran kesetiaan perencanaan offline makalah dibanding baseline datar, dengan komputasi perencana lebih rendah.

Ukuran tersebut membandingkan lintasan tiga dimensi end-effector yang diusulkan dengan lintasan ahli dalam rekaman. Menurut kalibrasi makalah, lintasan ahli bernilai 100% dan lengan diam 0%. Ukuran itu tidak menilai apakah robot akan menyelesaikan tugas setelah menjalankan tindakan yang diusulkan. Karena kumpulan data tidak memiliki simulator untuk adegan yang berubah, penulis mengevaluasi rencana DROID secara open-loop. BIG CHANGE tidak melatih model, tidak menjalankan [kode publik](https://github.com/kevinghst/H-JEPA), dan tidak menguji robot.

Repositori kode menyediakan skrip pelatihan dan perencanaan serta petunjuk untuk mereproduksi gambar dan tabel pilihan dari makalah. Ini memberi peneliti cara memeriksa metode, tetapi makalah masih berupa preprint dan bukti dunia fisiknya tetap offline. Laporan kami sebelumnya tentang [GPT-Policy ](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents)membahas pendekatan berbeda yang memakai contoh kontekstual dan permintaan ke alat robot; hasilnya tidak memvalidasi perencanaan model dunia H-JEPA.

## Sumber dan bacaan lanjutan

- [Zhang dan kolega, “H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning,” arXiv v1](https://arxiv.org/html/2610.06805v1): preprint utama yang diajukan 5 Oktober 2026. Bagian 2–4 dan lampiran perencanaan menjelaskan metode, perbandingan simulator, angka AntMaze dengan tiga seed, dan protokol DROID offline. Ini hasil penulis, bukan replikasi independen atau bukti penerapan fisik.
- [Halaman proyek H-JEPA](https://h-jepa.com/): penjelasan visual penulis tentang prediksi hierarkis, perencanaan top-down, empat lingkungan simulasi, dan uji kesetiaan DROID. Contoh menggambarkan eksperimen yang dilaporkan; video pilihan bukan data kinerja tiap percobaan.
- [Repositori kode publik H-JEPA](https://github.com/kevinghst/H-JEPA): implementasi pelatihan dan perencanaan penulis, daftar lingkungan, serta petunjuk reproduksi hasil pilihan. BIG CHANGE meninjau deskripsi dan petunjuk repositori, tetapi tidak menjalankan kodenya.
- [BIG CHANGE, “GPT-Policy menguji konteks dalam tugas lengan robot dan eksplorasi bergerak”](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents): liputan sebelumnya tentang metode riset robotika yang berbeda. Memberi konteks, bukan bukti hasil H-JEPA.

## Sources

- [H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning, arXiv v1](https://arxiv.org/html/2610.06805v1) — Preprint utama tentang metode, evaluasi empat tugas simulasi, hasil dan ablasi AntMaze, serta protokol kesetiaan Fréchet offline DROID. Hasil yang dijalankan penulis; bukan replikasi independen atau penerapan fisik.
- [Halaman proyek penulis H-JEPA](https://h-jepa.com/) — Halaman penjelasan penulis dan contoh visual hierarki serta eksperimen. Video pilihan menggambarkan hasil, tetapi tidak memberikan data hasil tiap percobaan.
- [Repositori kode publik H-JEPA](https://github.com/kevinghst/H-JEPA) — Implementasi pelatihan/perencanaan penulis dan petunjuk mereproduksi gambar serta tabel pilihan. BIG CHANGE memeriksanya sebagai dokumentasi, tetapi tidak menjalankan kode.
- [BIG CHANGE, GPT-Policy menguji konteks dalam tugas lengan robot dan eksplorasi bergerak](https://bigchange.ai/blog/gpt-policy-robot-learning-vlm-agents) — Liputan terdahulu terkait metode dan eksperimen robotika lain. Hanya konteks; tidak ada hubungan followUpTo.