EmbodiedCLBench, pracetak yang diposting 9 Oktober, menguji apakah agen AI dapat memakai pengalaman dari tugas rumah tangga sederhana untuk menyelesaikan kombinasi baru. Dalam evaluasi simulasi penulis, satu contoh terdahulu memberi peningkatan besar. Contoh tambahan tidak secara andal menaikkan keberhasilan lebih lanjut. Benchmark ini membantu memisahkan manfaat awal dari bukti keterampilan yang terus terakumulasi.

Perubahan besar

  • Apa yang berubah: Para peneliti merilis benchmark berisi 168 tugas rumah tangga dasar dan 100 tugas tingkat lanjut untuk menguji apakah agen dapat membawa pengalaman ke kombinasi tugas yang belum pernah dilihat.
  • Cara kerjanya: Agen mula-mula menyelesaikan tugas dasar terkait, lalu memilih tindakan kandidat dalam graf keadaan luring yang dibangun dari simulator rumah tangga TongSim. Tugas berhasil jika agen mencapai tujuan dalam batas langkah tetap.
  • Temuan penulis: Dalam perbandingan utama, pengalaman dari dua tugas dasar meningkatkan keberhasilan tugas lanjut pada kedelapan pasangan harness dan model yang diuji. Dalam analisis jumlah contoh yang lebih sempit, beralih dari nol ke satu sangat membantu, sedangkan dari satu ke enam tidak menunjukkan tren naik yang konsisten.
  • Mengapa penting: Hasilnya memberi pengembang cara menguji apakah agen memakai pengalaman baru untuk kombinasi yang belum dikenal, alih-alih menganggap penyimpanan contoh tambahan pasti meningkatkan kinerja. Studi ini menilai keputusan simulasi, bukan operasi robot fisik.

Tugas rumah tangga menjadi rangkaian pilihan

Benchmark memakai TongSim, simulator dengan adegan dalam ruangan, objek interaktif, dan tindakan seperti berjalan mendekat, mengambil, membuka, serta menyalakan. Penulis menyusun tugas dasar dari rangkaian interaksi objek yang singkat; tugas lanjut menggabungkan tindakan dari dua sampai empat kategori tugas dasar. Contohnya “letakkan cangkir di meja” dan “rapikan ruangan”.

Dalam evaluasi terbitan, agen tidak mengendalikan simulator yang sedang berjalan. Penulis memakai versi TongSim sumber tertutup untuk membuat graf transisi keadaan luring. Setiap simpul memuat gambar simulator dan tindakan kandidat. Pilihan yang dapat dijalankan membawa agen ke keadaan lain; tindakan tidak valid tak dapat dijalankan di sana. Agen mengulang pilihan hingga mencapai tujuan atau kehabisan langkah. Makalah menyebut deskripsi tugas dan kandidat tindakan dibuat dengan Qwen3.7-Plus lalu diperiksa manual.

Desain ini menetapkan hasil ukur secara tepat: tingkat keberhasilan adalah bagian tugas yang selesai dalam batas. Tugas lanjut pada uji utama memiliki jalur terpendek 12 langkah, dengan tiga langkah tambahan yang diizinkan saat tes. Kegagalan dapat mencerminkan urutan yang salah atau tidak efisien dalam batas itu. Ukuran ini tidak menilai keandalan menggenggam, kendali gerak, atau kinerja di rumah fisik yang berubah.

Tugas sebelumnya membantu, lalu keuntungannya mendatar

Tabel tabel hasil utama membandingkan agen yang mencoba tugas lanjut tanpa contoh sebelumnya dengan dua cara membawa pengalaman dari dua tugas dasar terkait. Pembelajaran dalam konteks mempertahankan seluruh lintasan interaksi terdahulu. Pembelajaran keterampilan menggantinya dengan ringkasan keterampilan Markdown yang ditulis agen. Pada empat harness yang masing-masing dipasangkan dengan dua model dasar, kedua pendekatan mengungguli hasil tugas lanjut zero-shot yang sesuai. Misalnya, harness Codex dengan Qwen3.8-Flash naik dari 4% tanpa fase belajar menjadi 34% dengan lintasan dan 33% dengan ringkasan keterampilan. Itu hasil penulis pada set tugas dan batas benchmark ini.

Analisis jumlah contoh mengubah jumlah contoh tugas dasar dari nol menjadi enam. Penulis hanya memakai Hermes dan OpenClaw, keduanya dengan Qwen3.8-Flash. Pada dua harness dan dua metode belajar, satu contoh menaikkan keberhasilan tugas lanjut dari kisaran 8%–10% tanpa contoh ke 28%–40%. Setelah contoh pertama, tak satu pun dari empat kurva yang dilaporkan naik secara konsisten saat contoh ditambah. Temuan ini berlaku bagi agen dan metode memori tersebut dalam kondisi evaluasi makalah; bukan batas umum manfaat pengalaman.

Petunjuk yang lebih sempit datang dari analisis tindakan penulis. Dibandingkan proses zero-shot, agen berpengalaman memilih lebih sedikit tindakan tidak valid dalam keputusan yang tercatat. Makalah melaporkan penurunan 13%–20% pada empat harness yang dianalisis dengan Qwen3.8-Flash. Pola itu sesuai dengan pemakaian pilihan tindakan yang tersedia secara lebih baik, tetapi tidak membuktikan agen mempelajari keterampilan umum yang bertahan lama.

Bagi peneliti yang memilih evaluasi, pertanyaan berguna ialah apakah metode meningkatkan keberhasilan saat jumlah dan variasi tugas terdahulu bertambah, dengan komposisi uji dan batas langkah yang sama. EmbodiedCLBench menyediakan tes terstruktur untuk pertanyaan ini. Buktinya tetap berupa pracetak dan rilis proyek penulis pada 9 Oktober; BIG CHANGE tidak menjalankan benchmark dan hasilnya belum direplikasi secara independen di sini.

Sumber dan bacaan lanjutan