Pola berulang mengacaukan persepsi kedalaman stereo dalam uji kendaraan

Pola visual berulang dapat membuat kamera stereo dan model kedalaman AI menempatkan objek pada jarak yang salah, menurut tim yang dipimpin University of Florida. Dalam eksperimen terkontrol, kamera pada robot darat bergerak dan mobil menghasilkan perkiraan rintangan keliru yang bertahan cukup lama untuk memenuhi ambang respons yang dikutip para peneliti bagi perangkat lunak mengemudi otonom.

Studi Studi yang dipasang di arXiv pada 14 September menghubungkan kesalahan itu dengan cara kamera mengubah cahaya menjadi piksel dan menyelaraskan kedua tampilannya. Studi tersebut juga menguji pertahanan perangkat lunak. Bagi orang yang mengembangkan atau mengevaluasi sistem otonom, temuan bergunanya adalah mekanisme kegagalan spesifik yang masih muncul pada model kedalaman hasil pembelajaran, disertai bukti bagaimana dampaknya dapat dikurangi.

Perubahan besar

• Yang berubah: Para peneliti menghubungkan ambiguitas pada pola berulang dengan artefak kamera yang terukur, lalu menunjukkan kesalahan kedalaman dalam pencocokan stereo konvensional maupun model hasil pembelajaran. Mengganti algoritme pencocokan dengan AI tidak menghilangkan kelemahan pada sistem yang diuji.
• Mengapa ini penting: Perkiraan jarak menjadi masukan bagi deteksi rintangan. Dalam eksperimen ini, van di samping jalur berkendara dapat dipersepsikan sebagai rintangan di dalam jalur. Karena itu, keandalan perkiraan kedalaman berpengaruh pada keputusan kendaraan berikutnya.
• Yang perlu dicermati: Pertahanan yang diusulkan memeriksa proses pencocokan untuk mencari pengulangan. Hasil yang menjanjikan mencakup kumpulan gambar terbatas; keandalan pada kamera, model, dan kondisi operasi lain tetap menjadi pertanyaan praktis sebelum penerapan.

Bagaimana pengulangan mengubah perkiraan jarak

Kamera stereo menggunakan dua tampilan dari adegan yang sama. Perangkat lunak menemukan fitur pada tiap gambar dan mengukur pergeseran horizontalnya, yang disebut disparitas. Geometri kamera mengubah pergeseran tersebut menjadi jarak.

Pola berulang menciptakan beberapa kecocokan yang masuk akal. Analisis makalah mengidentifikasi dua cara kecocokan yang salah dapat menang. Pertama, setiap kamera mengambil sampel adegan ke dalam kisi piksel. Batas antara bentuk gelap dan latar terang dapat jatuh secara berbeda pada kedua kisi, sehingga intensitas piksel sedikit berbeda. Kedua, kesalahan kalibrasi yang tersisa mengubah korespondensi antara gambar.

Bersama-sama, dampak tersebut dapat membuat pengulangan lain lebih mirip dengan referensi daripada pengulangan yang benar. Pergeseran yang dihasilkan menempatkan permukaan pada jarak yang salah. Tim tersebut juga menemukan sensitivitas ini pada model stereo hasil pembelajaran yang membandingkan fitur yang diekstrak dari gambar.

Pola-pola ini dipilih dengan sengaja. Model ancaman studi mengasumsikan pengetahuan tentang kamera dan pengaturan pemrosesan terkait, atau akses ke sistem sebanding untuk evaluasi. Dalam uraian riset UF tertanggal 22 September, pemimpin riset Sara Rampazzi juga menyebut pola berulang alami sebagai kekhawatiran keselamatan. Studi itu tidak mengukur seberapa sering tekstur pinggir jalan biasa menimbulkan kesalahan berbahaya pada kendaraan yang beroperasi.

Pengujian mencakup berbagai bagian sistem persepsi

Para peneliti menggabungkan eksperimen pada gambar rekaman, pengukuran kamera fisik, dan simulasi.

Makalah dan lampiran artefaknya mengidentifikasi sensor RealSense sebagai D435. Halaman demonstrasi penulis melabelinya D435i; uraian dalam kedua sumber itu tidak memastikan variannya secara konsisten.

Dalam satu uji di dalam ruangan, permukaan yang berjarak tiga meter dari kamera diperkirakan berada pada jarak 0,8 meter oleh ZED2 dan 0,6 meter oleh RealSense dalam kondisi pola yang dipilih.

SGM-DDC menggunakan jarak LiDAR untuk membatasi pencocokan stereo dan lebih tahan terhadap perubahan pola dibandingkan metode tanpa fusi, tetapi tetap menghasilkan kesalahan dalam konfigurasi yang diuji. Masukan LiDAR sintetis membatasi temuan ini pada satu metode fusi dalam kondisi yang direkayasa.

Uji berkendara membuktikan adanya persepsi rintangan yang keliru

Dalam eksperimen mobil fisik, tim memproyeksikan pola ke sebuah van yang berada di samping lintasan mobil. Perkiraan kedalaman palsu menempatkan sebagian permukaan itu di dalam lintasan yang dipersepsikan mobil. Tabel hasil makalah melaporkan perkiraan palsu yang bertahan sekitar 0,7 hingga 1,2 detik pada kedua kamera dan kondisi pencahayaan.

Untuk evaluasi lanjutan, para peneliti menggunakan pengelompokan Euclidean Autoware, yang mengelompokkan titik-titik berdekatan dalam peta kedalaman menjadi potensi rintangan. Mereka menghitung uji sebagai berhasil ketika titik palsu terdeteksi sebagai rintangan dan mengutip ambang keberlanjutan 0,5 detik sebagai waktu yang cukup untuk respons otomatis, misalnya pengereman darurat. Lampiran artefak juga menjelaskan evaluasi awan titik terekam dan durasi kelompok kedalaman palsu.

Evaluasi yang dilaporkan tidak mendokumentasikan manuver pengereman darurat fisik, perlambatan terukur, atau tabrakan. UF menggambarkan kemungkinan tabrakan dan bahaya akibat pengereman mendadak sebagai risiko yang ditimbulkan oleh penelitian. Hasil-hasil tersebut tidak diperagakan dalam eksperimen yang dilaporkan.

Uji fisik berlangsung di lingkungan terkontrol dengan kecepatan hingga 15 km/jam. Pada 40 km/jam, hasilnya berasal dari CARLA: manipulasi kedalaman simulasi bertahan 2,1 detik. Simulasi terpisah memperluas kondisi yang diteliti, tetapi tidak membuktikan adanya uji fisik pada kecepatan tersebut.

Pertahanan memeriksa kecocokan kandidat yang berulang

Pertahanan yang diusulkan memeriksa skor yang digunakan untuk membandingkan kedua gambar. Struktur berulang menghasilkan urutan kecocokan masuk akal yang juga berulang. Metode tersebut mendeteksi keteraturan itu dan mencocokkan wilayah terdampak sebagai satu unit yang lebih besar, sehingga mengurangi kemungkinan memilih elemen berulang yang salah.

Pada 200 pasangan gambar stereo yang dikumpulkan dalam kondisi uji fisik, para penulis melaporkan pengurangan kesalahan kedalaman hingga di bawah setengah meter pada 96,5% kasus yang dievaluasi. Mereka juga mengadaptasi pendekatan tersebut untuk informasi pencocokan perantara di dalam PSMNet. Pada 200 pasangan KITTI yang ditambahi pola, versi itu mengurangi kesalahan hingga di bawah 0,1 meter pada setiap kasus yang dievaluasi.

Hasil pertahanan model hasil pembelajaran tersebut hanya berlaku untuk PSMNet; hasil itu tidak membuktikan hal yang sama bagi MoCha-Stereo atau UniMatch. Studi ini juga membatasi eksperimen fisik pada permukaan proyeksi datar atau semi-datar dan menggunakan pola tetap dalam uji dinamis. Pembahasannya menunjukkan bahwa data pelatihan dapat mengubah pola mana yang memengaruhi model dan seberapa besar dampaknya.

Eksperimen tersebut memberi alasan bagi pengembang sistem untuk memeriksa perilaku pola berulang pada pemrosesan kamera dan estimasi kedalaman hasil pembelajaran. Kinerja pertahanan dalam seluruh kondisi operasi sistem yang diterapkan belum terbukti.

Para penulis mencantumkan makalah ini sebagai makalah mendatang di ACM CCS 2026. Situs resmi konferensi mencantumkan tanggal 15–19 November di Den Haag dan menyebut program final sedang disiapkan. Karya tersebut belum dipresentasikan di sana.

Sumber & bacaan lebih lanjut

• Illusion of Depth: Mengungkap Kerentanan Tersembunyi dalam Penglihatan Stereo pada Estimasi Kedalaman, 14 September 2026. Makalah lengkap menjelaskan mekanisme, algoritme dan kamera yang dievaluasi, kondisi fisik dan simulasi, hasil pertahanan, serta keterbatasannya. Konsekuensi kendaraan yang dilaporkan adalah persepsi rintangan palsu dengan ambang respons yang dikutip; metodenya tidak mendokumentasikan manuver pengereman atau tabrakan nyata.
• Uraian penelitian University of Florida, 22 September 2026. Memberikan penjelasan tim riset dan implikasi keselamatan yang diatribusikan. Skenario tabrakan menggambarkan konsekuensi yang mungkin terjadi, bukan insiden yang diamati.
• Halaman demonstrasi penulis dan artefak penelitian, diperiksa 24 September 2026. Lampiran artefak menjelaskan evaluasi gambar, awan titik, dan simulasi. Keterangan demonstrasi menyebut D435i, sementara makalah dan lampirannya menyebut D435. BIG CHANGE tidak mengulangi eksperimen tersebut.
• ACM CCS 2026, diperiksa 24 September 2026. Mengonfirmasi tanggal dan lokasi konferensi. Status makalah mendatang dinyatakan para penulis; halaman konferensi yang dibaca untuk artikel ini tidak memberikan slot presentasi tertentu.