वाहन चाचण्यांत पुनरावृत्ती होणारे नमुने स्टिरिओ खोलीमापन कसे बिघडवतात

पुनरावृत्ती होणाऱ्या दृश्य नमुन्यांमुळे स्टिरिओ कॅमेरे आणि एआय खोली-मापन मॉडेल वस्तूचे अंतर चुकीचे ठरवू शकतात, असे फ्लोरिडा विद्यापीठाच्या नेतृत्वाखालील संशोधक सांगतात. नियंत्रित प्रयोगांत, चालत्या भूमीवरील रोबोट आणि कारवरील कॅमेऱ्यांनी अडथळे असल्याचा चुकीचा अंदाज दिला. स्वयंचलित वाहन सॉफ्टवेअरच्या प्रतिसादासाठी संशोधकांनी दिलेल्या कालमर्यादेइतका हा अंदाज टिकला.

हा १४ सप्टेंबर रोजी arXiv वर प्रसिद्ध झालेला अभ्यास या चुका कॅमेरे प्रकाशाचे पिक्सेलमध्ये रूपांतर कसे करतात आणि त्यांच्या दोन दृश्यांचे संरेखन कसे होते, याच्याशी जोडतो. त्यात सॉफ्टवेअरद्वारे बचावाचा उपायही तपासला आहे. स्वयंचलित यंत्रणा विकसित करणाऱ्या किंवा तपासणाऱ्यांसाठी महत्त्वाचा निष्कर्ष असा की शिकलेल्या खोली-मापन मॉडेलमध्येही त्रुटी निर्माण करणारी विशिष्ट यंत्रणा टिकून राहते; त्याच वेळी ती कमी करता येते याचे पुरावेही दिले आहेत.

मोठा बदल

• काय बदलले: पुनरावृत्ती होणाऱ्या दृश्य नमुन्यांतील संदिग्धतेचा संबंध संशोधकांनी मोजता येणाऱ्या कॅमेरा-त्रुटींशी जोडला आणि पारंपरिक स्टिरिओ जुळवणी तसेच शिकलेल्या मॉडेलमध्ये खोलीमापनाच्या चुका दाखवल्या. जुळवणीचा अल्गोरिदम एआयने बदलल्याने तपासलेल्या यंत्रणांतील ही कमजोरी दूर झाली नाही.
• हे का महत्त्वाचे: अडथळे ओळखण्यासाठी अंतराचे अंदाज वापरले जातात. या प्रयोगांत, वाहनाच्या मार्गालगत असलेल्या व्हॅनचा पृष्ठभाग वाहनाच्या मार्गात असल्याचा भास निर्माण झाला. त्यामुळे खोलीमापन किती विश्वासार्ह आहे, याचा वाहनाच्या पुढील निर्णयावर परिणाम होऊ शकतो.
• कशाकडे लक्ष द्यावे: प्रस्तावित उपाय जुळवणी प्रक्रियेत पुनरावृत्ती तपासतो. त्याचे आशादायक निकाल मर्यादित प्रतिमा-संचांपुरते आहेत. इतर कॅमेरे, मॉडेल आणि कार्यस्थितींमध्ये तो किती विश्वासार्ह ठरतो, हा वापरासाठीचा व्यावहारिक प्रश्न आहे.

पुनरावृत्तीमुळे अंतराचा अंदाज कसा बदलतो

स्टिरिओ कॅमेरा एकाच दृश्याची दोन चित्रे वापरतो. सॉफ्टवेअर प्रत्येक चित्रातील वैशिष्ट्य शोधून त्यांचे आडवे विस्थापन मोजते; त्याला डिस्पॅरिटी म्हणतात. कॅमेऱ्याची भूमिती वापरून या विस्थापनाचे अंतरात रूपांतर होते.

पुनरावृत्तीच्या नमुन्यामुळे जुळवणीचे अनेक पर्याय संभवतात. संशोधनलेखाच्या विश्लेषणात चुकीची जुळवणी निवडली जाण्याची दोन कारणे दिली आहेत. पहिले, प्रत्येक कॅमेरा दृश्याचे पिक्सेल-जाळ्यावर सॅम्पलिंग करतो. गडद आकार आणि उजळ पार्श्वभूमी यांच्यातील सीमारेषा दोन्ही जाळ्यांवर वेगवेगळ्या ठिकाणी पडू शकते; त्यामुळे पिक्सेलची तीव्रता किंचित बदलते. दुसरे, कॅलिब्रेशनमधील उरलेल्या चुका दोन प्रतिमांतील अनुरूपतेला विकृत करतात.

या दोन्ही परिणामांमुळे योग्य पुनरावृत्तीपेक्षा दुसरी पुनरावृत्ती संदर्भाशी अधिक जुळणारी वाटू शकते. परिणामी विस्थापनामुळे पृष्ठभागाचे अंतर चुकीचे ठरते. प्रतिमांतून काढलेल्या वैशिष्ट्यांची तुलना करणाऱ्या शिकलेल्या स्टिरिओ मॉडेलमध्येही ही संवेदनशीलता संशोधकांना दिसली.

हे नमुने हेतुपुरस्सर निवडले होते. कॅमेरा आणि संबंधित प्रक्रिया-सेटिंग्जची माहिती किंवा मूल्यमापनासाठी तुलनीय यंत्रणेची उपलब्धता, असे या अभ्यासाच्या धोक्याच्या प्रारूपात गृहीत धरले आहे. संशोधनप्रमुख सारा रामपाझी यांनी २२ सप्टेंबरच्या फ्लोरिडा विद्यापीठाच्या वृत्तांतात नैसर्गिकरीत्या आढळणाऱ्या पुनरावृत्तीबद्दलही सुरक्षेची चिंता व्यक्त केली. मात्र, नेहमीच्या रस्त्यावरील पृष्ठभागांमुळे प्रत्यक्ष वापरातील वाहनांत धोकादायक चुका कितीदा होतात, हे अभ्यासाने मोजलेले नाही.

चाचण्यांत आकलन-प्रणालीचे वेगवेगळे भाग तपासले

संशोधकांनी नोंदवलेल्या प्रतिमांवरील प्रयोग, प्रत्यक्ष कॅमेरा मोजमापे आणि सिम्युलेशन एकत्र केले.

संशोधनलेख आणि त्याच्या प्रयोग-सामग्रीच्या परिशिष्टात RealSense सेन्सर D435 असल्याचे म्हटले आहे. मात्र, लेखकांच्या प्रात्यक्षिक पृष्ठावर त्याला D435i म्हटले आहे; मूळ स्रोतांतील या वर्णनांतून अचूक आवृत्तीचा ठोस उलगडा होत नाही.

एका घरातील चाचणीत, निवडलेल्या नमुना-स्थितींमध्ये कॅमेऱ्यांपासून तीन मीटर दूर असलेला पृष्ठभाग ZED2 ने ०.८ मीटर आणि RealSense ने ०.६ मीटर अंतरावर असल्याचा अंदाज दिला.

SGM-DDC स्टिरिओ जुळवणी मर्यादित करण्यासाठी LiDAR अंतर वापरते. एकत्रीकरण नसलेल्या पद्धतींपेक्षा ती नमुन्यामुळे होणाऱ्या बदलांना अधिक प्रतिरोधक होती; तरीही तपासलेल्या संरचनेत तिच्याकडून चुका झाल्या. कृत्रिम LiDAR इनपुटमुळे हा निष्कर्ष एका एकत्रीकरण पद्धतीपुरता आणि तयार केलेल्या परिस्थितीपुरता मर्यादित आहे.

वाहन चाचण्यांत अडथळ्यांचा चुकीचा भास सिद्ध झाला

प्रत्यक्ष कार-प्रयोगात संशोधकांनी कारच्या मार्गाशेजारी उभ्या असलेल्या व्हॅनवर नमुना प्रक्षेपित केला. खोलीमापनाच्या चुकीच्या अंदाजामुळे त्या पृष्ठभागाचा काही भाग कारच्या आकलनातील मार्गात असल्याचा भास झाला. संशोधनलेखातील निकालांच्या तक्त्यानुसार, दोन कॅमेरे आणि प्रकाशाच्या वेगवेगळ्या परिस्थितींमध्ये हे चुकीचे अंदाज साधारण ०.७ ते १.२ सेकंद टिकले.

यानंतरच्या मूल्यमापनासाठी संशोधकांनी Autoware मधील Euclidean clustering वापरले. ही पद्धत खोली-नकाशातील जवळचे बिंदू एकत्र करून संभाव्य अडथळे ठरवते. चुकीच्या बिंदूंचा अडथळा म्हणून शोध लागल्यास चाचणी यशस्वी मानली; आपत्कालीन ब्रेकिंगसारख्या स्वयंचलित प्रतिसादासाठी ०.५ सेकंदांचा टिकाव पुरेसा असल्याचा संदर्भ दिला. प्रयोग-सामग्रीच्या परिशिष्टात नोंदवलेल्या पॉइंट-क्लाउडचे मूल्यमापन आणि खोलीमापनाच्या चुकीच्या क्लस्टरचा कालावधीही वर्णन केला आहे.

नोंदवलेल्या मूल्यमापनात प्रत्यक्ष आपत्कालीन ब्रेकिंगची कृती, मोजलेली घसरण किंवा अपघात नोंदवलेला नाही. या संशोधनातून अचानक ब्रेकिंगमुळे संभाव्य धडक किंवा धोका निर्माण होऊ शकतो, असे फ्लोरिडा विद्यापीठाने नमूद केले. प्रयोगांत हे परिणाम दाखवलेले नव्हते.

प्रत्यक्ष चाचण्या नियंत्रित वातावरणात ताशी १५ किमीपर्यंतच्या वेगाने झाल्या. ताशी ४० किमीचा निकाल CARLA मधील सिम्युलेशनवर आधारित होता: सिम्युलेटेड खोलीमापनातील बदल २.१ सेकंद टिकला. या स्वतंत्र सिम्युलेशनने अभ्यासातील परिस्थितींचा विस्तार केला; पण त्या वेगाने प्रत्यक्ष वाहन चाचणी झाल्याचे सिद्ध होत नाही.

पुनरावृत्तीच्या जुळवणी उमेदवारांची तपासणी करणारा बचावात्मक उपाय

प्रस्तावित उपाय दोन प्रतिमांची तुलना करताना वापरले जाणारे गुण तपासतो. पुनरावृत्तीच्या संरचनांमुळे जुळवणीचे संभाव्य पर्याय नियमित क्रमाने दिसतात. ही नियमितता ओळखून पद्धत प्रभावित भागाची मोठ्या एककाप्रमाणे जुळवणी करते आणि चुकीचा पुनरावृत्ती-घटक निवडण्याची शक्यता कमी करते.

प्रत्यक्ष चाचणीच्या परिस्थितीत गोळा केलेल्या २०० स्टिरिओ प्रतिमाजोड्यांपैकी मूल्यमापन केलेल्या ९६.५% प्रकरणांत खोलीमापनाची चूक अर्ध्या मीटरपेक्षा कमी झाली, असे लेखक सांगतात. PSMNet मधील मधल्या टप्प्यातील जुळवणी-माहिती वापरण्यासाठीही त्यांनी हा उपाय बदलला. नमुने जोडलेल्या २०० KITTI प्रतिमाजोड्यांवरील त्या आवृत्तीत प्रत्येक मूल्यमापन केलेल्या प्रकरणात चूक ०.१ मीटरपेक्षा कमी झाली.

शिकलेल्या मॉडेलवरील बचावात्मक उपायाचा हा निकाल PSMNetपुरता आहे; MoCha-Stereo किंवा UniMatch साठी तोच परिणाम सिद्ध झालेला नाही. सपाट किंवा अर्धवट सपाट प्रक्षेपण-पृष्ठभागांपुरते प्रत्यक्ष प्रयोग मर्यादित होते आणि गतिमान चाचण्यांत एकच नमुना स्थिर ठेवला होता. प्रशिक्षणाचा डेटा कोणते नमुने मॉडेलवर परिणाम करतात आणि किती करतात, हे बदलू शकतो, असेही चर्चेत दाखवले आहे.

कॅमेरा प्रक्रिया आणि शिकलेल्या खोली-अंदाजात पुनरावृत्तीच्या नमुन्यांचा परिणाम तपासण्याचे कारण हे प्रयोग प्रणाली-विकासकांना देतात. प्रत्यक्ष वापरातील संपूर्ण कार्यस्थितींमध्ये या उपायाची कामगिरी किती असेल, हे अद्याप स्थापित झालेले नाही.

लेखकांच्या मते हा लेख ACM CCS 2026 मध्ये आगामी संशोधन म्हणून स्वीकारला आहे. परिषदेच्या अधिकृत संकेतस्थळावर हेग येथे १५–१९ नोव्हेंबरच्या तारखा दिल्या आहेत आणि अंतिम कार्यक्रम तयार होत असल्याचे म्हटले आहे. तिथे संशोधन अद्याप सादर झालेले नाही.

स्रोत आणि पुढील वाचन

• Illusion of Depth: Revealing Hidden Stereo Vision Vulnerabilities in Depth Estimation, १४ सप्टेंबर २०२६. संपूर्ण संशोधनलेखात त्रुटींची यंत्रणा, तपासलेले अल्गोरिदम व कॅमेरे, प्रत्यक्ष व सिम्युलेटेड परिस्थिती, बचावात्मक उपायांचे निकाल आणि मर्यादा दिल्या आहेत. वाहनांवरील संभाव्य परिणाम म्हणून चुकीचा अडथळा-भास आणि त्यासाठी नमूद केलेली प्रतिसाद-कालमर्यादा नोंदवली आहे; प्रत्यक्ष ब्रेकिंग कृती किंवा धडक पद्धतीत दस्तऐवजीकरण केलेली नाही.
• फ्लोरिडा विद्यापीठाचा संशोधनविषयक वृत्तांत, २२ सप्टेंबर २०२६. संशोधन पथकाचे स्पष्टीकरण आणि त्यांच्या नावाने मांडलेल्या सुरक्षिततेविषयक परिणामांची माहिती देतो. धडकांच्या शक्यता या संभाव्य परिणामांचे वर्णन आहेत; प्रत्यक्ष घडलेल्या घटना नाहीत.
• लेखकांचे प्रात्यक्षिक पृष्ठ आणि संशोधनाची प्रयोग-सामग्री, २४ सप्टेंबर २०२६ रोजी तपासली. परिशिष्टात प्रतिमांचे, पॉइंट-क्लाउडचे आणि सिम्युलेशनचे मूल्यमापन स्पष्ट केले आहे. प्रात्यक्षिकातील शीर्षकांत D435i, तर संशोधनलेख आणि परिशिष्टात D435 म्हटले आहे. एम्बेड केलेले व्हिडिओ अतिरिक्त पुरावा म्हणून वापरलेले नाहीत.
• ACM CCS 2026, २४ सप्टेंबर २०२६ रोजी तपासले. परिषदेच्या तारखा आणि ठिकाणाची पुष्टी करते. लेख आगामी असल्याचे लेखकांनी म्हटले आहे; या लेखासाठी वाचलेल्या परिषद-पृष्ठावर सादरीकरणाची ठरावीक वेळ दिलेली नव्हती.