Xiaomi संशोधकांनी MiDashengLM-Spatial प्रसिद्ध केले. हे ऑडिओ-भाषा मॉडेल दोन-चॅनेल ध्वनी स्वीकारते आणि ध्वनी कुठून येतो तसेच त्यात काय आहे याबद्दलच्या प्रश्नांची उत्तरे देते. 8 ऑक्टोबरच्या संशोधनपत्रात दोन अवकाशीय-ऑडिओ बेंचमार्क उपसंचांत चाचणी केलेल्या मोनो ऑडिओ मॉडेलपेक्षा लक्षणीय जास्त गुण नोंदवले आहेत. सार्वजनिक कोड आणि चेकपॉइंटमुळे पद्धत पाहता येते; मात्र BIG CHANGE ने मॉडेल चालवलेले नाही किंवा मूल्यमापने पुन्हा केलेली नाहीत.

ध्वनिमुद्रणात एकापेक्षा जास्त स्रोत असतील तेव्हा हा फरक महत्त्वाचा असतो. सर्वसाधारण ऑडिओ प्रश्नात काय ऐकू येते असे विचारले जाऊ शकते. अवकाशीय प्रश्नात स्रोत श्रोत्याच्या डावीकडे की उजवीकडे आहे, तो हालतो का आणि उत्तर कोणत्या ध्वनीचा संदर्भ देते हेही विचारले जाते. दोन चॅनेल एकत्र करून एक केल्यास दिशेची माहिती देऊ शकणारे त्यांच्यातील फरक नष्ट होतात.

मोठा बदल

  • काय बदलले: संशोधकांनी MiDashengLM मध्ये अवकाशीय ऑडिओ शाखा जोडून संशोधनपत्र, कोड आणि मॉडेल चेकपॉइंट प्रसिद्ध केले. मॉडेल अवकाशीय प्रश्नांसाठी द्विकर्ण ऑडिओ घेते आणि सर्वसाधारण ऑडिओ आकलनाचा मार्गही राखते.
  • हे महत्त्वाचे का: ध्वनीच्या स्थानाबद्दलच्या मजकुरी उत्तरासाठी घटना ओळख आणि स्थानाचे संकेत, दोन्ही लागतात. दोन-शाखांच्या रचनेत अवकाशीय शाखा मधल्या टप्प्यांतील अर्थविषयक वैशिष्ट्ये वापरू शकते, तर अर्थविषयक शाखेच्या अग्रप्रवाह मार्गाची रचना बदलत नाही.
  • कशाकडे लक्ष द्यावे: लेखकांचा चॅनेल-अदलाबदल बेंचमार्क डावी-उजवी उत्तरे ऑडिओ चॅनेलनुसार बदलतात का हे तपासतो. नोंदवलेले परिणाम अनुप्रयोगांत विश्वासार्ह मानण्यापूर्वी वेगवेगळ्या ध्वनिमुद्रण मांडण्या आणि अनेक स्रोतांनी भरलेल्या प्रसंगांसह अधिक स्वतंत्र चाचण्या आवश्यक आहेत.

दोन शाखा काम कसे विभागतात

हा arXiv v1 संशोधनलेख MiDashengLM कडून घेतलेला 32-स्तरीय अर्थविषयक एन्कोडर आणि बहुचॅनेल ऑडिओसाठी 12-स्तरीय Spatial-Dasheng एन्कोडर सांगतो. अर्थविषयक मार्ग ध्वनिमुद्रणात काय आहे ते काढतो. Spatial-Dasheng ला प्रत्येक फ्रेममध्ये सक्रिय ध्वनीघटना शोधण्याचे आणि त्यांची दिशा व अंतर अंदाजण्याचे प्रशिक्षण दिले जाते, स्रोत एकमेकांवर येत असले तरीही. मध्यवर्ती अर्थविषयक निरूपणे अडॅप्टरमधून चार खोलींवर अवकाशीय शाखेत प्रवेश करतात. अंतिम आउटपुट ऑडिओ टोकनमध्ये एकत्र येतात, ज्यांपासून भाषा मॉडेल मजकूर तयार करते.

ही मांडणी संबंध जोडण्याची एक विशिष्ट समस्या हाताळते. दोन स्रोत एकमेकांवर आले तर केवळ स्थानाचा अंदाज तिथे कोणता ध्वनी आहे ते सांगत नाही. नवीन अवकाशीय निरूपणे मूळ अर्थविषयक मार्गात परत न पाठवता, अर्थविषयक वैशिष्ट्यांवर अवकाशीय वैशिष्ट्ये अवलंबून ठेवणे ही लेखकांची संकेत जोडण्याची पद्धत आहे. लेखानुसार प्रशिक्षणात सुमारे 10 लाख संश्लेषित द्विकर्ण प्रसंग, सुमारे 13,000 तास ऑडिओ आणि 60 लाख प्रश्नोत्तर जोड्या वापरल्या जातात; त्यानंतर मोनो व द्विकर्ण डेटाचे मिश्रण येते. ही लेखकांची डेटासेटची आकडेवारी आहे, स्वतंत्र लेखापरीक्षण केलेल्या संख्या नाहीत.

या निश्चित कमिटवरील रिपॉझिटरीचा README मजकुरी सूचनेआधी ऑडिओ ठेवणारे Transformers उदाहरण देतो आणि खरा द्विकर्ण ऑडिओ (2, T) आकाराचा अॅरे म्हणून स्वीकारतो. मोनो इनपुटही चालतो पण दिशा देत नाही, असे त्यात म्हटले आहे. या विधानातून विशिष्ट मायक्रोफोन, उपकरण किंवा ध्वनिक परिस्थितीशी सुसंगतता सिद्ध होत नाही. कोडचा मार्ग from_pretrained ला trust_remote_code=True सह कॉल करतो, त्यामुळे चालवण्यापूर्वी वापरकर्त्यांनी रिपॉझिटरी आणि चेकपॉइंट कोड तपासावा. चेकपॉइंटचा फाइल ट्री सुमारे 33.5 GB फाइल्स आणि Apache-2.0 परवाना दाखवतो; केवळ फाइलचा आकार कार्यरत मेमरी किंवा इन्फरन्स खर्च सांगत नाही.

लेखकांनी काय मोजले

STAR-Bench च्या Spatial Reasoning उपसंचावर लेखात MiDashengLM-Spatial साठी 70.3% अवकाशीय अचूकता नोंदवली आहे; त्याच्या मोनो MiDashengLM आधारभूत मॉडेलसाठी ती 44.3% आहे. MMAU-Pro च्या अवकाशीय उपसंचावर 55.4% विरुद्ध 18.2% नोंदवले आहेत. हे आकडे लेखकांनी केलेल्या बेंचमार्क ध्वनिमुद्रणांच्या मूल्यमापनातून आले आहेत; BIG CHANGE ची चाचणी किंवा मोजलेली प्रत्यक्ष तैनाती नाही.

उत्तरे दोन चॅनेलवर अवलंबून आहेत का हेही लेख तपासतो. चॅनेल बदलल्यावर योग्य डावे-उजवे उत्तर उलटणाऱ्या प्रश्नांत, पूर्ण-अचूक दरासाठी मूळ आणि अदलाबदलीनंतरचे दोन्ही उत्तर बरोबर लागते. लेखकांनी STAR-Bench वर आपल्या मॉडेलसाठी 72.6% आणि मोनो MiDashengLM आधारभूत मॉडेलसाठी 0% नोंदवले आहेत. ही जोडीतली तपासणी एकाच अचूकता गुणापेक्षा दिशेचे उत्तर ऑडिओवर आधारित आहे का याबद्दल अधिक सांगते; तरीही तो लेखाच्या अटींमधील बेंचमार्क परिणामच आहे.

लेख सावधगिरीची कारणेही देतो. स्वतःच्या संश्लेषित प्रसंगांच्या चाचणीत हालचालींच्या मार्गांचे तंतोतंत जुळणे अजूनही 20% पेक्षा कमी आहे, आणि अनेक एकमेकांवर येणाऱ्या स्रोतांच्या गुंतागुंतीच्या प्रसंगांत मॉडेल कमी चांगले काम करते. स्टिरिओ STARSS23 स्थाननिर्धारण मूल्यमापनासाठी लेखक काम डाव्या-उजव्या दिगंशापुरते मर्यादित ठेवतात, कारण स्टिरिओ ध्वनिमुद्रणे वर-खाली आणि पुढे-मागे यांचा संभ्रम सोडवण्यासाठी मर्यादित संकेत देतात. सर्वसाधारण ऑडिओ परिणाम सर्व कामांत सारखे सुधारण्याऐवजी कामानुसार बदलतात. संशोधनासाठी चेकपॉइंटचा विचार करणाऱ्यांना या मर्यादा महत्त्वाच्या आहेत: अवकाशीय बेंचमार्कमधील सुधारणा वेगवेगळ्या ध्वनिमुद्रण वातावरणांत मजबूत स्थाननिर्धारण किंवा नेव्हिगेशनसाठी सुरक्षित आधार सिद्ध करत नाही.

स्रोत आणि पुढील वाचन