शाओमी के शोधकर्ताओं ने MiDashengLM-Spatial जारी किया है। यह ऑडियो-भाषा मॉडल दो-चैनल ध्वनि लेता है और ध्वनियाँ कहाँ से आ रही हैं तथा उनमें क्या है, दोनों तरह के सवालों के जवाब देता है। 8 अक्टूबर का शोधपत्र दो स्थानिक-ऑडियो बेंचमार्क उपसमूहों में परीक्षण किए गए मोनो ऑडियो मॉडलों से काफी ऊँचे अंक बताता है। सार्वजनिक कोड और चेकपॉइंट से विधि को जाँचा जा सकता है, हालाँकि BIG CHANGE ने मॉडल नहीं चलाया और मूल्यांकन नहीं दोहराए।

रिकॉर्डिंग में एक से अधिक स्रोत होने पर यह अंतर महत्वपूर्ण है। सामान्य ऑडियो सवाल पूछ सकता है कि क्या सुनाई दे रहा है। स्थानिक सवाल यह भी पूछता है कि स्रोत श्रोता के बाएँ है या दाएँ, वह चल रहा है या नहीं और जवाब किस ध्वनि को संदर्भित करता है। दो चैनलों को एक में मिलाने से उनके बीच के वे अंतर मिट जाते हैं जो दिशा की जानकारी दे सकते हैं।

बड़ा बदलाव

  • क्या बदला: शोधकर्ताओं ने MiDashengLM में स्थानिक ऑडियो शाखा जोड़ी और शोधपत्र, कोड तथा मॉडल चेकपॉइंट जारी किया। मॉडल स्थानिक सवालों के लिए द्विकर्ण ऑडियो लेता है और सामान्य ऑडियो समझने का रास्ता भी बनाए रखता है।
  • यह क्यों महत्वपूर्ण है: ध्वनि के स्थान का लिखित जवाब देने के लिए घटना की पहचान और स्थान के संकेत, दोनों चाहिए। दो-शाखा डिजाइन स्थानिक शाखा को मध्यवर्ती अर्थगत विशेषताएँ इस्तेमाल करने देता है, जबकि अर्थगत शाखा के आगे की ओर प्रसंस्करण पथ की संरचना नहीं बदलती।
  • क्या देखना चाहिए: लेखकों का चैनल-अदला-बदली बेंचमार्क जाँचता है कि बाएँ-दाएँ जवाब ऑडियो चैनलों के अनुसार बदलते हैं या नहीं। प्रकाशित नतीजों को उपयोग में भरोसेमंद मानने से पहले अलग-अलग रिकॉर्डिंग व्यवस्थाओं और कई ध्वनियों वाले दृश्यों सहित अधिक स्वतंत्र परीक्षण चाहिए।

दो शाखाएँ काम कैसे बाँटती हैं

यह arXiv v1 शोधपत्र MiDashengLM से मिले 32-परत अर्थगत एन्कोडर और बहु-चैनल ऑडियो के लिए 12-परत Spatial-Dasheng एन्कोडर का वर्णन करता है। अर्थगत पथ रिकॉर्डिंग में क्या है, यह निकालता है। Spatial-Dasheng को प्रत्येक फ्रेम में सक्रिय ध्वनि घटनाओं की पहचान और उनकी दिशा व दूरी का अनुमान लगाने के लिए प्रशिक्षित किया जाता है, स्रोतों के एक-दूसरे पर आने पर भी। मध्यवर्ती अर्थगत निरूपण एडेप्टरों से चार गहराइयों पर स्थानिक शाखा में प्रवेश करते हैं। अंतिम आउटपुट ऑडियो टोकन में मिलते हैं, जिनसे भाषा मॉडल टेक्स्ट बनाता है।

यह व्यवस्था जुड़ाव की एक खास समस्या सुलझाने के लिए है। दो स्रोत एक-दूसरे पर आएँ तो केवल स्थान का अनुमान नहीं बताता कि वहाँ कौन-सी ध्वनि है। अर्थगत विशेषताओं के आधार पर स्थानिक विशेषताओं को नियंत्रित करना लेखकों का इन संकेतों को जोड़ने का तरीका है, जिसमें नए स्थानिक निरूपण मूल अर्थगत पथ में वापस नहीं भेजे जाते। शोधपत्र बताता है कि प्रशिक्षण में लगभग 10 लाख संश्लेषित द्विकर्ण दृश्य, करीब 13,000 घंटे ऑडियो और 60 लाख प्रश्न-उत्तर जोड़े इस्तेमाल होते हैं, जिसके बाद मोनो और द्विकर्ण डेटा का मिश्रण आता है। ये लेखकों के डेटासेट आँकड़े हैं, स्वतंत्र रूप से ऑडिट की गई गिनतियाँ नहीं।

इस निश्चित कमिट वाले रिपॉजिटरी के README में Transformers का उदाहरण है जो टेक्स्ट निर्देश से पहले ऑडियो रखता है और वास्तविक द्विकर्ण ऑडियो को (2, T) आकार के ऐरे के रूप में लेता है। इसमें कहा गया है कि मोनो इनपुट भी चलता है, लेकिन उसमें दिशा नहीं होती। यह कथन किसी खास माइक्रोफोन, उपकरण या ध्वनिक परिस्थिति के साथ अनुकूलता साबित नहीं करता। कोड पथ from_pretrained को trust_remote_code=True के साथ कॉल करता है, इसलिए चलाने से पहले उपयोगकर्ताओं को रिपॉजिटरी और चेकपॉइंट कोड देखना चाहिए। चेकपॉइंट का फाइल ट्री लगभग 33.5 GB फाइलें और Apache-2.0 लाइसेंस दिखाता है; केवल फाइल आकार से कामकाजी मेमोरी या इन्फरेंस लागत तय नहीं होती।

लेखकों ने क्या मापा

STAR-Bench के Spatial Reasoning उपसमूह में शोधपत्र MiDashengLM-Spatial के लिए 70.3% स्थानिक सटीकता बताता है, जबकि उसके मोनो MiDashengLM आधार मॉडल के लिए 44.3% है। MMAU-Pro के स्थानिक उपसमूह में 55.4% बनाम 18.2% बताया गया है। ये आँकड़े बेंचमार्क रिकॉर्डिंग के लेखक-मूल्यांकन से हैं, BIG CHANGE के परीक्षण या मापे गए वास्तविक उपयोग से नहीं।

शोधपत्र यह भी जाँचता है कि जवाब दो चैनलों पर निर्भर हैं या नहीं। जिन सवालों का सही बाएँ-दाएँ जवाब चैनल बदलने पर उलट जाता है, उनमें पूर्ण-सही दर के लिए मूल और बदले हुए, दोनों जवाब सही होने चाहिए। लेखक STAR-Bench में अपने मॉडल के लिए 72.6% और मोनो MiDashengLM आधार मॉडल के लिए 0% बताते हैं। यह जोड़ीदार जाँच एक सटीकता अंक से बेहतर बताती है कि दिशा का जवाब ऑडियो पर आधारित है या नहीं, लेकिन यह अब भी शोधपत्र की शर्तों में बेंचमार्क का नतीजा है।

शोधपत्र सावधानी की वजहें देता है। अपने संश्लेषित दृश्य परीक्षणों में गति के पथों का हूबहू मिलान अब भी 20% से नीचे है और कई अतिव्यापी स्रोतों वाले जटिल दृश्यों में मॉडल का प्रदर्शन खराब होता है। स्टीरियो STARSS23 स्थान-निर्धारण मूल्यांकन में लेखक काम को बाएँ-दाएँ दिगंश तक सीमित करते हैं, क्योंकि स्टीरियो रिकॉर्डिंग ऊपर-नीचे और आगे-पीछे की अस्पष्टता दूर करने के लिए सीमित संकेत देती हैं। सामान्य ऑडियो नतीजे हर काम में एक जैसे बेहतर होने के बजाय बदलते हैं। शोध के लिए चेकपॉइंट पर विचार करने वालों के लिए ये सीमाएँ महत्वपूर्ण हैं: स्थानिक बेंचमार्क में सुधार विभिन्न रिकॉर्डिंग परिवेशों में मजबूत स्थान-निर्धारण या नेविगेशन का सुरक्षित आधार साबित नहीं करता।

स्रोत और आगे पढ़ें