أصدر باحثو شاومي MiDashengLM-Spatial، وهو نموذج صوتي لغوي يقبل صوتاً من قناتين ويجيب عن مصدر الأصوات وما تتضمنه. وتذكر ورقة 8 أكتوبر درجات أعلى بكثير من النماذج أحادية القناة التي اختُبرت على مجموعتين فرعيتين من اختبارات الصوت المكاني. ويتيح الكود ونقطة تحقق النموذج المنشوران فحص المنهج، وإن كانت BIG CHANGE لم تشغّل النموذج أو تكرر التقييمات.

يهم هذا التمييز عندما يحتوي التسجيل على أكثر من مصدر. فقد يسأل سؤال صوتي تقليدي عما يمكن سماعه. أما السؤال المكاني فيسأل أيضاً إن كان المصدر إلى يسار المستمع أو يمينه، وهل يتحرك، وأي صوت تقصده الإجابة. ودمج القناتين في قناة واحدة يزيل الفروق بينهما التي قد تحمل معلومات عن الاتجاه.

التغيير الكبير

  • ما الذي تغيّر: أضاف الباحثون فرعاً للصوت المكاني إلى MiDashengLM ونشروا ورقة وكوداً ونقطة تحقق للنموذج. ويأخذ النموذج صوتاً ثنائي الأذنين للأسئلة المكانية، مع الاحتفاظ بمسار للفهم العام للصوت.
  • لماذا يهم: تحتاج الإجابة النصية عن موقع صوت إلى التعرف على الحدث ودلائل الموقع معاً. ويتيح التصميم ذو الفرعين للفرع المكاني استخدام سمات دلالية وسيطة، مع إبقاء بنية مسار التمرير الأمامي للفرع الدلالي من دون تغيير.
  • ما الذي ينبغي متابعته: يختبر معيار تبديل القنوات لدى المؤلفين ما إذا كانت إجابات اليسار واليمين تتبع قنوات الصوت. وتلزم اختبارات مستقلة إضافية، تشمل إعدادات تسجيل متنوعة ومشاهد مزدحمة، قبل التعامل مع النتائج المنشورة على أنها موثوقة في التطبيقات.

كيف يقسم الفرعان المهمة

تصف ورقة arXiv v1 مُرمِّزاً دلالياً من 32 طبقة موروثاً من MiDashengLM، ومُرمِّز Spatial-Dasheng من 12 طبقة للصوت متعدد القنوات. ويستخرج المسار الدلالي محتوى التسجيل. ويُدرَّب Spatial-Dasheng على كشف الأحداث الصوتية النشطة إطاراً بإطار وتقدير اتجاهها ومسافتها، بما في ذلك عند تداخل المصادر. وتدخل التمثيلات الدلالية الوسيطة إلى الفرع المكاني عند أربعة أعماق عبر موائمات. وتُدمج المخرجات النهائية في رموز صوتية ليولّد نموذج لغوي النص.

يعالج هذا الترتيب مشكلة ربط محددة. فإذا تداخل مصدران، لا يبين تقدير الموقع وحده أي صوت ينتمي إليه. وربط السمات المكانية بشرط السمات الدلالية هو نهج المؤلفين لجمع هذه الدلائل من دون إعادة التمثيلات المكانية الجديدة عبر المسار الدلالي الأصلي. وتقول الورقة إن التدريب يستخدم نحو مليون مشهد ثنائي الأذنين مُصنَّع، وحوالي 13 ألف ساعة صوت، وستة ملايين زوج من الأسئلة والأجوبة، يتبعها مزيج من البيانات أحادية القناة وثنائية الأذنين. هذه أرقام المؤلفين لمجموعة البيانات، وليست أعداداً خضعت لتدقيق مستقل.

يوثّق ملف README في المستودع عند الإيداع البرمجي المثبّت مثالاً باستخدام Transformers يضع الصوت قبل التعليمة النصية ويقبل الصوت الحقيقي ثنائي الأذنين على هيئة مصفوفة (2, T). ويقول إن الإدخال أحادي القناة يظل قابلاً للتشغيل، لكنه لا يحمل اتجاهاً. ولا يثبت هذا القول التوافق مع ميكروفون أو جهاز أو بيئة صوتية بعينها. ويستدعي مسار الكود from_pretrained مع trust_remote_code=True، لذا ينبغي للمستخدمين فحص كود المستودع ونقطة التحقق قبل تشغيله. وتسرد شجرة ملفات نقطة التحقق حوالي 33.5 GB من الملفات ورخصة Apache-2.0؛ ولا يحدد حجم الملفات وحده ذاكرة العمل أو تكلفة الاستدلال.

ما الذي قاسه المؤلفون

في مجموعة Spatial Reasoning الفرعية من STAR-Bench، تذكر الورقة دقة مكانية قدرها 70.3% لـ MiDashengLM-Spatial، مقابل 44.3% لنموذج المقارنة MiDashengLM أحادي القناة. وفي المجموعة المكانية الفرعية من MMAU-Pro، تذكر 55.4% مقابل 18.2%. وتأتي هذه الأرقام من تقييم المؤلفين لتسجيلات معيارية، لا من اختبار BIG CHANGE أو قياس نشر فعلي.

وتفحص الورقة أيضاً ما إذا كانت الإجابات تعتمد على القناتين. ففي الأسئلة التي تنعكس إجابتها الصحيحة يساراً ويميناً عند تبديل قنوات الصوت، يشترط معدل الصحة الكاملة أن تكون الإجابة الأصلية وإجابة التبديل صحيحتين معاً. ويذكر المؤلفون 72.6% على STAR-Bench لنموذجهم و0% لنموذج المقارنة MiDashengLM أحادي القناة. وهذا الفحص المقترن أكثر إفادة عن استناد الاتجاه إلى الصوت من درجة دقة منفردة، لكنه يظل نتيجة معيارية في ظروف الورقة.

وتقدم الورقة أسباباً للحذر. ففي اختبارات المشاهد المُصنَّعة الخاصة بها، تظل المطابقات الدقيقة لمسارات الحركة دون 20%، ويضعف أداء النموذج في المشاهد المعقدة ذات المصادر المتداخلة المتعددة. وفي تقييم تحديد الموقع الستيريو STARSS23، يقصر المؤلفون المهمة على زاوية السمت يساراً ويميناً، لأن تسجيلات الستيريو تعطي دلائل محدودة لحل التباس أعلى-أسفل وأمام-خلف. وتتفاوت نتائج الصوت العام باختلاف المهام بدلاً من التحسن الموحد. وتهم هذه الحدود من يفكر في نقطة التحقق للبحث: فالتحسن في المعايير المكانية لا يثبت تحديد موقع متيناً عبر بيئات التسجيل، ولا أساساً آمناً للملاحة.

المصادر وقراءات إضافية