Xiaomi کے محققین نے MiDashengLM-Spatial جاری کیا، ایک آڈیو-لینگویج ماڈل جو دو چینل آواز لیتا ہے اور آوازیں کہاں سے آ رہی ہیں اور ان میں کیا ہے، دونوں کے سوالوں کا جواب دیتا ہے۔ 8 اکتوبر کا مقالہ دو مکانی آڈیو بینچ مارک ذیلی مجموعوں میں آزمائے گئے مونو آڈیو ماڈلز کے مقابلے میں خاصے زیادہ اسکور بتاتا ہے۔ عوامی کوڈ اور چیک پوائنٹ سے طریقے کا معائنہ ممکن ہے، اگرچہ BIG CHANGE نے ماڈل نہیں چلایا اور نہ جائزے دہرائے ہیں۔

یہ فرق اس وقت اہم ہے جب ریکارڈنگ میں ایک سے زیادہ ماخذ ہوں۔ عام آڈیو سوال یہ پوچھ سکتا ہے کہ کیا سنائی دیتا ہے۔ مکانی سوال یہ بھی پوچھتا ہے کہ ماخذ سننے والے کے بائیں ہے یا دائیں، آیا وہ حرکت کرتا ہے، اور جواب کس آواز کے بارے میں ہے۔ دو چینل کو ایک میں ملانے سے ان کے درمیان وہ فرق ختم ہو جاتے ہیں جو سمت کی معلومات دے سکتے ہیں۔

بڑی تبدیلی

  • کیا بدلا: محققین نے MiDashengLM میں مکانی آڈیو شاخ شامل کی اور مقالہ، کوڈ اور ماڈل چیک پوائنٹ جاری کیا۔ ماڈل مکانی سوالوں کے لیے بائنورل آڈیو لیتا ہے اور عمومی آڈیو فہم کا راستہ برقرار رکھتا ہے۔
  • یہ کیوں اہم ہے: آواز کے مقام کا تحریری جواب دینے کے لیے واقعے کی پہچان اور مقام کے اشارے دونوں درکار ہیں۔ دو شاخوں کا ڈیزائن مکانی شاخ کو درمیانی معنوی خصوصیات استعمال کرنے دیتا ہے، جبکہ معنوی شاخ کے آگے کی جانب عمل کے راستے کی ساخت نہیں بدلتی۔
  • کس پر نظر رکھیں: مصنفین کا چینل تبدیل کرنے کا بینچ مارک جانچتا ہے کہ بائیں-دائیں جوابات آڈیو چینل کے مطابق بدلتے ہیں یا نہیں۔ رپورٹ کردہ نتائج کو عملی استعمال میں قابلِ اعتماد ماننے سے پہلے مزید آزادانہ ٹیسٹ درکار ہیں، جن میں مختلف ریکارڈنگ انتظامات اور کئی آوازوں والے مناظر شامل ہوں۔

دو شاخیں کام کیسے بانٹتی ہیں

یہ arXiv v1 مقالہ MiDashengLM سے ملنے والا 32 تہوں کا معنوی انکوڈر اور کثیر چینل آڈیو کے لیے 12 تہوں کا Spatial-Dasheng انکوڈر بیان کرتا ہے۔ معنوی راستہ ریکارڈنگ میں موجود مواد نکالتا ہے۔ Spatial-Dasheng کو ہر فریم میں فعال صوتی واقعات کی پہچان اور ان کی سمت و فاصلے کا اندازہ لگانے کی تربیت دی جاتی ہے، ماخذ ایک دوسرے پر آئیں تب بھی۔ درمیانی معنوی نمائندگیاں اڈاپٹرز سے چار گہرائیوں پر مکانی شاخ میں داخل ہوتی ہیں۔ آخری آؤٹ پٹ آڈیو ٹوکنز میں ملتے ہیں، جن سے لینگویج ماڈل متن بناتا ہے۔

یہ ترتیب تعلق قائم کرنے کے ایک خاص مسئلے کو حل کرنے کی کوشش ہے۔ دو ماخذ ایک دوسرے پر آئیں تو صرف مقام کا اندازہ نہیں بتاتا کہ وہاں کون سی آواز ہے۔ معنوی خصوصیات کی بنیاد پر مکانی خصوصیات کو مشروط کرنا مصنفین کا ان اشاروں کو ملانے کا طریقہ ہے، جس میں نئی مکانی نمائندگیاں اصل معنوی راستے میں واپس نہیں بھیجی جاتیں۔ مقالہ بتاتا ہے کہ تربیت میں تقریباً 10 لاکھ مصنوعی بائنورل مناظر، تقریباً 13,000 گھنٹے آڈیو اور 60 لاکھ سوال جواب کے جوڑے استعمال ہوتے ہیں، جن کے بعد مونو اور بائنورل ڈیٹا کا مرکب آتا ہے۔ یہ مصنفین کے ڈیٹاسیٹ کے اعداد ہیں، آزادانہ طور پر آڈٹ کی گئی گنتیاں نہیں۔

یہ مخصوص کمٹ پر مقرر ریپوزٹری کا README Transformers کی مثال درج کرتا ہے جو متنی ہدایت سے پہلے آڈیو رکھتی ہے اور حقیقی بائنورل آڈیو کو (2, T) شکل کے array کے طور پر قبول کرتی ہے۔ اس کے مطابق مونو ان پٹ بھی چلتا ہے، مگر سمت نہیں رکھتا۔ یہ بیان کسی خاص مائیکروفون، آلے یا صوتی ماحول کے ساتھ مطابقت ثابت نہیں کرتا۔ کوڈ کا راستہ from_pretrained کو trust_remote_code=True کے ساتھ کال کرتا ہے، اس لیے چلانے سے پہلے صارفین کو ریپوزٹری اور چیک پوائنٹ کوڈ کا معائنہ کرنا چاہیے۔ چیک پوائنٹ کا فائل ٹری تقریباً 33.5 GB فائلیں اور Apache-2.0 لائسنس دکھاتا ہے؛ صرف فائل کے حجم سے کام کے دوران درکار میموری یا انفرنس کی لاگت معلوم نہیں ہوتی۔

مصنفین نے کیا ناپا

STAR-Bench کے Spatial Reasoning ذیلی مجموعے میں مقالہ MiDashengLM-Spatial کی مکانی درستگی 70.3% بتاتا ہے، جبکہ اس کے مونو MiDashengLM بنیادی ماڈل کی 44.3% ہے۔ MMAU-Pro کے مکانی ذیلی مجموعے میں 55.4% بمقابلہ 18.2% بتایا گیا ہے۔ یہ اعداد مصنفین کے بینچ مارک ریکارڈنگ کے جائزے سے ہیں، BIG CHANGE کے ٹیسٹ یا ناپی گئی عملی تعیناتی سے نہیں۔

مقالہ یہ بھی جانچتا ہے کہ جواب دو چینل پر منحصر ہیں یا نہیں۔ جن سوالوں کا صحیح بائیں-دائیں جواب آڈیو چینل تبدیل کرنے پر الٹ جاتا ہے، ان میں مکمل درستگی کی شرح کے لیے اصل اور تبدیل شدہ دونوں جواب صحیح ہونا ضروری ہیں۔ مصنفین STAR-Bench میں اپنے ماڈل کے لیے 72.6% اور مونو MiDashengLM بنیادی ماڈل کے لیے 0% بتاتے ہیں۔ یہ جوڑی دار جانچ ایک درستگی اسکور کے مقابلے میں زیادہ بتاتی ہے کہ سمت کا جواب آڈیو پر مبنی ہے یا نہیں، مگر یہ اب بھی مقالے کی شرائط کے تحت بینچ مارک کا نتیجہ ہے۔

مقالہ احتیاط کی وجوہ بھی دیتا ہے۔ اپنے مصنوعی مناظر کے ٹیسٹ میں حرکت کے راستوں کا عین مطابق ملنا اب بھی 20% سے کم ہے، اور کئی باہم ملتے ماخذ والے پیچیدہ مناظر میں ماڈل بدتر کارکردگی دکھاتا ہے۔ سٹیریو STARSS23 مقام شناسی کے جائزے میں مصنفین کام کو بائیں-دائیں سمتی زاویے تک محدود رکھتے ہیں، کیونکہ سٹیریو ریکارڈنگ اوپر-نیچے اور آگے-پیچھے کے ابہام کو حل کرنے کے محدود اشارے دیتی ہیں۔ عمومی آڈیو نتائج ہر کام میں یکساں بہتر ہونے کے بجائے کام کے لحاظ سے بدلتے ہیں۔ تحقیق کے لیے چیک پوائنٹ پر غور کرنے والوں کے لیے یہ حدود اہم ہیں: مکانی بینچ مارک میں بہتری مختلف ریکارڈنگ ماحول میں مضبوط مقام شناسی یا رہنمائی کے لیے محفوظ بنیاد ثابت نہیں کرتی۔

ماخذ اور مزید مطالعہ