小米研究人員發布了 MiDashengLM-Spatial。這款音訊語言模型接受雙聲道聲音輸入，既回答聲音從哪裡來，也回答其中包含什麼。10 月 8 日的論文稱，它在兩個空間音訊基準子集上的分數，顯著高於受測的單聲道模型。公開程式碼與模型檢查點讓研究方法可供檢視，但 BIG CHANGE 並未執行模型或重做評估。

當錄音含有不只一個聲源時，這項差異很重要。一般音訊問題可能問聽到了什麼；空間問題還會問聲源在聽者左邊或右邊、是否移動，以及回答指的是哪個聲音。把兩個聲道混成一個，會消除聲道之間可能承載方向資訊的差異。

重大改變

  • 改變了什麼： 研究人員為 MiDashengLM 新增空間音訊分支，並公開論文、程式碼及模型檢查點。模型使用雙耳音訊處理空間問題，同時保留一般音訊理解的路徑。
  • 為何重要： 關於聲音位置的文字回答，同時需要事件辨識與位置線索。雙分支設計讓空間分支運用中間語義特徵，並維持語義分支前向路徑的結構不變。
  • 值得關注： 作者的聲道交換基準測試，檢驗左右回答是否隨音訊聲道改變。在把這些結果視為應用中可靠的依據前，還需要更多獨立測試，包括不同錄音配置及聲源密集的場景。

兩個分支如何分工

這篇arXiv v1 論文描述了從 MiDashengLM 繼承的 32 層語義編碼器，以及處理多聲道音訊的 12 層 Spatial-Dasheng 編碼器。語義路徑擷取錄音包含的內容。Spatial-Dasheng 經訓練逐影格偵測活躍聲音事件，並估計方向與距離，包括聲源重疊的情況。中間語義表示透過轉接器，在四個深度處進入空間分支。最終輸出融合成音訊詞元，供語言模型產生文字。

這種安排處理一項特定的關聯問題：若兩個聲源重疊，單憑位置估計無法說明哪個聲音屬於那個位置。作者以語義特徵作為空間特徵的條件，將這些線索結合，而不把新的空間表示回傳至原有語義路徑。論文稱，訓練使用約 100 萬個合成雙耳場景、約 13,000 小時音訊及 600 萬組問答，之後混合使用單聲道與雙耳資料。這些是作者提供的資料集數字，並非獨立稽核的計數。

這份固定提交版本儲存庫的 README記錄了一個 Transformers 範例，將音訊放在文字指令之前，並以 (2, T) 陣列接受真實雙耳音訊。它表示單聲道輸入仍可執行，但不帶有方向資訊。這項說法無法證明與特定麥克風、裝置或聲學環境相容。程式碼路徑呼叫 from_pretrained，並設定 trust_remote_code=True，因此使用者執行前應檢查儲存庫及檢查點程式碼。檢查點檔案樹列出約 33.5 GB 檔案與 Apache-2.0 授權；僅憑檔案大小無法判定工作記憶體或推論成本。

作者測量了什麼

在 STAR-Bench 的 Spatial Reasoning 子集上，論文報告 MiDashengLM-Spatial 的空間準確率為 70.3%，其單聲道 MiDashengLM 基準模型為 44.3%。在 MMAU-Pro 的空間子集上，兩者分別為 55.4% 與 18.2%。這些數字來自作者評估基準錄音，並非 BIG CHANGE 測試或實際部署的測量。

論文也檢查回答是否依賴兩個聲道。對於交換音訊聲道後，正確左右答案會反轉的問題，其「全部答對率」要求原始與交換後的回答都正確。作者報告，自家模型在 STAR-Bench 上為 72.6%，單聲道 MiDashengLM 基準模型則為 0%。這種成對檢查比單一準確率分數更能說明方向判斷是否有音訊依據，但仍是在論文條件下的基準結果。

論文也提出審慎看待的理由。在自己的合成場景測試中，移動軌跡完全吻合率仍低於 20%，模型在多個聲源重疊的複雜場景中表現更差。對立體聲 STARSS23 定位評估，作者把任務限於左右方位角，因為立體聲錄音對消除上下及前後歧義只提供有限線索。一般音訊結果因任務而異，並非全面提升。這些限制對考慮把檢查點用於研究的人很重要：空間基準進步，不代表在不同錄音環境中都能穩健定位，也未確立可安全導航的基礎。

來源與延伸閱讀