AI-translated from English; not yet reviewed by a fluent editor.

# 雙聲道音訊為小米 MiDashengLM-Spatial 帶來什麼

> 小米研究人員發布一款回答空間問題的音訊語言模型。預印本稱，雙聲道輸入提升了方向基準分數，但複雜場景仍有難度。

By BIG CHANGE Editorial

Published: 2026-10-16T09:43:13.526Z
Updated: 2026-10-16T09:43:13.526Z
Canonical: https://bigchange.ai/blog/xiaomi-midashenglm-spatial-two-channel-audio

![Conceptual charcoal illustration of a seated listener viewed from behind, with a handbell to the left and an alarm clock to the right; curved orange marks suggest sound from each side.](https://bigchange.ai/api/media/file/midashenglm-spatial-listening-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no Xiaomi product interface, test setup or measured result is depicted.

小米研究人員發布了 MiDashengLM-Spatial。這款音訊語言模型接受雙聲道聲音輸入，既回答聲音從哪裡來，也回答其中包含什麼。10 月 8 日的論文稱，它在兩個空間音訊基準子集上的分數，顯著高於受測的單聲道模型。公開程式碼與模型檢查點讓研究方法可供檢視，但 BIG CHANGE 並未執行模型或重做評估。

當錄音含有不只一個聲源時，這項差異很重要。一般音訊問題可能問聽到了什麼；空間問題還會問聲源在聽者左邊或右邊、是否移動，以及回答指的是哪個聲音。把兩個聲道混成一個，會消除聲道之間可能承載方向資訊的差異。

## 重大改變

- **改變了什麼：** 研究人員為 MiDashengLM 新增空間音訊分支，並公開論文、程式碼及模型檢查點。模型使用雙耳音訊處理空間問題，同時保留一般音訊理解的路徑。
- **為何重要：** 關於聲音位置的文字回答，同時需要事件辨識與位置線索。雙分支設計讓空間分支運用中間語義特徵，並維持語義分支前向路徑的結構不變。
- **值得關注：** 作者的聲道交換基準測試，檢驗左右回答是否隨音訊聲道改變。在把這些結果視為應用中可靠的依據前，還需要更多獨立測試，包括不同錄音配置及聲源密集的場景。

## 兩個分支如何分工

這篇[arXiv v1 論文](https://arxiv.org/abs/2610.11156v1)描述了從 MiDashengLM 繼承的 32 層語義編碼器，以及處理多聲道音訊的 12 層 Spatial-Dasheng 編碼器。語義路徑擷取錄音包含的內容。Spatial-Dasheng 經訓練逐影格偵測活躍聲音事件，並估計方向與距離，包括聲源重疊的情況。中間語義表示透過轉接器，在四個深度處進入空間分支。最終輸出融合成音訊詞元，供語言模型產生文字。

這種安排處理一項特定的關聯問題：若兩個聲源重疊，單憑位置估計無法說明哪個聲音屬於那個位置。作者以語義特徵作為空間特徵的條件，將這些線索結合，而不把新的空間表示回傳至原有語義路徑。論文稱，訓練使用約 100 萬個合成雙耳場景、約 13,000 小時音訊及 600 萬組問答，之後混合使用單聲道與雙耳資料。這些是作者提供的資料集數字，並非獨立稽核的計數。

這份[固定提交版本儲存庫的 README](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232)記錄了一個 Transformers 範例，將音訊放在文字指令之前，並以 `(2, T)` 陣列接受真實雙耳音訊。它表示單聲道輸入仍可執行，但不帶有方向資訊。這項說法無法證明與特定麥克風、裝置或聲學環境相容。程式碼路徑呼叫 `from_pretrained`，並設定 `trust_remote_code=True`，因此使用者執行前應檢查儲存庫及檢查點程式碼。[檢查點檔案樹](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665)列出約 33.5 GB 檔案與 Apache-2.0 授權；僅憑檔案大小無法判定工作記憶體或推論成本。

## 作者測量了什麼

在 STAR-Bench 的 Spatial Reasoning 子集上，論文報告 MiDashengLM-Spatial 的空間準確率為 70.3%，其單聲道 MiDashengLM 基準模型為 44.3%。在 MMAU-Pro 的空間子集上，兩者分別為 55.4% 與 18.2%。這些數字來自作者評估基準錄音，並非 BIG CHANGE 測試或實際部署的測量。

論文也檢查回答是否依賴兩個聲道。對於交換音訊聲道後，正確左右答案會反轉的問題，其「全部答對率」要求原始與交換後的回答都正確。作者報告，自家模型在 STAR-Bench 上為 72.6%，單聲道 MiDashengLM 基準模型則為 0%。這種成對檢查比單一準確率分數更能說明方向判斷是否有音訊依據，但仍是在論文條件下的基準結果。

論文也提出審慎看待的理由。在自己的合成場景測試中，移動軌跡完全吻合率仍低於 20%，模型在多個聲源重疊的複雜場景中表現更差。對立體聲 STARSS23 定位評估，作者把任務限於左右方位角，因為立體聲錄音對消除上下及前後歧義只提供有限線索。一般音訊結果因任務而異，並非全面提升。這些限制對考慮把檢查點用於研究的人很重要：空間基準進步，不代表在不同錄音環境中都能穩健定位，也未確立可安全導航的基礎。

## 來源與延伸閱讀

- [Hu 與同事：〈MiDashengLM-Spatial：統一一般音訊理解與空間感知〉，arXiv v1（2026 年 10 月 8 日）](https://arxiv.org/abs/2610.11156v1)。關於模型元件、訓練資料、作者報告的評估與限制的原始預印本；本文未聲稱獨立重現。
- [Xiaomi Research，MiDashengLM-Spatial 儲存庫，固定提交版本 `f314b3455e7fd94c60ad078655a39d69bcd05232`（查閱於 2026 年 10 月 16 日）](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232)。README、範例與評估程式碼記錄輸入、設定及報告表格；BIG CHANGE 並未執行。
- [Xiaomi Speech Team，MiDashengLM-Spatial 檢查點檔案樹，固定修訂版本 `160ae51b51becade390ace4294feaa5b078d5665`（查閱於 2026 年 10 月 16 日）](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665)。公開檔案、大小及授權列表；不據此推論執行時測量結果。

## Sources

- [Hu 等人，MiDashengLM-Spatial，arXiv v1（2026 年 10 月 8 日）](https://arxiv.org/abs/2610.11156v1) — 關於架構、訓練、作者報告的基準與限制的原始預印本。BIG CHANGE 並未重現結果。
- [Xiaomi Research MiDashengLM-Spatial 儲存庫，固定提交版本](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) — README 與程式碼記錄雙聲道輸入、設定及評估步驟。BIG CHANGE 並未執行。
- [Xiaomi Speech Team MiDashengLM-Spatial 檢查點檔案樹，固定修訂版本](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) — 列出模型檔案、大小及授權。檔案大小無法判定執行時記憶體需求。