世界从未停止变化。RSS
BIG CHANGE.

Markdown 版本

AI-translated from English; not yet reviewed by a fluent editor.

# 双通道音频为小米 MiDashengLM-Spatial 带来了什么

> 小米研究人员发布了一款回答空间问题的音频语言模型。其预印本报告，双通道输入提高了方向性基准得分，但复杂场景仍然困难。

By BIG CHANGE Editorial

Published: 2026-10-16T09:43:13.526Z
Updated: 2026-10-16T09:43:13.526Z
Canonical: https://bigchange.ai/blog/xiaomi-midashenglm-spatial-two-channel-audio

![Conceptual charcoal illustration of a seated listener viewed from behind, with a handbell to the left and an alarm clock to the right; curved orange marks suggest sound from each side.](https://bigchange.ai/api/media/file/midashenglm-spatial-listening-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no Xiaomi product interface, test setup or measured result is depicted.

小米研究人员发布了 MiDashengLM-Spatial。这款音频语言模型接受双通道声音输入，既能回答声音来自哪里，也能回答其中包含什么。10 月 8 日的论文报告，它在两个空间音频基准子集上的得分，明显高于受测的单声道模型。公开代码和模型检查点让研究方法可供检视，但 BIG CHANGE 没有运行该模型或重复评估。

当一段录音包含不止一个声源时，这一区别很重要。常规音频问题可能问能听到什么，空间问题还会问声源位于听者左侧还是右侧、是否移动，以及答案指的是哪个声音。将两个通道混为一个，会抹去通道之间可能承载方向信息的差异。

## 重大变化

- **发生了什么变化：** 研究人员为 MiDashengLM 添加了空间音频分支，并发布了论文、代码和模型检查点。模型以双耳音频处理空间问题，同时保留通用音频理解路径。
- **为何重要：** 关于声音位置的文字回答，既需要事件识别，也需要位置线索。双分支设计让空间分支利用中间语义特征，同时保持语义分支前向路径的结构不变。
- **值得关注：** 作者的通道交换基准检验左右方向回答是否随音频通道变化。在把报告结果视为应用中可靠的依据之前，还需要更多独立测试，包括不同录音配置和声源密集场景。

## 两个分支如何分工

这篇[arXiv v1 论文](https://arxiv.org/abs/2610.11156v1)描述了从 MiDashengLM 继承的 32 层语义编码器，以及面向多通道音频的 12 层 Spatial-Dasheng 编码器。语义路径提取录音中包含的内容。Spatial-Dasheng 经训练逐帧检测活跃声音事件，估计其方向和距离，包括声源重叠时的情况。中间语义表示通过适配器在四个深度处进入空间分支。最终输出融合为音频词元，供语言模型生成文字。

这种安排针对一个具体的关联问题：如果两个声源重叠，仅有位置估计并不能说明那个位置属于哪个声音。作者以语义特征为条件来处理空间特征，将这些线索结合起来，而不把新的空间表示反馈进原有语义路径。论文报告，其训练使用了约 100 万个合成双耳场景、约 13,000 小时音频和 600 万对问答，之后混合使用单声道与双耳数据。这些是作者提供的数据集数字，并非独立审计的计数。

这个[固定提交版本仓库的 README](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232)记录了一个 Transformers 示例，将音频放在文字指令之前，并以 `(2, T)` 数组接受真实双耳音频。它表示单声道输入仍可运行，但不携带方向信息。该说法并不证明与特定麦克风、设备或声学环境兼容。代码路径调用 `from_pretrained`，并设置 `trust_remote_code=True`，因此用户执行前应检查仓库及检查点代码。[检查点文件树](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665)列出约 33.5 GB 文件及 Apache-2.0 许可证；仅凭文件大小无法确定运行内存或推理成本。

## 作者测量了什么

在 STAR-Bench 的 Spatial Reasoning 子集上，论文报告 MiDashengLM-Spatial 的空间准确率为 70.3%，其单声道 MiDashengLM 基线为 44.3%。在 MMAU-Pro 的空间子集上，两者分别为 55.4% 和 18.2%。这些数字来自作者对基准录音的评估，并非 BIG CHANGE 测试或实际部署测量。

论文还检查回答是否依赖两个通道。对于交换音频通道后正确左右答案会反转的问题，其“全部正确率”要求原始和交换后的回答都正确。作者报告，自己的模型在 STAR-Bench 上为 72.6%，单声道 MiDashengLM 基线为 0%。这种成对检查比单一准确率更能说明方向判断是否扎根于输入，但仍只是论文条件下的基准结果。

论文也给出了谨慎看待结果的理由。在其自己的合成场景测试中，运动轨迹的精确匹配率仍低于 20%，模型在多个声源重叠的复杂场景下表现更差。对于立体声 STARSS23 定位评估，作者将任务限制为左右方位角，因为立体声录音对消除上下、前后歧义只能提供有限线索。通用音频结果因任务而异，并非全面提升。这些局限对考虑将检查点用于研究的人很重要：空间基准得分提高，不代表在各种录音环境中都能稳健定位，也不能确立用于导航的安全基础。

## 来源与延伸阅读

- [Hu 及同事，《MiDashengLM-Spatial：统一通用音频理解与空间感知》，arXiv v1（2026 年 10 月 8 日）](https://arxiv.org/abs/2610.11156v1)。关于模型组件、训练数据、作者报告的评估和局限的原始预印本；本文不声称进行了独立复现。
- [Xiaomi Research，MiDashengLM-Spatial 仓库，固定提交版本 `f314b3455e7fd94c60ad078655a39d69bcd05232`（查阅于 2026 年 10 月 16 日）](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232)。README、示例与评估代码记录了输入、设置和报告表格；BIG CHANGE 没有执行这些代码。
- [Xiaomi Speech Team，MiDashengLM-Spatial 检查点文件树，固定修订版本 `160ae51b51becade390ace4294feaa5b078d5665`（查阅于 2026 年 10 月 16 日）](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665)。公开文件、大小和许可证列表；不据此推断运行时测量结果。

## Sources

- [Hu 等人，MiDashengLM-Spatial，arXiv v1（2026 年 10 月 8 日）](https://arxiv.org/abs/2610.11156v1) — 关于架构、训练、作者报告的基准和局限的原始预印本。BIG CHANGE 没有复现结果。
- [Xiaomi Research MiDashengLM-Spatial 仓库，固定提交版本](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) — README 和代码记录双通道输入、设置与评估步骤。BIG CHANGE 没有运行它们。
- [Xiaomi Speech Team MiDashengLM-Spatial 检查点文件树，固定修订版本](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) — 列出模型文件、大小和许可证。文件大小不能确立运行时内存需求。