小米研究人员发布了 MiDashengLM-Spatial。这款音频语言模型接受双通道声音输入，既能回答声音来自哪里，也能回答其中包含什么。10 月 8 日的论文报告，它在两个空间音频基准子集上的得分，明显高于受测的单声道模型。公开代码和模型检查点让研究方法可供检视，但 BIG CHANGE 没有运行该模型或重复评估。

当一段录音包含不止一个声源时，这一区别很重要。常规音频问题可能问能听到什么，空间问题还会问声源位于听者左侧还是右侧、是否移动，以及答案指的是哪个声音。将两个通道混为一个，会抹去通道之间可能承载方向信息的差异。

重大变化

  • 发生了什么变化： 研究人员为 MiDashengLM 添加了空间音频分支，并发布了论文、代码和模型检查点。模型以双耳音频处理空间问题，同时保留通用音频理解路径。
  • 为何重要： 关于声音位置的文字回答，既需要事件识别，也需要位置线索。双分支设计让空间分支利用中间语义特征，同时保持语义分支前向路径的结构不变。
  • 值得关注： 作者的通道交换基准检验左右方向回答是否随音频通道变化。在把报告结果视为应用中可靠的依据之前，还需要更多独立测试，包括不同录音配置和声源密集场景。

两个分支如何分工

这篇arXiv v1 论文描述了从 MiDashengLM 继承的 32 层语义编码器，以及面向多通道音频的 12 层 Spatial-Dasheng 编码器。语义路径提取录音中包含的内容。Spatial-Dasheng 经训练逐帧检测活跃声音事件，估计其方向和距离，包括声源重叠时的情况。中间语义表示通过适配器在四个深度处进入空间分支。最终输出融合为音频词元，供语言模型生成文字。

这种安排针对一个具体的关联问题：如果两个声源重叠，仅有位置估计并不能说明那个位置属于哪个声音。作者以语义特征为条件来处理空间特征，将这些线索结合起来，而不把新的空间表示反馈进原有语义路径。论文报告，其训练使用了约 100 万个合成双耳场景、约 13,000 小时音频和 600 万对问答，之后混合使用单声道与双耳数据。这些是作者提供的数据集数字，并非独立审计的计数。

这个固定提交版本仓库的 README记录了一个 Transformers 示例，将音频放在文字指令之前，并以 (2, T) 数组接受真实双耳音频。它表示单声道输入仍可运行，但不携带方向信息。该说法并不证明与特定麦克风、设备或声学环境兼容。代码路径调用 from_pretrained，并设置 trust_remote_code=True，因此用户执行前应检查仓库及检查点代码。检查点文件树列出约 33.5 GB 文件及 Apache-2.0 许可证；仅凭文件大小无法确定运行内存或推理成本。

作者测量了什么

在 STAR-Bench 的 Spatial Reasoning 子集上，论文报告 MiDashengLM-Spatial 的空间准确率为 70.3%，其单声道 MiDashengLM 基线为 44.3%。在 MMAU-Pro 的空间子集上，两者分别为 55.4% 和 18.2%。这些数字来自作者对基准录音的评估，并非 BIG CHANGE 测试或实际部署测量。

论文还检查回答是否依赖两个通道。对于交换音频通道后正确左右答案会反转的问题，其“全部正确率”要求原始和交换后的回答都正确。作者报告，自己的模型在 STAR-Bench 上为 72.6%，单声道 MiDashengLM 基线为 0%。这种成对检查比单一准确率更能说明方向判断是否扎根于输入，但仍只是论文条件下的基准结果。

论文也给出了谨慎看待结果的理由。在其自己的合成场景测试中，运动轨迹的精确匹配率仍低于 20%，模型在多个声源重叠的复杂场景下表现更差。对于立体声 STARSS23 定位评估，作者将任务限制为左右方位角，因为立体声录音对消除上下、前后歧义只能提供有限线索。通用音频结果因任务而异，并非全面提升。这些局限对考虑将检查点用于研究的人很重要：空间基准得分提高，不代表在各种录音环境中都能稳健定位，也不能确立用于导航的安全基础。

来源与延伸阅读