Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Что двухканальное аудио добавляет модели MiDashengLM-Spatial от Xiaomi

> Исследователи Xiaomi выпустили аудиоязыковую модель для пространственных вопросов. Препринт сообщает о более высоких результатах направленных тестов при двухканальном входе, но сложные сцены остаются трудными.

By BIG CHANGE Editorial

Published: 2026-10-16T09:43:13.526Z
Updated: 2026-10-16T09:43:13.526Z
Canonical: https://bigchange.ai/blog/xiaomi-midashenglm-spatial-two-channel-audio

![Conceptual charcoal illustration of a seated listener viewed from behind, with a handbell to the left and an alarm clock to the right; curved orange marks suggest sound from each side.](https://bigchange.ai/api/media/file/midashenglm-spatial-listening-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no Xiaomi product interface, test setup or measured result is depicted.

Исследователи Xiaomi выпустили MiDashengLM-Spatial — аудиоязыковую модель, которая принимает двухканальный звук и отвечает на вопросы как о том, откуда приходят звуки, так и об их содержании. Статья от 8 октября сообщает о существенно более высоких результатах по сравнению с протестированными монофоническими моделями на двух поднаборах пространственно-аудиальных тестов. Публичные код и контрольная точка модели позволяют изучить метод, хотя BIG CHANGE не запускала модель и не повторяла оценки.

Различие важно, когда в записи несколько источников. Обычный вопрос об аудио может спрашивать, что слышно. Пространственный вопрос дополнительно спрашивает, находится ли источник слева или справа от слушателя, движется ли он и к какому звуку относится ответ. Смешивание двух каналов в один устраняет различия между ними, которые могут нести информацию о направлении.

## Большая перемена

- **Что изменилось:** Исследователи добавили пространственную аудиоветвь в MiDashengLM и выпустили статью, код и контрольную точку модели. Модель использует бинауральное аудио для пространственных вопросов и сохраняет путь общего понимания звука.
- **Почему это важно:** Текстовому ответу о положении звука нужны и распознавание события, и признаки местоположения. Двухветочная архитектура позволяет пространственной ветви использовать промежуточные семантические признаки, сохраняя структуру прямого пути семантической ветви без изменений.
- **За чем следить:** Тест авторов с перестановкой каналов проверяет, следуют ли ответы «слева» и «справа» за аудиоканалами. Прежде чем считать опубликованные результаты надёжными для приложений, нужны дополнительные независимые испытания, в том числе с разными схемами записи и насыщенными источниками сценами.

## Как две ветви делят задачу

В [статье arXiv v1](https://arxiv.org/abs/2610.11156v1) описаны унаследованный от MiDashengLM 32-слойный семантический кодировщик и 12-слойный Spatial-Dasheng для многоканального аудио. Семантический путь извлекает то, что содержится в записи. Spatial-Dasheng обучается покадрово выявлять активные звуковые события и оценивать их направление и расстояние, в том числе при наложении источников. Промежуточные семантические представления поступают в пространственную ветвь на четырёх глубинах через адаптеры. Итоговые выходы объединяются в аудиотокены, по которым языковая модель генерирует текст.

Такая схема решает конкретную задачу связывания. При наложении двух источников одной оценки положения недостаточно, чтобы понять, какой звук находится там. Обусловливание пространственных признаков семантическими — способ авторов соединить эти подсказки, не возвращая новые пространственные представления через исходный семантический путь. Статья сообщает об использовании при обучении примерно миллиона синтезированных бинауральных сцен, около 13 000 часов аудио и шести миллионов пар вопросов и ответов с последующим смешиванием монофонических и бинауральных данных. Это цифры авторов о наборе данных, а не независимо проверенные количества.

Документ [README репозитория на закреплённом коммите](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) описывает пример Transformers, где аудио помещается перед текстовой инструкцией, а реальное бинауральное аудио принимается как массив `(2, T)`. В нём сказано, что монофонический вход тоже работает, но не содержит направления. Это утверждение не устанавливает совместимость с определённым микрофоном, устройством или акустической средой. Путь кода вызывает `from_pretrained` с `trust_remote_code=True`, поэтому пользователям следует изучить код репозитория и контрольной точки перед запуском. [Дерево файлов контрольной точки](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) содержит около 33,5 GB файлов и лицензию Apache-2.0; один лишь размер файлов не определяет рабочую память или стоимость инференса.

## Что измеряли авторы

На поднаборе Spatial Reasoning теста STAR-Bench статья сообщает о пространственной точности 70,3% для MiDashengLM-Spatial против 44,3% для его монофонической базовой модели MiDashengLM. На пространственном поднаборе MMAU-Pro сообщается о 55,4% против 18,2%. Цифры получены авторами при оценке тестовых записей, а не в испытании BIG CHANGE или измеренном внедрении.

Статья также проверяет, зависят ли ответы от двух каналов. Для вопросов, в которых правильный ответ «слева–справа» меняется при перестановке аудиоканалов, показатель полной правильности требует правильных ответов и на исходный, и на переставленный вариант. Авторы сообщают о 72,6% на STAR-Bench для своей модели и 0% для монофонической базовой MiDashengLM. Эта парная проверка лучше показывает связь направления с аудио, чем одна оценка точности, хотя остаётся результатом теста в условиях статьи.

Статья приводит причины для осторожности. В собственных тестах синтетических сцен точное совпадение траекторий движения остаётся ниже 20%, а на сложных сценах с несколькими перекрывающимися источниками модель работает хуже. В стереофонической оценке локализации STARSS23 авторы ограничивают задачу азимутом слева–справа, поскольку стереозаписи дают ограниченные признаки для разрешения неоднозначности вверх–вниз и спереди–сзади. Общие аудиорезультаты различаются между задачами, а не улучшаются равномерно. Эти ограничения важны для рассматривающих контрольную точку в исследовательских целях: улучшения пространственных тестов не устанавливают устойчивую локализацию в разных условиях записи или безопасную основу для навигации.

## Источники и дополнительное чтение

- [Hu и коллеги, «MiDashengLM-Spatial: объединение общего понимания аудио и пространственного восприятия», arXiv v1 (8 октября 2026 года)](https://arxiv.org/abs/2610.11156v1). Основной препринт о компонентах модели, данных обучения, оценках и ограничениях, сообщаемых авторами; независимое воспроизведение здесь не заявляется.
- [Xiaomi Research, репозиторий MiDashengLM-Spatial, закреплённый коммит `f314b3455e7fd94c60ad078655a39d69bcd05232` (проверено 16 октября 2026 года)](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232). README, пример и код оценки документируют входы, настройку и опубликованные таблицы; BIG CHANGE их не выполняла.
- [Xiaomi Speech Team, дерево контрольной точки MiDashengLM-Spatial, закреплённая редакция `160ae51b51becade390ace4294feaa5b078d5665` (проверено 16 октября 2026 года)](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665). Публичные файлы, размер и список лицензий; измерения во время выполнения не выводятся из этих сведений.

## Sources

- [Hu и др., MiDashengLM-Spatial, arXiv v1 (8 октября 2026 года)](https://arxiv.org/abs/2610.11156v1) — Основной препринт об архитектуре, обучении, тестах авторов и ограничениях. BIG CHANGE не воспроизводила результаты.
- [Репозиторий Xiaomi Research MiDashengLM-Spatial, закреплённый коммит](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) — README и код документируют двухканальный вход, настройку и процедуры оценки. BIG CHANGE их не запускала.
- [Дерево контрольной точки Xiaomi Speech Team MiDashengLM-Spatial, закреплённая редакция](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) — Перечисляет файлы модели, размер и лицензию. Размер файлов не устанавливает потребность в памяти при выполнении.