Исследователи Xiaomi выпустили MiDashengLM-Spatial — аудиоязыковую модель, которая принимает двухканальный звук и отвечает на вопросы как о том, откуда приходят звуки, так и об их содержании. Статья от 8 октября сообщает о существенно более высоких результатах по сравнению с протестированными монофоническими моделями на двух поднаборах пространственно-аудиальных тестов. Публичные код и контрольная точка модели позволяют изучить метод, хотя BIG CHANGE не запускала модель и не повторяла оценки.

Различие важно, когда в записи несколько источников. Обычный вопрос об аудио может спрашивать, что слышно. Пространственный вопрос дополнительно спрашивает, находится ли источник слева или справа от слушателя, движется ли он и к какому звуку относится ответ. Смешивание двух каналов в один устраняет различия между ними, которые могут нести информацию о направлении.

Большая перемена

  • Что изменилось: Исследователи добавили пространственную аудиоветвь в MiDashengLM и выпустили статью, код и контрольную точку модели. Модель использует бинауральное аудио для пространственных вопросов и сохраняет путь общего понимания звука.
  • Почему это важно: Текстовому ответу о положении звука нужны и распознавание события, и признаки местоположения. Двухветочная архитектура позволяет пространственной ветви использовать промежуточные семантические признаки, сохраняя структуру прямого пути семантической ветви без изменений.
  • За чем следить: Тест авторов с перестановкой каналов проверяет, следуют ли ответы «слева» и «справа» за аудиоканалами. Прежде чем считать опубликованные результаты надёжными для приложений, нужны дополнительные независимые испытания, в том числе с разными схемами записи и насыщенными источниками сценами.

Как две ветви делят задачу

В статье arXiv v1 описаны унаследованный от MiDashengLM 32-слойный семантический кодировщик и 12-слойный Spatial-Dasheng для многоканального аудио. Семантический путь извлекает то, что содержится в записи. Spatial-Dasheng обучается покадрово выявлять активные звуковые события и оценивать их направление и расстояние, в том числе при наложении источников. Промежуточные семантические представления поступают в пространственную ветвь на четырёх глубинах через адаптеры. Итоговые выходы объединяются в аудиотокены, по которым языковая модель генерирует текст.

Такая схема решает конкретную задачу связывания. При наложении двух источников одной оценки положения недостаточно, чтобы понять, какой звук находится там. Обусловливание пространственных признаков семантическими — способ авторов соединить эти подсказки, не возвращая новые пространственные представления через исходный семантический путь. Статья сообщает об использовании при обучении примерно миллиона синтезированных бинауральных сцен, около 13 000 часов аудио и шести миллионов пар вопросов и ответов с последующим смешиванием монофонических и бинауральных данных. Это цифры авторов о наборе данных, а не независимо проверенные количества.

Документ README репозитория на закреплённом коммите описывает пример Transformers, где аудио помещается перед текстовой инструкцией, а реальное бинауральное аудио принимается как массив (2, T). В нём сказано, что монофонический вход тоже работает, но не содержит направления. Это утверждение не устанавливает совместимость с определённым микрофоном, устройством или акустической средой. Путь кода вызывает from_pretrained с trust_remote_code=True, поэтому пользователям следует изучить код репозитория и контрольной точки перед запуском. Дерево файлов контрольной точки содержит около 33,5 GB файлов и лицензию Apache-2.0; один лишь размер файлов не определяет рабочую память или стоимость инференса.

Что измеряли авторы

На поднаборе Spatial Reasoning теста STAR-Bench статья сообщает о пространственной точности 70,3% для MiDashengLM-Spatial против 44,3% для его монофонической базовой модели MiDashengLM. На пространственном поднаборе MMAU-Pro сообщается о 55,4% против 18,2%. Цифры получены авторами при оценке тестовых записей, а не в испытании BIG CHANGE или измеренном внедрении.

Статья также проверяет, зависят ли ответы от двух каналов. Для вопросов, в которых правильный ответ «слева–справа» меняется при перестановке аудиоканалов, показатель полной правильности требует правильных ответов и на исходный, и на переставленный вариант. Авторы сообщают о 72,6% на STAR-Bench для своей модели и 0% для монофонической базовой MiDashengLM. Эта парная проверка лучше показывает связь направления с аудио, чем одна оценка точности, хотя остаётся результатом теста в условиях статьи.

Статья приводит причины для осторожности. В собственных тестах синтетических сцен точное совпадение траекторий движения остаётся ниже 20%, а на сложных сценах с несколькими перекрывающимися источниками модель работает хуже. В стереофонической оценке локализации STARSS23 авторы ограничивают задачу азимутом слева–справа, поскольку стереозаписи дают ограниченные признаки для разрешения неоднозначности вверх–вниз и спереди–сзади. Общие аудиорезультаты различаются между задачами, а не улучшаются равномерно. Эти ограничения важны для рассматривающих контрольную точку в исследовательских целях: улучшения пространственных тестов не устанавливают устойчивую локализацию в разных условиях записи или безопасную основу для навигации.

Источники и дополнительное чтение