Edición en Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Qué aporta el audio de dos canales a MiDashengLM-Spatial de Xiaomi

> Investigadores de Xiaomi publicaron un modelo de audio y lenguaje para preguntas espaciales. Su prepublicación informa de mejores puntuaciones direccionales con dos canales, aunque las escenas complejas siguen siendo difíciles.

By BIG CHANGE Editorial

Published: 2026-10-16T09:43:13.526Z
Updated: 2026-10-16T09:43:13.526Z
Canonical: https://bigchange.ai/blog/xiaomi-midashenglm-spatial-two-channel-audio

![Conceptual charcoal illustration of a seated listener viewed from behind, with a handbell to the left and an alarm clock to the right; curved orange marks suggest sound from each side.](https://bigchange.ai/api/media/file/midashenglm-spatial-listening-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no Xiaomi product interface, test setup or measured result is depicted.

Investigadores de Xiaomi publicaron MiDashengLM-Spatial, un modelo de audio y lenguaje que acepta sonido de dos canales y responde tanto de dónde proceden los sonidos como qué contienen. El artículo del 8 de octubre informa de puntuaciones considerablemente superiores a las de los modelos monoaurales probados en dos subconjuntos de pruebas de audio espacial. Su código y punto de control públicos permiten examinar el método, aunque BIG CHANGE no ha ejecutado el modelo ni repetido las evaluaciones.

La distinción importa cuando una grabación contiene más de una fuente. Una pregunta de audio convencional puede consultar qué se oye. Una pregunta espacial también consulta si una fuente está a la izquierda o derecha del oyente, si se mueve y a qué sonido se refiere una respuesta. Mezclar los dos canales en uno elimina las diferencias entre ellos que pueden transmitir información direccional.

## El gran cambio

- **Qué cambió:** Los investigadores añadieron una rama de audio espacial a MiDashengLM y publicaron un artículo, código y un punto de control del modelo. Este utiliza audio binaural para preguntas espaciales y conserva una vía para la comprensión general del audio.
- **Por qué importa:** Una respuesta textual sobre la ubicación de un sonido necesita reconocer el evento y disponer de pistas de ubicación. El diseño de dos ramas permite que la espacial use características semánticas intermedias sin cambiar la estructura de la ruta de procesamiento hacia delante de la rama semántica.
- **Qué observar:** La prueba de intercambio de canales de los autores comprueba si las respuestas izquierda-derecha siguen a los canales de audio. Hacen falta más pruebas independientes, con configuraciones de grabación variadas y escenas con muchas fuentes, antes de tratar los resultados publicados como fiables en aplicaciones.

## Cómo se reparten la tarea las dos ramas

El [artículo arXiv v1](https://arxiv.org/abs/2610.11156v1) describe un codificador semántico de 32 capas heredado de MiDashengLM y un codificador Spatial-Dasheng de 12 capas para audio multicanal. La vía semántica extrae qué contiene la grabación. Spatial-Dasheng se entrena para detectar eventos sonoros activos fotograma a fotograma y estimar su dirección y distancia, incluso cuando las fuentes se superponen. Las representaciones semánticas intermedias entran en la rama espacial a cuatro profundidades mediante adaptadores. Las salidas finales se fusionan en tokens de audio para que un modelo de lenguaje genere texto.

Esa organización aborda un problema concreto de asociación. Si dos fuentes se superponen, una estimación de ubicación por sí sola no indica qué sonido está allí. Condicionar las características espaciales a las semánticas es la forma en que los autores unen esas pistas sin devolver las nuevas representaciones espaciales a la ruta semántica original. El artículo dice que el entrenamiento utiliza aproximadamente un millón de escenas binaurales sintetizadas, unas 13.000 horas de audio y seis millones de pares de preguntas y respuestas, seguidos de una mezcla de datos monoaurales y binaurales. Son cifras del conjunto de datos de los autores, no recuentos auditados de forma independiente.

El [README del repositorio fijado a una versión](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) documenta un ejemplo de Transformers que coloca el audio antes de una instrucción textual y acepta audio binaural real como una matriz `(2, T)`. Dice que la entrada mono sigue funcionando, pero no contiene dirección. Esto no demuestra compatibilidad con un micrófono, dispositivo o entorno acústico concreto. La ruta de código llama a `from_pretrained` con `trust_remote_code=True`, por lo que los usuarios deben inspeccionar el código del repositorio y del punto de control antes de ejecutarlo. El [árbol de archivos del punto de control](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) enumera unos 33,5 GB de archivos y una licencia Apache-2.0; el tamaño por sí solo no determina la memoria de trabajo ni el coste de inferencia.

## Qué midieron los autores

En el subconjunto Spatial Reasoning de STAR-Bench, el artículo informa de una precisión espacial del 70,3% para MiDashengLM-Spatial, frente al 44,3% de su referencia monoaural MiDashengLM. En el subconjunto espacial de MMAU-Pro, informa del 55,4% frente al 18,2%. Estas cifras proceden de la evaluación de grabaciones de referencia realizada por los autores, no de una prueba de BIG CHANGE ni de un despliegue medido.

El artículo también comprueba si las respuestas dependen de los dos canales. Para las preguntas cuya respuesta correcta izquierda-derecha se invierte al intercambiar los canales, su tasa de acierto completo exige que sean correctas tanto la respuesta original como la intercambiada. Los autores informan de un 72,6% en STAR-Bench para su modelo y un 0% para la referencia monoaural MiDashengLM. Esa comprobación por pares informa mejor del anclaje de la dirección en el audio que una sola puntuación de precisión, aunque sigue siendo un resultado de referencia bajo las condiciones del artículo.

El artículo ofrece motivos de cautela. En sus propias pruebas de escenas sintéticas, las coincidencias exactas de trayectorias de movimiento siguen por debajo del 20%, y el modelo rinde peor en escenas complejas con múltiples fuentes superpuestas. En la evaluación de localización estéreo STARSS23, los autores restringen la tarea al acimut izquierda-derecha, porque las grabaciones estéreo aportan pistas limitadas para resolver la ambigüedad arriba-abajo y delante-detrás. Los resultados de audio general varían según la tarea, en vez de mejorar de forma uniforme. Estos límites importan a quien considere el punto de control para investigar: las mejoras en pruebas espaciales no demuestran una localización robusta en distintos entornos de grabación ni una base segura para navegar.

## Fuentes y lecturas adicionales

- [Hu y colegas, «MiDashengLM-Spatial: unificar la comprensión general del audio y la conciencia espacial», arXiv v1 (8 de octubre de 2026)](https://arxiv.org/abs/2610.11156v1). Prepublicación principal sobre componentes del modelo, datos de entrenamiento, evaluaciones y límites informados por los autores; aquí no se afirma una réplica independiente.
- [Xiaomi Research, repositorio MiDashengLM-Spatial, commit fijado `f314b3455e7fd94c60ad078655a39d69bcd05232` (consultado el 16 de octubre de 2026)](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232). El README, el ejemplo y el código de evaluación documentan entradas, configuración y tablas publicadas; BIG CHANGE no los ejecutó.
- [Xiaomi Speech Team, árbol del punto de control MiDashengLM-Spatial, revisión fijada `160ae51b51becade390ace4294feaa5b078d5665` (consultado el 16 de octubre de 2026)](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665). Listado público de archivos, tamaño y licencia; no se deducen mediciones de ejecución.

## Sources

- [Hu et al., MiDashengLM-Spatial, arXiv v1 (8 de octubre de 2026)](https://arxiv.org/abs/2610.11156v1) — Prepublicación principal sobre arquitectura, entrenamiento, pruebas informadas por los autores y límites. BIG CHANGE no reprodujo los resultados.
- [Repositorio Xiaomi Research MiDashengLM-Spatial, commit fijado](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) — El README y el código documentan la entrada de dos canales, la configuración y los procedimientos de evaluación. BIG CHANGE no los ejecutó.
- [Árbol del punto de control Xiaomi Speech Team MiDashengLM-Spatial, revisión fijada](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) — Enumera archivos del modelo, tamaño y licencia. El tamaño no determina la memoria necesaria en ejecución.