Investigadores de Xiaomi publicaron MiDashengLM-Spatial, un modelo de audio y lenguaje que acepta sonido de dos canales y responde tanto de dónde proceden los sonidos como qué contienen. El artículo del 8 de octubre informa de puntuaciones considerablemente superiores a las de los modelos monoaurales probados en dos subconjuntos de pruebas de audio espacial. Su código y punto de control públicos permiten examinar el método, aunque BIG CHANGE no ha ejecutado el modelo ni repetido las evaluaciones.

La distinción importa cuando una grabación contiene más de una fuente. Una pregunta de audio convencional puede consultar qué se oye. Una pregunta espacial también consulta si una fuente está a la izquierda o derecha del oyente, si se mueve y a qué sonido se refiere una respuesta. Mezclar los dos canales en uno elimina las diferencias entre ellos que pueden transmitir información direccional.

El gran cambio

  • Qué cambió: Los investigadores añadieron una rama de audio espacial a MiDashengLM y publicaron un artículo, código y un punto de control del modelo. Este utiliza audio binaural para preguntas espaciales y conserva una vía para la comprensión general del audio.
  • Por qué importa: Una respuesta textual sobre la ubicación de un sonido necesita reconocer el evento y disponer de pistas de ubicación. El diseño de dos ramas permite que la espacial use características semánticas intermedias sin cambiar la estructura de la ruta de procesamiento hacia delante de la rama semántica.
  • Qué observar: La prueba de intercambio de canales de los autores comprueba si las respuestas izquierda-derecha siguen a los canales de audio. Hacen falta más pruebas independientes, con configuraciones de grabación variadas y escenas con muchas fuentes, antes de tratar los resultados publicados como fiables en aplicaciones.

Cómo se reparten la tarea las dos ramas

El artículo arXiv v1 describe un codificador semántico de 32 capas heredado de MiDashengLM y un codificador Spatial-Dasheng de 12 capas para audio multicanal. La vía semántica extrae qué contiene la grabación. Spatial-Dasheng se entrena para detectar eventos sonoros activos fotograma a fotograma y estimar su dirección y distancia, incluso cuando las fuentes se superponen. Las representaciones semánticas intermedias entran en la rama espacial a cuatro profundidades mediante adaptadores. Las salidas finales se fusionan en tokens de audio para que un modelo de lenguaje genere texto.

Esa organización aborda un problema concreto de asociación. Si dos fuentes se superponen, una estimación de ubicación por sí sola no indica qué sonido está allí. Condicionar las características espaciales a las semánticas es la forma en que los autores unen esas pistas sin devolver las nuevas representaciones espaciales a la ruta semántica original. El artículo dice que el entrenamiento utiliza aproximadamente un millón de escenas binaurales sintetizadas, unas 13.000 horas de audio y seis millones de pares de preguntas y respuestas, seguidos de una mezcla de datos monoaurales y binaurales. Son cifras del conjunto de datos de los autores, no recuentos auditados de forma independiente.

El README del repositorio fijado a una versión documenta un ejemplo de Transformers que coloca el audio antes de una instrucción textual y acepta audio binaural real como una matriz (2, T). Dice que la entrada mono sigue funcionando, pero no contiene dirección. Esto no demuestra compatibilidad con un micrófono, dispositivo o entorno acústico concreto. La ruta de código llama a from_pretrained con trust_remote_code=True, por lo que los usuarios deben inspeccionar el código del repositorio y del punto de control antes de ejecutarlo. El árbol de archivos del punto de control enumera unos 33,5 GB de archivos y una licencia Apache-2.0; el tamaño por sí solo no determina la memoria de trabajo ni el coste de inferencia.

Qué midieron los autores

En el subconjunto Spatial Reasoning de STAR-Bench, el artículo informa de una precisión espacial del 70,3% para MiDashengLM-Spatial, frente al 44,3% de su referencia monoaural MiDashengLM. En el subconjunto espacial de MMAU-Pro, informa del 55,4% frente al 18,2%. Estas cifras proceden de la evaluación de grabaciones de referencia realizada por los autores, no de una prueba de BIG CHANGE ni de un despliegue medido.

El artículo también comprueba si las respuestas dependen de los dos canales. Para las preguntas cuya respuesta correcta izquierda-derecha se invierte al intercambiar los canales, su tasa de acierto completo exige que sean correctas tanto la respuesta original como la intercambiada. Los autores informan de un 72,6% en STAR-Bench para su modelo y un 0% para la referencia monoaural MiDashengLM. Esa comprobación por pares informa mejor del anclaje de la dirección en el audio que una sola puntuación de precisión, aunque sigue siendo un resultado de referencia bajo las condiciones del artículo.

El artículo ofrece motivos de cautela. En sus propias pruebas de escenas sintéticas, las coincidencias exactas de trayectorias de movimiento siguen por debajo del 20%, y el modelo rinde peor en escenas complejas con múltiples fuentes superpuestas. En la evaluación de localización estéreo STARSS23, los autores restringen la tarea al acimut izquierda-derecha, porque las grabaciones estéreo aportan pistas limitadas para resolver la ambigüedad arriba-abajo y delante-detrás. Los resultados de audio general varían según la tarea, en vez de mejorar de forma uniforme. Estos límites importan a quien considere el punto de control para investigar: las mejoras en pruebas espaciales no demuestran una localización robusta en distintos entornos de grabación ni una base segura para navegar.

Fuentes y lecturas adicionales