Edição Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# O que o áudio de dois canais acrescenta ao MiDashengLM-Spatial da Xiaomi

> Investigadores da Xiaomi lançaram um modelo de áudio e linguagem para perguntas espaciais. O pré-artigo indica melhores resultados direcionais com dois canais, mas as cenas complexas continuam difíceis.

By BIG CHANGE Editorial

Published: 2026-10-16T09:43:13.526Z
Updated: 2026-10-16T09:43:13.526Z
Canonical: https://bigchange.ai/blog/xiaomi-midashenglm-spatial-two-channel-audio

![Conceptual charcoal illustration of a seated listener viewed from behind, with a handbell to the left and an alarm clock to the right; curved orange marks suggest sound from each side.](https://bigchange.ai/api/media/file/midashenglm-spatial-listening-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no Xiaomi product interface, test setup or measured result is depicted.

Investigadores da Xiaomi lançaram o MiDashengLM-Spatial, um modelo de áudio e linguagem que aceita som de dois canais e responde a perguntas sobre a origem dos sons e sobre o que contêm. O artigo de 8 de outubro indica resultados substancialmente superiores aos dos modelos monoaurais testados em dois subconjuntos de testes de áudio espacial. O código e o checkpoint públicos permitem examinar o método, embora o BIG CHANGE não tenha executado o modelo nem repetido as avaliações.

A distinção importa quando uma gravação contém mais de uma fonte. Uma pergunta de áudio convencional pode perguntar o que se ouve. Uma pergunta espacial também procura saber se uma fonte está à esquerda ou à direita do ouvinte, se se move e a que som se refere uma resposta. Misturar dois canais num só elimina as diferenças entre eles que podem transportar informação direcional.

## A grande mudança

- **O que mudou:** Os investigadores acrescentaram um ramo de áudio espacial ao MiDashengLM e disponibilizaram um artigo, código e um checkpoint do modelo. O modelo recebe áudio binaural para perguntas espaciais e mantém um percurso para compreensão geral de áudio.
- **Porque importa:** Uma resposta em texto sobre a localização de um som precisa de reconhecer o evento e de pistas de localização. O desenho com dois ramos permite ao ramo espacial usar características semânticas intermédias, mantendo estruturalmente inalterado o percurso de propagação direta do ramo semântico.
- **O que acompanhar:** O teste de troca de canais dos autores verifica se as respostas esquerda-direita acompanham os canais de áudio. São necessários mais testes independentes, com diferentes configurações de gravação e cenas com muitas fontes, antes de considerar os resultados relatados fiáveis em aplicações.

## Como os dois ramos dividem a tarefa

O [artigo arXiv v1](https://arxiv.org/abs/2610.11156v1) descreve um codificador semântico de 32 camadas herdado do MiDashengLM e um codificador Spatial-Dasheng de 12 camadas para áudio multicanal. O percurso semântico extrai o que existe na gravação. O Spatial-Dasheng é treinado para detetar eventos sonoros ativos quadro a quadro e estimar a sua direção e distância, incluindo quando as fontes se sobrepõem. Representações semânticas intermédias entram no ramo espacial a quatro profundidades através de adaptadores. As saídas finais são fundidas em tokens de áudio para um modelo de linguagem gerar texto.

Esta organização responde a um problema específico de associação. Se duas fontes se sobrepõem, uma estimativa de localização, por si só, não diz que som pertence a esse local. Condicionar as características espaciais às semânticas é a forma dos autores juntarem essas pistas sem devolver novas representações espaciais ao percurso semântico original. O artigo refere que o treino usa aproximadamente um milhão de cenas binaurais sintetizadas, cerca de 13.000 horas de áudio e seis milhões de pares de perguntas e respostas, seguidos de uma mistura de dados monoaurais e binaurais. São números dos autores sobre o conjunto de dados, não contagens auditadas de forma independente.

O [README do repositório no commit fixado](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) documenta um exemplo Transformers que coloca áudio antes de uma instrução textual e aceita áudio binaural real como um array de formato `(2, T)`. Diz que a entrada mono continua a funcionar, mas não contém direção. Essa afirmação não estabelece compatibilidade com um microfone, dispositivo ou ambiente acústico específico. O percurso de código chama `from_pretrained` com `trust_remote_code=True`, pelo que os utilizadores devem inspecionar o código do repositório e do checkpoint antes de o executar. A [árvore de ficheiros do checkpoint](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) enumera cerca de 33,5 GB de ficheiros e uma licença Apache-2.0; só o tamanho dos ficheiros não determina a memória de trabalho nem o custo de inferência.

## O que os autores mediram

No subconjunto Spatial Reasoning do STAR-Bench, o artigo indica uma exatidão espacial de 70,3% para o MiDashengLM-Spatial, face a 44,3% para o modelo de referência monoaural MiDashengLM. No subconjunto espacial do MMAU-Pro, refere 55,4% contra 18,2%. Estes números vêm da avaliação de gravações de teste pelos autores, não de um teste do BIG CHANGE nem de uma implementação medida.

O artigo também verifica se as respostas dependem dos dois canais. Para perguntas cuja resposta correta esquerda-direita se inverte quando os canais são trocados, a taxa de acerto completo exige que ambas as respostas, original e após a troca, estejam certas. Os autores indicam 72,6% no STAR-Bench para o seu modelo e 0% para o MiDashengLM monoaural de referência. Esta verificação emparelhada é mais informativa sobre a fundamentação direcional no áudio do que uma única medida de exatidão, embora continue a ser um resultado de teste nas condições do artigo.

O artigo apresenta motivos para cautela. Nos seus próprios testes de cenas sintéticas, as correspondências exatas das trajetórias de movimento continuam abaixo de 20%, e o modelo tem pior desempenho em cenas complexas com várias fontes sobrepostas. Na avaliação de localização estéreo STARSS23, os autores restringem a tarefa ao azimute esquerda-direita, pois as gravações estéreo oferecem pistas limitadas para resolver ambiguidades cima-baixo e frente-trás. Os resultados de áudio geral variam entre tarefas, em vez de melhorarem uniformemente. Estes limites importam a quem considere o checkpoint para investigação: os ganhos em testes espaciais não estabelecem localização robusta entre ambientes de gravação nem uma base segura para navegação.

## Fontes e leituras adicionais

- [Hu e colegas, «MiDashengLM-Spatial: unificar a compreensão geral de áudio e a perceção espacial», arXiv v1 (8 de outubro de 2026)](https://arxiv.org/abs/2610.11156v1). Pré-artigo primário sobre componentes do modelo, dados de treino, avaliações e limites relatados pelos autores; não se afirma aqui uma replicação independente.
- [Xiaomi Research, repositório MiDashengLM-Spatial, commit fixado `f314b3455e7fd94c60ad078655a39d69bcd05232` (consultado a 16 de outubro de 2026)](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232). O README, o exemplo e o código de avaliação documentam entradas, configuração e tabelas publicadas; o BIG CHANGE não os executou.
- [Xiaomi Speech Team, árvore do checkpoint MiDashengLM-Spatial, revisão fixada `160ae51b51becade390ace4294feaa5b078d5665` (consultada a 16 de outubro de 2026)](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665). Ficheiros públicos, tamanho e indicação de licença; não se inferem medições de execução.

## Sources

- [Hu et al., MiDashengLM-Spatial, arXiv v1 (8 de outubro de 2026)](https://arxiv.org/abs/2610.11156v1) — Pré-artigo primário sobre arquitetura, treino, testes relatados pelos autores e limites. O BIG CHANGE não reproduziu os resultados.
- [Repositório Xiaomi Research MiDashengLM-Spatial, commit fixado](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) — O README e o código documentam a entrada de dois canais, a configuração e os procedimentos de avaliação. O BIG CHANGE não os executou.
- [Árvore do checkpoint Xiaomi Speech Team MiDashengLM-Spatial, revisão fixada](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) — Enumera ficheiros do modelo, tamanho e licença. O tamanho dos ficheiros não estabelece a memória necessária em execução.