Pesquisadores da Xiaomi lançaram o MiDashengLM-Spatial, um modelo de áudio e linguagem que recebe som de dois canais e responde tanto de onde os sons vêm quanto ao que contêm. O artigo de 8 de outubro relata pontuações muito superiores às dos modelos monoaurais testados em dois subconjuntos de benchmarks de áudio espacial. O código e o checkpoint públicos permitem examinar o método, embora o BIG CHANGE não tenha executado o modelo nem repetido as avaliações.

A distinção importa quando uma gravação contém mais de uma fonte. Uma pergunta de áudio convencional pode perguntar o que se ouve. Uma pergunta espacial também pergunta se a fonte está à esquerda ou à direita do ouvinte, se ela se move e a qual som a resposta se refere. Misturar dois canais em um só remove as diferenças entre eles que podem carregar informações de direção.

A grande mudança

  • O que mudou: Os pesquisadores adicionaram um ramo de áudio espacial ao MiDashengLM e publicaram artigo, código e checkpoint do modelo. O modelo recebe áudio binaural para perguntas espaciais e mantém um caminho para compreensão geral de áudio.
  • Por que importa: Uma resposta textual sobre a localização de um som precisa tanto reconhecer o evento quanto usar pistas de localização. O desenho de dois ramos permite ao espacial usar características semânticas intermediárias, mantendo estruturalmente inalterado o caminho de propagação direta do ramo semântico.
  • O que acompanhar: O benchmark de troca de canais dos autores testa se as respostas esquerda-direita acompanham os canais de áudio. São necessários mais testes independentes, com diferentes configurações de gravação e cenas com muitas fontes, antes de tratar os resultados relatados como confiáveis em aplicações.

Como os dois ramos dividem a tarefa

O artigo arXiv v1 descreve um codificador semântico de 32 camadas herdado do MiDashengLM e um codificador Spatial-Dasheng de 12 camadas para áudio multicanal. O caminho semântico extrai o conteúdo da gravação. O Spatial-Dasheng é treinado para detectar eventos sonoros ativos quadro a quadro e estimar direção e distância, inclusive quando as fontes se sobrepõem. Representações semânticas intermediárias entram no ramo espacial em quatro profundidades por meio de adaptadores. As saídas finais se fundem em tokens de áudio para um modelo de linguagem gerar texto.

Essa organização trata de um problema específico de associação. Se duas fontes se sobrepõem, estimar a localização não diz, por si só, qual som pertence àquele lugar. Condicionar características espaciais às semânticas é a forma dos autores juntarem essas pistas sem enviar novas representações espaciais de volta ao caminho semântico original. O artigo relata que o treinamento usa cerca de um milhão de cenas binaurais sintetizadas, aproximadamente 13 mil horas de áudio e seis milhões de pares de perguntas e respostas, seguidos de uma mistura de dados monoaurais e binaurais. Esses são números dos autores sobre o conjunto de dados, não contagens auditadas de forma independente.

O README do repositório no commit fixado documenta um exemplo de Transformers que coloca o áudio antes de uma instrução de texto e recebe áudio binaural real como um array de formato (2, T). Ele diz que a entrada mono continua funcionando, mas não contém direção. Essa afirmação não estabelece compatibilidade com um microfone, dispositivo ou ambiente acústico específico. O caminho de código chama from_pretrained com trust_remote_code=True, por isso os usuários devem inspecionar o código do repositório e do checkpoint antes de executá-lo. A árvore de arquivos do checkpoint lista cerca de 33,5 GB de arquivos e uma licença Apache-2.0; o tamanho dos arquivos, por si só, não especifica a memória de trabalho nem o custo de inferência.

O que os autores mediram

No subconjunto Spatial Reasoning do STAR-Bench, o artigo relata precisão espacial de 70,3% para o MiDashengLM-Spatial, contra 44,3% para seu modelo de referência monoaural MiDashengLM. No subconjunto espacial do MMAU-Pro, relata 55,4% contra 18,2%. Esses números vêm da avaliação de gravações de benchmark pelos autores, não de um teste do BIG CHANGE nem de uma implantação medida.

O artigo também verifica se as respostas dependem dos dois canais. Nas perguntas cuja resposta correta esquerda-direita se inverte quando os canais são trocados, a taxa de acerto completo exige que a resposta original e a posterior à troca estejam certas. Os autores relatam 72,6% no STAR-Bench para seu modelo e 0% para o MiDashengLM monoaural de referência. Essa verificação em pares informa mais sobre a fundamentação da direção no áudio do que uma única pontuação de precisão, embora continue sendo um resultado de benchmark nas condições do artigo.

O artigo apresenta motivos para cautela. Em seus próprios testes de cenas sintéticas, as correspondências exatas de trajetórias de movimento continuam abaixo de 20%, e o modelo vai pior em cenas complexas com várias fontes sobrepostas. Na avaliação de localização estéreo STARSS23, os autores restringem a tarefa ao azimute esquerda-direita, porque gravações estéreo dão pistas limitadas para resolver ambiguidades cima-baixo e frente-trás. Os resultados de áudio geral variam entre tarefas, em vez de melhorar uniformemente. Esses limites importam para quem considera o checkpoint em pesquisa: os ganhos em benchmarks espaciais não estabelecem localização robusta entre ambientes de gravação nem uma base segura para navegação.

Fontes e leituras adicionais