Investigadores da Xiaomi lançaram o MiDashengLM-Spatial, um modelo de áudio e linguagem que aceita som de dois canais e responde a perguntas sobre a origem dos sons e sobre o que contêm. O artigo de 8 de outubro indica resultados substancialmente superiores aos dos modelos monoaurais testados em dois subconjuntos de testes de áudio espacial. O código e o checkpoint públicos permitem examinar o método, embora o BIG CHANGE não tenha executado o modelo nem repetido as avaliações.

A distinção importa quando uma gravação contém mais de uma fonte. Uma pergunta de áudio convencional pode perguntar o que se ouve. Uma pergunta espacial também procura saber se uma fonte está à esquerda ou à direita do ouvinte, se se move e a que som se refere uma resposta. Misturar dois canais num só elimina as diferenças entre eles que podem transportar informação direcional.

A grande mudança

  • O que mudou: Os investigadores acrescentaram um ramo de áudio espacial ao MiDashengLM e disponibilizaram um artigo, código e um checkpoint do modelo. O modelo recebe áudio binaural para perguntas espaciais e mantém um percurso para compreensão geral de áudio.
  • Porque importa: Uma resposta em texto sobre a localização de um som precisa de reconhecer o evento e de pistas de localização. O desenho com dois ramos permite ao ramo espacial usar características semânticas intermédias, mantendo estruturalmente inalterado o percurso de propagação direta do ramo semântico.
  • O que acompanhar: O teste de troca de canais dos autores verifica se as respostas esquerda-direita acompanham os canais de áudio. São necessários mais testes independentes, com diferentes configurações de gravação e cenas com muitas fontes, antes de considerar os resultados relatados fiáveis em aplicações.

Como os dois ramos dividem a tarefa

O artigo arXiv v1 descreve um codificador semântico de 32 camadas herdado do MiDashengLM e um codificador Spatial-Dasheng de 12 camadas para áudio multicanal. O percurso semântico extrai o que existe na gravação. O Spatial-Dasheng é treinado para detetar eventos sonoros ativos quadro a quadro e estimar a sua direção e distância, incluindo quando as fontes se sobrepõem. Representações semânticas intermédias entram no ramo espacial a quatro profundidades através de adaptadores. As saídas finais são fundidas em tokens de áudio para um modelo de linguagem gerar texto.

Esta organização responde a um problema específico de associação. Se duas fontes se sobrepõem, uma estimativa de localização, por si só, não diz que som pertence a esse local. Condicionar as características espaciais às semânticas é a forma dos autores juntarem essas pistas sem devolver novas representações espaciais ao percurso semântico original. O artigo refere que o treino usa aproximadamente um milhão de cenas binaurais sintetizadas, cerca de 13.000 horas de áudio e seis milhões de pares de perguntas e respostas, seguidos de uma mistura de dados monoaurais e binaurais. São números dos autores sobre o conjunto de dados, não contagens auditadas de forma independente.

O README do repositório no commit fixado documenta um exemplo Transformers que coloca áudio antes de uma instrução textual e aceita áudio binaural real como um array de formato (2, T). Diz que a entrada mono continua a funcionar, mas não contém direção. Essa afirmação não estabelece compatibilidade com um microfone, dispositivo ou ambiente acústico específico. O percurso de código chama from_pretrained com trust_remote_code=True, pelo que os utilizadores devem inspecionar o código do repositório e do checkpoint antes de o executar. A árvore de ficheiros do checkpoint enumera cerca de 33,5 GB de ficheiros e uma licença Apache-2.0; só o tamanho dos ficheiros não determina a memória de trabalho nem o custo de inferência.

O que os autores mediram

No subconjunto Spatial Reasoning do STAR-Bench, o artigo indica uma exatidão espacial de 70,3% para o MiDashengLM-Spatial, face a 44,3% para o modelo de referência monoaural MiDashengLM. No subconjunto espacial do MMAU-Pro, refere 55,4% contra 18,2%. Estes números vêm da avaliação de gravações de teste pelos autores, não de um teste do BIG CHANGE nem de uma implementação medida.

O artigo também verifica se as respostas dependem dos dois canais. Para perguntas cuja resposta correta esquerda-direita se inverte quando os canais são trocados, a taxa de acerto completo exige que ambas as respostas, original e após a troca, estejam certas. Os autores indicam 72,6% no STAR-Bench para o seu modelo e 0% para o MiDashengLM monoaural de referência. Esta verificação emparelhada é mais informativa sobre a fundamentação direcional no áudio do que uma única medida de exatidão, embora continue a ser um resultado de teste nas condições do artigo.

O artigo apresenta motivos para cautela. Nos seus próprios testes de cenas sintéticas, as correspondências exatas das trajetórias de movimento continuam abaixo de 20%, e o modelo tem pior desempenho em cenas complexas com várias fontes sobrepostas. Na avaliação de localização estéreo STARSS23, os autores restringem a tarefa ao azimute esquerda-direita, pois as gravações estéreo oferecem pistas limitadas para resolver ambiguidades cima-baixo e frente-trás. Os resultados de áudio geral variam entre tarefas, em vez de melhorarem uniformemente. Estes limites importam a quem considere o checkpoint para investigação: os ganhos em testes espaciais não estabelecem localização robusta entre ambientes de gravação nem uma base segura para navegação.

Fontes e leituras adicionais