AI-translated from English; not yet reviewed by a fluent editor.

# Шта двоканални звук доноси моделу MiDashengLM-Spatial компаније Xiaomi

> Истраживачи компаније Xiaomi објавили су аудио-језички модел за просторна питања. Препринт наводи боље резултате на тестовима смера уз двоканални улаз, али сложене сцене остају тешке.

By BIG CHANGE Editorial

Published: 2026-10-16T09:43:13.526Z
Updated: 2026-10-16T09:43:13.526Z
Canonical: https://bigchange.ai/blog/xiaomi-midashenglm-spatial-two-channel-audio

![Conceptual charcoal illustration of a seated listener viewed from behind, with a handbell to the left and an alarm clock to the right; curved orange marks suggest sound from each side.](https://bigchange.ai/api/media/file/midashenglm-spatial-listening-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no Xiaomi product interface, test setup or measured result is depicted.

Истраживачи компаније Xiaomi објавили су MiDashengLM-Spatial, аудио-језички модел који прима двоканални звук и одговара на питања о томе одакле звуци долазе, као и шта садрже. Рад од 8. октобра наводи знатно више резултате од тестираних моноканалних модела на два подскупа тестова просторног звука. Јавни код и контролна тачка модела омогућавају преглед методе, мада BIG CHANGE није покренуо модел нити поновио евалуације.

Разлика је важна када снимак садржи више од једног извора. Уобичајено питање о звуку може да буде шта се чује. Просторно питање додатно тражи да ли је извор лево или десно од слушаоца, да ли се помера и на који се звук одговор односи. Спајање два канала у један уклања разлике између њих које могу да носе информацију о смеру.

## Велика промена

- **Шта се променило:** Истраживачи су додали просторну аудио-грану моделу MiDashengLM и објавили рад, код и контролну тачку модела. Модел користи бинаурални звук за просторна питања и задржава пут за опште разумевање звука.
- **Зашто је важно:** Текстуални одговор о положају звука захтева и препознавање догађаја и назнаке о положају. Дизајн са две гране омогућава просторној грани да користи међурезултате семантичке обраде, док структура пута прослеђивања семантичке гране остаје непромењена.
- **Шта пратити:** Тест аутора са заменом канала проверава да ли одговори лево–десно прате аудио-канале. Потребни су додатни независни тестови, укључујући разне поставке снимања и сцене с много извора, пре него што се објављени резултати сматрају поузданим у применама.

## Како две гране деле задатак

Рад [arXiv v1](https://arxiv.org/abs/2610.11156v1) описује семантички енкодер са 32 слоја наслеђен из MiDashengLM и енкодер Spatial-Dasheng са 12 слојева за вишеканални звук. Семантички пут издваја шта се налази у снимку. Spatial-Dasheng се обучава да открива активне звучне догађаје кадар по кадар и процењује њихов смер и удаљеност, укључујући преклапање извора. Међупредставе семантике улазе у просторну грану на четири дубине преко адаптера. Коначни излази спајају се у аудио-токене из којих језички модел генерише текст.

Такав распоред решава конкретан проблем повезивања. Када се два извора преклапају, сама процена положаја не говори који звук тамо припада. Условљавање просторних карактеристика семантичким карактеристикама начин је аутора да споје те назнаке без враћања нових просторних представа кроз првобитни семантички пут. Рад наводи да обука користи приближно милион синтетизованих бинауралних сцена, око 13.000 сати звука и шест милиона парова питања и одговора, након чега следи мешавина моноканалних и бинауралних података. То су бројке аутора о скупу података, а не независно проверени збирови.

Документ [README репозиторијума на фиксираном комиту](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) даје пример за Transformers који ставља звук пре текстуалног упутства и прихвата стварни бинаурални звук као `(2, T)` низ. Наводи да моно улаз и даље ради, али не носи смер. Та тврдња не потврђује компатибилност са одређеним микрофоном, уређајем или акустичким окружењем. Путања кода позива `from_pretrained` са `trust_remote_code=True`, па корисници треба да прегледају код репозиторијума и контролне тачке пре извршавања. [Стабло датотека контролне тачке](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) наводи око 33,5 GB датотека и лиценцу Apache-2.0; сама величина датотека не одређује радну меморију нити трошак закључивања.

## Шта су аутори мерили

На подскупу Spatial Reasoning теста STAR-Bench, рад наводи просторну тачност од 70,3% за MiDashengLM-Spatial, у поређењу са 44,3% за моноканални основни модел MiDashengLM. На просторном подскупу MMAU-Pro наводи 55,4% према 18,2%. Бројке потичу из евалуације тест-снимака коју су спровели аутори, а не из теста BIG CHANGE-а или измерене примене.

Рад такође проверава да ли одговори зависе од два канала. За питања код којих се тачан одговор лево–десно обрће када се аудио-канали замене, стопа потпуне тачности захтева да и првобитни и одговор после замене буду тачни. Аутори наводе 72,6% на STAR-Bench за свој модел и 0% за моноканални основни MiDashengLM. Та упарена провера даје више информација о заснованости смера на звуку од једног резултата тачности, мада остаје резултат теста под условима рада.

Рад наводи и разлоге за опрез. У сопственим тестовима синтетичких сцена, потпуно поклапање путања кретања остаје испод 20%, а модел је слабији у сложеним сценама са више извора који се преклапају. За стерео евалуацију локализације STARSS23, аутори ограничавају задатак на азимут лево–десно, јер стерео снимци дају ограничене назнаке за разрешавање недоумица горе–доле и напред–назад. Општи аудио-резултати варирају међу задацима, уместо да се уједначено побољшавају. Ограничења су важна за свакога ко разматра контролну тачку за истраживање: бољи просторни тестови не потврђују робусну локализацију у различитим условима снимања нити безбедну основу за навигацију.

## Извори и додатна литература

- [Hu и сарадници, „MiDashengLM-Spatial: обједињавање општег разумевања звука и просторне свести“, arXiv v1 (8. октобар 2026)](https://arxiv.org/abs/2610.11156v1). Примарни препринт о компонентама модела, подацима за обуку, евалуацијама и ограничењима које наводе аутори; овде се не тврди да је урађено независно понављање.
- [Xiaomi Research, репозиторијум MiDashengLM-Spatial, фиксирани комит `f314b3455e7fd94c60ad078655a39d69bcd05232` (проверено 16. октобра 2026)](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232). README, пример и код за евалуацију документују улазе, подешавање и објављене табеле; BIG CHANGE их није извршио.
- [Xiaomi Speech Team, стабло контролне тачке MiDashengLM-Spatial, фиксирана ревизија `160ae51b51becade390ace4294feaa5b078d5665` (проверено 16. октобра 2026)](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665). Јавне датотеке, величина и списак лиценци; из тога се не изводе мерења при извршавању.

## Sources

- [Hu и др., MiDashengLM-Spatial, arXiv v1 (8. октобар 2026)](https://arxiv.org/abs/2610.11156v1) — Примарни препринт о архитектури, обуци, тестовима које наводе аутори и ограничењима. BIG CHANGE није поновио резултате.
- [Xiaomi Research репозиторијум MiDashengLM-Spatial, фиксирани комит](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) — README и код документују двоканални улаз, подешавање и поступке евалуације. BIG CHANGE их није покренуо.
- [Xiaomi Speech Team стабло контролне тачке MiDashengLM-Spatial, фиксирана ревизија](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) — Наводи датотеке модела, величину и лиценцу. Величина датотека не утврђује потребну меморију при извршавању.