Истраживачи компаније Xiaomi објавили су MiDashengLM-Spatial, аудио-језички модел који прима двоканални звук и одговара на питања о томе одакле звуци долазе, као и шта садрже. Рад од 8. октобра наводи знатно више резултате од тестираних моноканалних модела на два подскупа тестова просторног звука. Јавни код и контролна тачка модела омогућавају преглед методе, мада BIG CHANGE није покренуо модел нити поновио евалуације.

Разлика је важна када снимак садржи више од једног извора. Уобичајено питање о звуку може да буде шта се чује. Просторно питање додатно тражи да ли је извор лево или десно од слушаоца, да ли се помера и на који се звук одговор односи. Спајање два канала у један уклања разлике између њих које могу да носе информацију о смеру.

Велика промена

  • Шта се променило: Истраживачи су додали просторну аудио-грану моделу MiDashengLM и објавили рад, код и контролну тачку модела. Модел користи бинаурални звук за просторна питања и задржава пут за опште разумевање звука.
  • Зашто је важно: Текстуални одговор о положају звука захтева и препознавање догађаја и назнаке о положају. Дизајн са две гране омогућава просторној грани да користи међурезултате семантичке обраде, док структура пута прослеђивања семантичке гране остаје непромењена.
  • Шта пратити: Тест аутора са заменом канала проверава да ли одговори лево–десно прате аудио-канале. Потребни су додатни независни тестови, укључујући разне поставке снимања и сцене с много извора, пре него што се објављени резултати сматрају поузданим у применама.

Како две гране деле задатак

Рад arXiv v1 описује семантички енкодер са 32 слоја наслеђен из MiDashengLM и енкодер Spatial-Dasheng са 12 слојева за вишеканални звук. Семантички пут издваја шта се налази у снимку. Spatial-Dasheng се обучава да открива активне звучне догађаје кадар по кадар и процењује њихов смер и удаљеност, укључујући преклапање извора. Међупредставе семантике улазе у просторну грану на четири дубине преко адаптера. Коначни излази спајају се у аудио-токене из којих језички модел генерише текст.

Такав распоред решава конкретан проблем повезивања. Када се два извора преклапају, сама процена положаја не говори који звук тамо припада. Условљавање просторних карактеристика семантичким карактеристикама начин је аутора да споје те назнаке без враћања нових просторних представа кроз првобитни семантички пут. Рад наводи да обука користи приближно милион синтетизованих бинауралних сцена, око 13.000 сати звука и шест милиона парова питања и одговора, након чега следи мешавина моноканалних и бинауралних података. То су бројке аутора о скупу података, а не независно проверени збирови.

Документ README репозиторијума на фиксираном комиту даје пример за Transformers који ставља звук пре текстуалног упутства и прихвата стварни бинаурални звук као (2, T) низ. Наводи да моно улаз и даље ради, али не носи смер. Та тврдња не потврђује компатибилност са одређеним микрофоном, уређајем или акустичким окружењем. Путања кода позива from_pretrained са trust_remote_code=True, па корисници треба да прегледају код репозиторијума и контролне тачке пре извршавања. Стабло датотека контролне тачке наводи око 33,5 GB датотека и лиценцу Apache-2.0; сама величина датотека не одређује радну меморију нити трошак закључивања.

Шта су аутори мерили

На подскупу Spatial Reasoning теста STAR-Bench, рад наводи просторну тачност од 70,3% за MiDashengLM-Spatial, у поређењу са 44,3% за моноканални основни модел MiDashengLM. На просторном подскупу MMAU-Pro наводи 55,4% према 18,2%. Бројке потичу из евалуације тест-снимака коју су спровели аутори, а не из теста BIG CHANGE-а или измерене примене.

Рад такође проверава да ли одговори зависе од два канала. За питања код којих се тачан одговор лево–десно обрће када се аудио-канали замене, стопа потпуне тачности захтева да и првобитни и одговор после замене буду тачни. Аутори наводе 72,6% на STAR-Bench за свој модел и 0% за моноканални основни MiDashengLM. Та упарена провера даје више информација о заснованости смера на звуку од једног резултата тачности, мада остаје резултат теста под условима рада.

Рад наводи и разлоге за опрез. У сопственим тестовима синтетичких сцена, потпуно поклапање путања кретања остаје испод 20%, а модел је слабији у сложеним сценама са више извора који се преклапају. За стерео евалуацију локализације STARSS23, аутори ограничавају задатак на азимут лево–десно, јер стерео снимци дају ограничене назнаке за разрешавање недоумица горе–доле и напред–назад. Општи аудио-резултати варирају међу задацима, уместо да се уједначено побољшавају. Ограничења су важна за свакога ко разматра контролну тачку за истраживање: бољи просторни тестови не потврђују робусну локализацију у различитим условима снимања нити безбедну основу за навигацију.

Извори и додатна литература