Markdown izdanje

AI-translated from English; not yet reviewed by a fluent editor.

# Šta dvokanalni zvuk donosi modelu MiDashengLM-Spatial kompanije Xiaomi

> Istraživači kompanije Xiaomi objavili su audio-jezički model za prostorna pitanja. Preprint navodi bolje rezultate na testovima smera uz dvokanalni ulaz, ali složene scene ostaju teške.

By BIG CHANGE Editorial

Published: 2026-10-16T09:43:13.526Z
Updated: 2026-10-16T09:43:13.526Z
Canonical: https://bigchange.ai/blog/xiaomi-midashenglm-spatial-two-channel-audio

![Conceptual charcoal illustration of a seated listener viewed from behind, with a handbell to the left and an alarm clock to the right; curved orange marks suggest sound from each side.](https://bigchange.ai/api/media/file/midashenglm-spatial-listening-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no Xiaomi product interface, test setup or measured result is depicted.

Istraživači kompanije Xiaomi objavili su MiDashengLM-Spatial, audio-jezički model koji prima dvokanalni zvuk i odgovara na pitanja o tome odakle zvuci dolaze, kao i šta sadrže. Rad od 8. oktobra navodi znatno više rezultate od testiranih monokanalnih modela na dva podskupa testova prostornog zvuka. Javni kod i kontrolna tačka modela omogućavaju pregled metode, mada BIG CHANGE nije pokrenuo model niti ponovio evaluacije.

Razlika je važna kada snimak sadrži više od jednog izvora. Uobičajeno pitanje o zvuku može da bude šta se čuje. Prostorno pitanje dodatno traži da li je izvor levo ili desno od slušaoca, da li se pomera i na koji se zvuk odgovor odnosi. Spajanje dva kanala u jedan uklanja razlike između njih koje mogu da nose informaciju o smeru.

## Velika promena

- **Šta se promenilo:** Istraživači su dodali prostornu audio-granu modelu MiDashengLM i objavili rad, kod i kontrolnu tačku modela. Model koristi binauralni zvuk za prostorna pitanja i zadržava put za opšte razumevanje zvuka.
- **Zašto je važno:** Tekstualni odgovor o položaju zvuka zahteva i prepoznavanje događaja i naznake o položaju. Dizajn sa dve grane omogućava prostornoj grani da koristi međurezultate semantičke obrade, dok struktura puta prosleđivanja semantičke grane ostaje nepromenjena.
- **Šta pratiti:** Test autora sa zamenom kanala proverava da li odgovori levo–desno prate audio-kanale. Potrebni su dodatni nezavisni testovi, uključujući razne postavke snimanja i scene s mnogo izvora, pre nego što se objavljeni rezultati smatraju pouzdanim u primenama.

## Kako dve grane dele zadatak

Rad [arXiv v1](https://arxiv.org/abs/2610.11156v1) opisuje semantički enkoder sa 32 sloja nasleđen iz MiDashengLM i enkoder Spatial-Dasheng sa 12 slojeva za višekanalni zvuk. Semantički put izdvaja šta se nalazi u snimku. Spatial-Dasheng se obučava da otkriva aktivne zvučne događaje kadar po kadar i procenjuje njihov smer i udaljenost, uključujući preklapanje izvora. Međupredstave semantike ulaze u prostornu granu na četiri dubine preko adaptera. Konačni izlazi spajaju se u audio-tokene iz kojih jezički model generiše tekst.

Takav raspored rešava konkretan problem povezivanja. Kada se dva izvora preklapaju, sama procena položaja ne govori koji zvuk tamo pripada. Uslovljavanje prostornih karakteristika semantičkim karakteristikama način je autora da spoje te naznake bez vraćanja novih prostornih predstava kroz prvobitni semantički put. Rad navodi da obuka koristi približno milion sintetizovanih binauralnih scena, oko 13.000 sati zvuka i šest miliona parova pitanja i odgovora, nakon čega sledi mešavina monokanalnih i binauralnih podataka. To su brojke autora o skupu podataka, a ne nezavisno provereni zbirovi.

Dokument [README repozitorijuma na fiksiranom komitu](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) daje primer za Transformers koji stavlja zvuk pre tekstualnog uputstva i prihvata stvarni binauralni zvuk kao `(2, T)` niz. Navodi da mono ulaz i dalje radi, ali ne nosi smer. Ta tvrdnja ne potvrđuje kompatibilnost sa određenim mikrofonom, uređajem ili akustičkim okruženjem. Putanja koda poziva `from_pretrained` sa `trust_remote_code=True`, pa korisnici treba da pregledaju kod repozitorijuma i kontrolne tačke pre izvršavanja. [Stablo datoteka kontrolne tačke](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) navodi oko 33,5 GB datoteka i licencu Apache-2.0; sama veličina datoteka ne određuje radnu memoriju niti trošak zaključivanja.

## Šta su autori merili

Na podskupu Spatial Reasoning testa STAR-Bench, rad navodi prostornu tačnost od 70,3% za MiDashengLM-Spatial, u poređenju sa 44,3% za monokanalni osnovni model MiDashengLM. Na prostornom podskupu MMAU-Pro navodi 55,4% prema 18,2%. Brojke potiču iz evaluacije test-snimaka koju su sproveli autori, a ne iz testa BIG CHANGE-a ili izmerene primene.

Rad takođe proverava da li odgovori zavise od dva kanala. Za pitanja kod kojih se tačan odgovor levo–desno obrće kada se audio-kanali zamene, stopa potpune tačnosti zahteva da i prvobitni i odgovor posle zamene budu tačni. Autori navode 72,6% na STAR-Bench za svoj model i 0% za monokanalni osnovni MiDashengLM. Ta uparena provera daje više informacija o zasnovanosti smera na zvuku od jednog rezultata tačnosti, mada ostaje rezultat testa pod uslovima rada.

Rad navodi i razloge za oprez. U sopstvenim testovima sintetičkih scena, potpuno poklapanje putanja kretanja ostaje ispod 20%, a model je slabiji u složenim scenama sa više izvora koji se preklapaju. Za stereo evaluaciju lokalizacije STARSS23, autori ograničavaju zadatak na azimut levo–desno, jer stereo snimci daju ograničene naznake za razrešavanje nedoumica gore–dole i napred–nazad. Opšti audio-rezultati variraju među zadacima, umesto da se ujednačeno poboljšavaju. Ograničenja su važna za svakoga ko razmatra kontrolnu tačku za istraživanje: bolji prostorni testovi ne potvrđuju robusnu lokalizaciju u različitim uslovima snimanja niti bezbednu osnovu za navigaciju.

## Izvori i dodatna literatura

- [Hu i saradnici, „MiDashengLM-Spatial: objedinjavanje opšteg razumevanja zvuka i prostorne svesti“, arXiv v1 (8. oktobar 2026)](https://arxiv.org/abs/2610.11156v1). Primarni preprint o komponentama modela, podacima za obuku, evaluacijama i ograničenjima koje navode autori; ovde se ne tvrdi da je urađeno nezavisno ponavljanje.
- [Xiaomi Research, repozitorijum MiDashengLM-Spatial, fiksirani komit `f314b3455e7fd94c60ad078655a39d69bcd05232` (provereno 16. oktobra 2026)](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232). README, primer i kod za evaluaciju dokumentuju ulaze, podešavanje i objavljene tabele; BIG CHANGE ih nije izvršio.
- [Xiaomi Speech Team, stablo kontrolne tačke MiDashengLM-Spatial, fiksirana revizija `160ae51b51becade390ace4294feaa5b078d5665` (provereno 16. oktobra 2026)](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665). Javne datoteke, veličina i spisak licenci; iz toga se ne izvode merenja pri izvršavanju.

## Sources

- [Hu i dr., MiDashengLM-Spatial, arXiv v1 (8. oktobar 2026)](https://arxiv.org/abs/2610.11156v1) — Primarni preprint o arhitekturi, obuci, testovima koje navode autori i ograničenjima. BIG CHANGE nije ponovio rezultate.
- [Xiaomi Research repozitorijum MiDashengLM-Spatial, fiksirani komit](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) — README i kod dokumentuju dvokanalni ulaz, podešavanje i postupke evaluacije. BIG CHANGE ih nije pokrenuo.
- [Xiaomi Speech Team stablo kontrolne tačke MiDashengLM-Spatial, fiksirana revizija](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) — Navodi datoteke modela, veličinu i licencu. Veličina datoteka ne utvrđuje potrebnu memoriju pri izvršavanju.