Inilabas ng mga mananaliksik ng Xiaomi ang MiDashengLM-Spatial, isang audio-language model na tumatanggap ng two-channel sound at sumasagot sa mga tanong kung saan nanggagaling ang mga tunog at kung ano ang nilalaman ng mga ito. Mas mataas nang malaki ang mga score nito kaysa sa sinubok na monaural model sa dalawang spatial-audio benchmark subset, ayon sa papel noong Oktubre 8. Nasusuri ang pamamaraan dahil sa pampublikong code at checkpoint, bagaman hindi pinatakbo ng BIG CHANGE ang modelo o inulit ang mga pagsusuri.

Mahalaga ang pagkakaibang ito kapag may higit sa isang pinagmumulan ng tunog sa recording. Maaaring itanong ng karaniwang audio question kung ano ang naririnig. Itinatanong din ng spatial question kung nasa kaliwa o kanan ng tagapakinig ang pinagmumulan, kung gumagalaw ito, at kung aling tunog ang tinutukoy ng sagot. Kapag pinagsama ang dalawang channel sa isa, nawawala ang pagkakaiba ng mga ito na maaaring magdala ng impormasyon sa direksiyon.

Ang malaking pagbabago

  • Ano ang nagbago: Nagdagdag ang mga mananaliksik ng spatial audio branch sa MiDashengLM at naglabas ng papel, code at model checkpoint. Tumatanggap ang modelo ng binaural audio para sa spatial questions at pinananatili ang isang daan para sa pangkalahatang pag-unawa sa audio.
  • Bakit ito mahalaga: Kailangan ng sagot na teksto tungkol sa lokasyon ng tunog ang pagkilala sa pangyayari at mga pahiwatig ng lokasyon. Nagagamit ng spatial branch ang mga intermediate semantic feature sa dual-branch na disenyo habang nananatiling hindi nagbabago ang istruktura ng forward path ng semantic branch.
  • Ano ang dapat bantayan: Sinusuri ng channel-swap benchmark ng mga may-akda kung sumusunod sa audio channels ang mga sagot na kaliwa o kanan. Kailangan pa ng mas maraming independiyenteng pagsusuri, kabilang ang iba-ibang setup ng recording at mga eksenang siksik sa tunog, bago ituring na maaasahan sa mga aplikasyon ang mga iniulat na resulta.

Paano hinahati ng dalawang branch ang gawain

Inilalarawan ng arXiv v1 na papel ang isang 32-layer semantic encoder na minana sa MiDashengLM at isang 12-layer Spatial-Dasheng encoder para sa multichannel audio. Kinukuha ng semantic path kung ano ang nasa recording. Sinasanay ang Spatial-Dasheng na tuklasin ang aktibong sound events sa bawat frame at tantiyahin ang direksiyon at distansiya ng mga ito, kahit magkapatong ang mga pinagmumulan. Pumapasok sa spatial branch ang mga intermediate semantic representation sa apat na lalim sa pamamagitan ng mga adapter. Pinagsasama ang mga huling output bilang audio token para makabuo ng teksto ang language model.

Tinutugunan ng kaayusang iyon ang isang tiyak na problema ng pag-uugnay. Kung magkapatong ang dalawang pinagmumulan, hindi sinasabi ng pagtatantiya ng lokasyon lamang kung aling tunog ang naroon. Ang pagkondisyon sa spatial feature gamit ang semantic feature ang paraan ng mga may-akda para pagdugtungin ang mga pahiwatig nang hindi ibinabalik ang bagong spatial representation sa orihinal na semantic path. Ayon sa papel, gumagamit ang pagsasanay ng humigit-kumulang 1 milyong sintetikong binaural scene, mga 13,000 oras ng audio at 6 milyong pares ng tanong at sagot, na sinusundan ng pinaghalong monaural at binaural data. Mga bilang ito ng dataset mula sa mga may-akda, hindi independiyenteng in-audit na bilang.

Ang README ng repository sa naka-pin na bersiyon ay nagdodokumento ng halimbawa sa Transformers na inuuna ang audio bago ang tekstong tagubilin at tumatanggap ng tunay na binaural audio bilang isang (2, T) array. Sinasabi nitong gumagana pa rin ang mono input ngunit walang dalang direksiyon. Hindi pinatutunayan ng pahayag na iyon ang compatibility sa isang partikular na mikropono, device o akustikong kapaligiran. Tinatawag ng code path ang from_pretrained gamit ang trust_remote_code=True, kaya dapat suriin ng mga user ang repository at checkpoint code bago ito patakbuhin. Ang checkpoint tree ay naglilista ng humigit-kumulang 33.5 GB na file at lisensiyang Apache-2.0; hindi natutukoy ng laki ng file lamang ang memory na kailangan sa pagpapatakbo o gastos sa inference.

Ano ang sinukat ng mga may-akda

Sa Spatial Reasoning subset ng STAR-Bench, iniulat sa papel ang 70.3% spatial accuracy para sa MiDashengLM-Spatial, kumpara sa 44.3% para sa monaural MiDashengLM baseline nito. Sa spatial subset ng MMAU-Pro, iniulat nito ang 55.4% laban sa 18.2%. Mula ang mga numerong ito sa pagsusuri ng mga may-akda sa benchmark recording, hindi sa pagsubok ng BIG CHANGE o sinukat na deployment.

Tinitingnan din ng papel kung nakadepende sa dalawang channel ang mga sagot. Para sa mga tanong na bumabaligtad ang tamang kaliwa-kanang sagot kapag pinagpalit ang audio channels, kailangang tama ang orihinal at pinagpalit na sagot para sa all-correct rate. Iniulat ng mga may-akda ang 72.6% sa STAR-Bench para sa kanilang modelo at 0% para sa monaural MiDashengLM baseline. Mas maraming naipapakita ang magkaparis na pagsusuring iyon tungkol sa pag-angkla ng direksiyon sa audio kaysa sa iisang accuracy score, bagaman benchmark result pa rin ito sa mga kondisyon ng papel.

May mga dahilan ding mag-ingat ayon sa papel. Sa sarili nitong pagsubok ng sintetikong eksena, nananatiling mas mababa sa 20% ang eksaktong pagtutugma sa mga landas ng paggalaw, at mas mahina ang modelo sa masalimuot na eksenang may maraming magkapatong na pinagmumulan. Para sa stereo STARSS23 localization evaluation, nililimitahan ng mga may-akda ang gawain sa kaliwa-kanang azimuth dahil limitado ang pahiwatig ng stereo recording para lutasin ang kalituhan sa taas-baba at harap-likod. Nag-iiba ang pangkalahatang audio result ayon sa gawain sa halip na pare-parehong bumuti. Mahalaga ang mga limitasyong ito sa nag-iisip gumamit ng checkpoint para sa pananaliksik: hindi pinatutunayan ng pagtaas sa spatial benchmark ang matatag na localization sa iba-ibang recording environment o isang ligtas na batayan para sa nabigasyon.

Mga sanggunian at karagdagang babasahin