Peneliti Xiaomi merilis MiDashengLM-Spatial, model audio-bahasa yang menerima suara dua kanal dan menjawab pertanyaan tentang asal suara sekaligus isinya. Makalah 8 Oktober melaporkan skor jauh lebih tinggi daripada model monaural yang diuji pada dua subset tolok ukur audio spasial. Kode dan checkpoint publik membuat metodenya dapat ditelaah, meski BIG CHANGE belum menjalankan model atau mengulang evaluasi.

Perbedaannya penting ketika rekaman memuat lebih dari satu sumber. Pertanyaan audio konvensional mungkin menanyakan apa yang terdengar. Pertanyaan spasial juga menanyakan apakah sumber berada di kiri atau kanan pendengar, apakah bergerak, dan suara mana yang dirujuk sebuah jawaban. Mencampur dua kanal menjadi satu menghapus perbedaan di antaranya yang dapat membawa informasi arah.

Perubahan besar

  • Apa yang berubah: Peneliti menambahkan cabang audio spasial pada MiDashengLM dan merilis makalah, kode, serta checkpoint model. Model memakai audio binaural untuk pertanyaan spasial dan tetap memiliki jalur pemahaman audio umum.
  • Mengapa penting: Jawaban teks tentang lokasi suara membutuhkan pengenalan peristiwa dan petunjuk lokasi. Desain dua cabang memungkinkan cabang spasial memakai fitur semantik antara, sementara jalur maju cabang semantik tetap tidak berubah secara struktural.
  • Yang perlu diperhatikan: Tolok ukur pertukaran kanal dari penulis menguji apakah jawaban kiri-kanan mengikuti kanal audio. Diperlukan lebih banyak uji independen, termasuk beragam pengaturan rekaman dan adegan padat sumber, sebelum hasil yang dilaporkan dianggap andal dalam aplikasi.

Cara kedua cabang membagi tugas

Makalah arXiv v1 menjelaskan encoder semantik 32 lapis yang diwarisi dari MiDashengLM dan encoder Spatial-Dasheng 12 lapis untuk audio multikanal. Jalur semantik mengekstrak isi rekaman. Spatial-Dasheng dilatih mendeteksi peristiwa suara aktif per bingkai dan memperkirakan arah serta jaraknya, termasuk saat sumber bertumpang tindih. Representasi semantik antara masuk ke cabang spasial pada empat kedalaman melalui adaptor. Keluaran akhirnya digabung menjadi token audio agar model bahasa menghasilkan teks.

Susunan itu menangani masalah asosiasi tertentu. Jika dua sumber bertumpang tindih, perkiraan lokasi saja tidak menjelaskan suara mana yang berada di sana. Mengondisikan fitur spasial pada fitur semantik adalah cara penulis menyatukan petunjuk tersebut tanpa mengumpankan representasi spasial baru kembali melalui jalur semantik asli. Makalah melaporkan pelatihan memakai sekitar satu juta adegan binaural sintetis, sekitar 13.000 jam audio, dan enam juta pasangan tanya-jawab, lalu dilanjutkan campuran data monaural dan binaural. Itu angka dataset dari penulis, bukan hitungan yang diaudit secara independen.

Dokumen README repositori pada commit yang dipatok mendokumentasikan contoh Transformers yang menempatkan audio sebelum instruksi teks dan menerima audio binaural nyata sebagai array (2, T). Dokumen menyebut masukan mono tetap dapat dijalankan, tetapi tidak membawa arah. Pernyataan itu tidak membuktikan kompatibilitas dengan mikrofon, perangkat, atau kondisi akustik tertentu. Jalur kode memanggil from_pretrained dengan trust_remote_code=True, sehingga pengguna sebaiknya memeriksa kode repositori dan checkpoint sebelum menjalankannya. Pohon berkas checkpoint mencantumkan sekitar 33,5 GB berkas dan lisensi Apache-2.0; ukuran berkas saja tidak menentukan memori kerja atau biaya inferensi.

Apa yang diukur penulis

Pada subset Spatial Reasoning STAR-Bench, makalah melaporkan akurasi spasial 70,3% untuk MiDashengLM-Spatial, dibandingkan 44,3% untuk baseline monaural MiDashengLM. Pada subset spasial MMAU-Pro, skornya 55,4% versus 18,2%. Angka tersebut berasal dari evaluasi rekaman tolok ukur oleh penulis, bukan uji BIG CHANGE atau pengukuran penerapan.

Makalah juga memeriksa apakah jawaban bergantung pada dua kanal. Untuk pertanyaan yang jawaban kiri-kanan benarnya berbalik saat kanal audio ditukar, tingkat benar-semua mensyaratkan jawaban asli dan jawaban setelah pertukaran sama-sama benar. Penulis melaporkan 72,6% pada STAR-Bench untuk model mereka dan 0% untuk baseline monaural MiDashengLM. Pemeriksaan berpasangan itu lebih informatif tentang landasan arah dalam audio daripada satu skor akurasi, meski tetap merupakan hasil tolok ukur dalam kondisi makalah.

Makalah memberi alasan untuk berhati-hati. Dalam uji adegan sintetisnya sendiri, kecocokan tepat lintasan gerak tetap di bawah 20%, dan kinerja model lebih buruk pada adegan kompleks dengan beberapa sumber bertumpang tindih. Untuk evaluasi lokalisasi stereo STARSS23, penulis membatasi tugas pada azimut kiri-kanan karena rekaman stereo memberi petunjuk terbatas untuk menyelesaikan ambiguitas atas-bawah dan depan-belakang. Hasil audio umum bervariasi menurut tugas, bukan membaik secara seragam. Batas ini penting bagi siapa pun yang mempertimbangkan checkpoint untuk penelitian: peningkatan tolok ukur spasial tidak membuktikan lokalisasi yang tangguh di berbagai lingkungan rekaman atau dasar yang aman untuk navigasi.

Sumber dan bacaan lanjutan