AI-translated from English; not yet reviewed by a fluent editor. # Was Zweikanalton Xiaomis MiDashengLM-Spatial hinzufügt > Xiaomi-Forschende haben ein Audio-Sprach-Modell für räumliche Fragen veröffentlicht. Der Preprint meldet bessere Richtungs-Benchmarkwerte mit zwei Eingangskanälen, doch komplexe Szenen bleiben schwierig. By BIG CHANGE Editorial Published: 2026-10-16T09:43:13.526Z Updated: 2026-10-16T09:43:13.526Z Canonical: https://bigchange.ai/blog/xiaomi-midashenglm-spatial-two-channel-audio ![Conceptual charcoal illustration of a seated listener viewed from behind, with a handbell to the left and an alarm clock to the right; curved orange marks suggest sound from each side.](https://bigchange.ai/api/media/file/midashenglm-spatial-listening-concept-v1.png) AI-generated conceptual illustration by BIG CHANGE; no Xiaomi product interface, test setup or measured result is depicted. Xiaomi-Forschende haben MiDashengLM-Spatial veröffentlicht, ein Audio-Sprach-Modell, das Zweikanalton annimmt und Fragen dazu beantwortet, woher Geräusche kommen und was sie enthalten. Die Arbeit vom 8. Oktober meldet auf zwei Teilmengen räumlicher Audio-Benchmarks deutlich höhere Werte als die getesteten monauralen Modelle. Öffentlicher Code und Modell-Checkpoint machen die Methode überprüfbar, obwohl BIG CHANGE weder das Modell ausgeführt noch die Bewertungen wiederholt hat. Der Unterschied ist wichtig, wenn eine Aufnahme mehr als eine Quelle enthält. Eine übliche Audiofrage könnte fragen, was zu hören ist. Eine räumliche Frage fragt auch, ob sich eine Quelle links oder rechts von der hörenden Person befindet, ob sie sich bewegt und auf welchen Ton sich eine Antwort bezieht. Werden zwei Kanäle zu einem gemischt, gehen ihre Unterschiede verloren, die Richtungsinformationen tragen können. ## Die große Veränderung - **Was sich geändert hat:** Die Forschenden haben MiDashengLM einen räumlichen Audiozweig hinzugefügt und eine Arbeit, Code sowie einen Modell-Checkpoint veröffentlicht. Das Modell nutzt binaurales Audio für räumliche Fragen und behält einen Weg für allgemeines Audioverständnis. - **Warum das wichtig ist:** Eine Textantwort über den Ort eines Geräuschs braucht sowohl Ereigniserkennung als auch Ortshinweise. Der Aufbau mit zwei Zweigen lässt den räumlichen Zweig semantische Zwischenmerkmale nutzen, während die Struktur des Vorwärtspfads im semantischen Zweig unverändert bleibt. - **Worauf es jetzt ankommt:** Der Kanaltausch-Benchmark der Autoren prüft, ob Links-rechts-Antworten den Audiokanälen folgen. Weitere unabhängige Tests mit unterschiedlichen Aufnahmeaufbauten und dicht belegten Szenen sind nötig, bevor die gemeldeten Ergebnisse als zuverlässig für Anwendungen gelten können. ## Wie die beiden Zweige die Aufgabe aufteilen Die [Arbeit auf arXiv, Version 1](https://arxiv.org/abs/2610.11156v1) beschreibt einen aus MiDashengLM übernommenen semantischen Encoder mit 32 Schichten und einen Spatial-Dasheng-Encoder mit 12 Schichten für Mehrkanalaudio. Der semantische Pfad erfasst, was in der Aufnahme enthalten ist. Spatial-Dasheng wird trainiert, aktive Klangereignisse Frame für Frame zu erkennen und ihre Richtung und Entfernung zu schätzen, auch bei überlappenden Quellen. Semantische Zwischenrepräsentationen gelangen über Adapter an vier Tiefen in den räumlichen Zweig. Die Endausgaben werden zu Audiotokens zusammengeführt, aus denen ein Sprachmodell Text erzeugt. Diese Anordnung behandelt ein bestimmtes Zuordnungsproblem. Überlappen zwei Quellen, sagt eine Ortsschätzung allein nicht, welcher Ton dorthin gehört. Räumliche Merkmale durch semantische Merkmale zu bedingen, ist der Ansatz der Autoren, diese Hinweise zu verbinden, ohne neue räumliche Repräsentationen durch den ursprünglichen semantischen Pfad zurückzuführen. Laut Arbeit nutzt das Training etwa eine Million synthetisierte binaurale Szenen, rund 13.000 Audiostunden und sechs Millionen Frage-Antwort-Paare, gefolgt von einer Mischung monauraler und binauraler Daten. Das sind Datensatzzahlen der Autoren und keine unabhängig geprüften Zählungen. Die [README des Repositorys am festgelegten Commit](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) dokumentiert ein Transformers-Beispiel, das Audio vor einer Textanweisung platziert und echtes binaurales Audio als `(2, T)` Array annimmt. Demnach läuft auch Monoeingabe, trägt aber keine Richtung. Diese Aussage belegt keine Kompatibilität mit einem bestimmten Mikrofon, Gerät oder akustischen Umfeld. Der Codepfad ruft `from_pretrained` mit `trust_remote_code=True` auf; Nutzer sollten deshalb Repository- und Checkpoint-Code vor der Ausführung prüfen. Der [Dateibaum des Checkpoints](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) listet etwa 33,5 GB Dateien und eine Apache-2.0-Lizenz auf. Die Dateigröße allein bestimmt weder Arbeitsspeicherbedarf noch Inferenzkosten. ## Was die Autoren gemessen haben Auf der Spatial-Reasoning-Teilmenge von STAR-Bench meldet die Arbeit 70,3 % räumliche Genauigkeit für MiDashengLM-Spatial gegenüber 44,3 % für das monaurale MiDashengLM-Vergleichsmodell. Auf der räumlichen Teilmenge von MMAU-Pro meldet sie 55,4 % gegenüber 18,2 %. Diese Zahlen stammen aus der Bewertung von Benchmarkaufnahmen durch die Autoren, nicht aus einem BIG-CHANGE-Test oder einer gemessenen Bereitstellung. Die Arbeit prüft außerdem, ob Antworten von den beiden Kanälen abhängen. Bei Fragen, deren korrekte Links-rechts-Antwort sich beim Kanaltausch umkehrt, verlangt die Volltrefferquote, dass sowohl die ursprüngliche als auch die vertauschte Antwort richtig ist. Die Autoren melden auf STAR-Bench 72,6 % für ihr Modell und 0 % für das monaurale MiDashengLM-Vergleichsmodell. Diese gepaarte Prüfung sagt mehr über die Verankerung der Richtung im Audio aus als ein einzelner Genauigkeitswert, bleibt aber ein Benchmarkergebnis unter den Bedingungen der Arbeit. Die Arbeit nennt Gründe zur Vorsicht. In eigenen Tests synthetischer Szenen liegen exakte Übereinstimmungen von Bewegungstrajektorien weiterhin unter 20 %, und das Modell schneidet in komplexen Szenen mit mehreren überlappenden Quellen schlechter ab. Für die Stereo-Lokalisierungsauswertung STARSS23 begrenzen die Autoren die Aufgabe auf den Links-rechts-Azimut, weil Stereoaufnahmen nur eingeschränkte Hinweise liefern, um Oben-unten- und Vorne-hinten-Mehrdeutigkeiten zu lösen. Allgemeine Audioergebnisse unterscheiden sich je nach Aufgabe, statt sich einheitlich zu verbessern. Diese Grenzen sind für Forschung mit dem Checkpoint wichtig: Gewinne in räumlichen Benchmarks belegen weder robuste Ortung über Aufnahmeumgebungen hinweg noch eine sichere Grundlage für Navigation. ## Quellen und weiterführende Lektüre - [Hu und Kollegen, „MiDashengLM-Spatial: Allgemeines Audioverständnis und räumliche Wahrnehmung vereinen“, arXiv v1 (8. Oktober 2026)](https://arxiv.org/abs/2610.11156v1). Primärer Preprint zu Modellkomponenten, Trainingsdaten, von den Autoren gemeldeten Auswertungen und Grenzen; eine unabhängige Replikation wird hier nicht behauptet. - [Xiaomi Research, MiDashengLM-Spatial-Repository, festgelegter Commit `f314b3455e7fd94c60ad078655a39d69bcd05232` (geprüft am 16. Oktober 2026)](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232). README, Beispiel und Auswertungscode dokumentieren Eingaben, Einrichtung und gemeldete Tabellen; BIG CHANGE hat sie nicht ausgeführt. - [Xiaomi Speech Team, MiDashengLM-Spatial-Checkpoint-Baum, festgelegte Revision `160ae51b51becade390ace4294feaa5b078d5665` (geprüft am 16. Oktober 2026)](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665). Öffentliche Dateien, Größe und Lizenzangabe; daraus werden keine Laufzeitmessungen abgeleitet. ## Sources - [Hu et al., MiDashengLM-Spatial, arXiv v1 (8. Oktober 2026)](https://arxiv.org/abs/2610.11156v1) — Primärer Preprint zu Architektur, Training, von den Autoren gemeldeten Benchmarks und Grenzen. BIG CHANGE hat die Ergebnisse nicht reproduziert. - [Xiaomi Research MiDashengLM-Spatial-Repository, festgelegter Commit](https://github.com/xiaomi-research/midashenglm-spatial/tree/f314b3455e7fd94c60ad078655a39d69bcd05232) — README und Code dokumentieren Zweikanaleingaben, Einrichtung und Auswertungsverfahren. BIG CHANGE hat sie nicht ausgeführt. - [Xiaomi Speech Team MiDashengLM-Spatial-Checkpoint-Baum, festgelegte Revision](https://huggingface.co/mispeech/midashenglm-spatial/tree/160ae51b51becade390ace4294feaa5b078d5665) — Listet Modelldateien, Größe und Lizenz. Die Dateigröße belegt nicht den Speicherbedarf zur Laufzeit.