AI-translated from English; not yet reviewed by a fluent editor. # Goodfires These zur Interpretierbarkeit von Neuronen stößt auf Einwand zur Superposition > Nick Cammarata argumentiert, dass sich viele Neuronen mit scheinbar gemischten Aufgaben direkt untersuchen lassen. Sein Goodfire-Essay liefert vorläufige Belege, während Neel Nanda der weiterreichenden Schlussfolgerung zur Superposition widerspricht. By BIG CHANGE Editorial Published: 2026-10-19T22:11:34.848Z Updated: 2026-10-19T22:11:34.848Z Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition ![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png) AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted. Goodfire-Forscher Nick Cammarata argumentiert, Forscher hätten ein Neuron mit mehreren scheinbaren Bedeutungen vorschnell als Beleg für ein undurchschaubares neuronales Netz gewertet. In einem [Essay vom 15. Oktober](https://already-clean.goodfire.com/) greift er Beispiele aus früheren Arbeiten zur Interpretierbarkeit auf, darunter seine eigenen, und schlägt für viele eine andere Erklärung vor. Er bezeichnet den Essay als informelle Darstellung einer Arbeitshypothese. Eine ausführlichere technische Veröffentlichung zu den Sprachmodellexperimenten steht noch aus. ## Die große Veränderung - **Was sich geändert hat:** Cammarata bietet einen Weg, Teile des Modellverhaltens anhand der eigenen Neuronen und Schaltkreise des Netzes zu untersuchen. Seine Neuinterpretation früherer Beispiele und die vorläufige Untersuchung eines Sprachmodells stellen eine Erklärung dafür infrage, warum Neuronen Bedeutungen zu vermischen scheinen. Sie belegen nicht, dass das gesamte Netz verstanden ist. - **Warum das wichtig ist:** Forscher, die eine Modellantwort untersuchen, könnten Spuren auf Neuronenebene nutzen, ohne zunächst ein separates Modell zur Merkmalsextraktion zu trainieren. Wo diese Spuren zuverlässig sind, würde das direkte Untersuchungen praktikabler machen. Eine lesbare Spur kann aber dennoch wichtige Berechnungen auslassen. - **Worauf zu achten ist:** Die angekündigte technische Veröffentlichung muss zeigen, wie die Sprachmodelluntersuchung durchgeführt wurde und wie belastbar ihre Erklärungen sind, insbesondere für schwache Aktivierungen. Diese Belege werden helfen festzustellen, wo die Untersuchung ursprünglicher Neuronen nützlich ist und wo andere Methoden weiterhin nötig sind. ## Warum ein Neuron mehrere Bedeutungen zu haben scheint Mechanistische Interpretierbarkeit versucht, das Verhalten eines Modells anhand seiner internen Berechnungen zu erklären. Ein Neuron, das auf scheinbar unzusammenhängende Eingaben reagiert, wird als *polysemantisch* bezeichnet. Eine einflussreiche Erklärung, die *Superposition*, besagt, dass ein Netz mehr Merkmale in seine verfügbaren Dimensionen packt, als ein Bild mit einem Merkmal pro Neuron zuließe. Demnach kann ein einzelnes Neuron an mehreren unzusammenhängenden Merkmalen beteiligt sein. Forscher müssen diese Merkmale möglicherweise erst trennen, um den Schaltkreis zu verstehen. Cammarata widerspricht einer engeren Variante dieser Erklärung: der Vorstellung, dass scheinbar unzusammenhängende Aufgaben häufig in denselben Neuronen untergebracht werden, weil sie sich nicht gegenseitig stören. Sein Essay klärt nicht jede Verwendung von „Superposition“, einschließlich der Frage, wie Informationen über den Residualstrom des Modells repräsentiert sein können. Sein deutlichstes Beispiel stammt aus InceptionV1, einem Bildklassifikator aus der frühen Interpretierbarkeitsforschung. Ein Neuron, das auf Katzengesichter und Autofronten zu reagieren schien, wurde zu einem bekannten Beispiel für Polysemantik. Cammarata argumentiert nun, das gemeinsame Signal sei ein spitzes, V-förmiges Muster. Er verweist auf dessen Eingaben, nachgelagerte Verbindungen und Reaktionen auf spitze gegenüber runden Formen. Bei einem anderen frühen Schaltkreis, der ein Automerkmal zwischen Hundeneuronen zu verbergen schien, führt er einige der vermeintlichen Hundemerkmale auf eine gemeinsame Körperhaltung und irreführende Merkmalsvisualisierungen zurück. Das sind Cammaratas Neuanalysen bestimmter Schaltkreise, auch aus Arbeiten, an deren Veröffentlichung er beteiligt war. Sie sind kein allgemeiner Beweis dafür, dass unzusammenhängende Merkmale niemals dieselben Neuronen nutzen. Die umfassendere Alternative nennt er *rekursive Generalisierung*. Während ein Neuron lernt, kann sich seine Aufgabe in benachbarte Bedeutungen verzweigen und anschließend weiter verzweigen. Ein Sprachmodellbeispiel im Essay beginnt mit der Buchstabenfolge „iy“, erweitert sich zu „diy“ und dann zu „do it yourself“. Der letzte Ausdruck enthält die ursprüngliche Buchstabenfolge nicht mehr. Der vorgeschlagene Lernweg gibt der scheinbaren Mischung jedoch eine Geschichte, die Forscher untersuchen können. Laut Essay haben die Autoren solche Verzweigungen in Trainingsläufen beobachtet. Zugleich räumen sie ein, nicht streng nachgewiesen zu haben, dass jedes stark polysemantische Neuron so entsteht. ## Was die Sprachmodellbelege bisher zeigen Cammarata berichtet über vorläufige Untersuchungen von Qwen3-32B, bei denen etwa 90% der Neuronenpole eine Hauptaufgabe hatten, häufig mit verwandten Abzweigungen; ungefähr 7% hatten zwei verwandte Aufgaben, und etwa 2–4% blieben unerklärt. Ein Pol ist die positive oder negative Seite der Reaktion eines Neurons. Die Zahlen dürfen deshalb nicht als abgeschlossene Bestandsaufnahme ganzer Neuronen gelesen werden. Laut Essay ändern sich die Schätzungen mit den Schwellen für schwache Aktivierungen, der Schaltkreistiefe und der Einschätzung, was als eine Aufgabe zählt. Cammarata zeigt zudem interaktive Neuronen- und Schaltkreisbeispiele, darunter Eingriffe, die eine Modellantwort verändern. Sie illustrieren seinen Untersuchungsansatz. Der Essay ist aber keine begutachtete, unabhängig replizierte Messung der Interpretierbarkeit über Sprachmodelle hinweg. Der Unterschied zwischen einer nützlichen Spur und einer vollständigen Erklärung ist wichtig. [Neel Nanda, Interpretierbarkeitsforscher bei Google DeepMind, schrieb in einer öffentlichen Antwort](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean), dass auf Neuronen beruhende Attributionsgraphen praktische Fragen dazu beantworten helfen könnten, warum sich ein Modell auf eine bestimmte Weise verhalten hat. Er erwartet auch, dass solche Graphen erhebliche Berechnungen übersehen, wie es bei anderen Verfahren zur Nachverfolgung ebenfalls möglich ist. Er sieht den Essay nicht als wesentlichen Fortschritt auf dem Weg zum vollständigen Reverse Engineering von Modellen oder zur Lösung der Interpretierbarkeit. Nandas technischer Einwand ist spezifischer als eine Ablehnung von Neuronen als Forschungswerkzeug. Er hält Superposition weiterhin für plausibel, insbesondere für Informationen im Residualstrom und für Berechnungen mit vielen Neuronen. Er vermutet, dass schwache Neuronenaktivierungen in Sprachmodellen bedeutsame Informationen tragen könnten, die der Essay nicht ausreichend berücksichtigt hat. Cammarata argumentiert in einem separaten Abschnitt, schwache Aktivierungen ließen sich oft mit begrenzten Einbußen entfernen und einige ihrer Effekte spiegelten feine Unterscheidungen wider. Sein numerisches Ablationsbeispiel dort stammt aus einem Bildverarbeitungsmodell. Der Streit darüber, wie weit sich diese Belege auf Sprachmodelle übertragen lassen, bleibt offen. Für Forscher und Sicherheitspraktiker ist der unmittelbare Vorschlag methodischer Art: Die Neuronen des ursprünglichen Netzes zusammen mit ihren Eingaben, Ausgaben und Eingriffen zu untersuchen, könnte mehr offenlegen als eine Neuronenbezeichnung oder eine Aktivierungsgalerie allein. Die angekündigte Begleitveröffentlichung bietet die Gelegenheit, die Sprachmodellmethoden zu prüfen und die Grenzen dieses Vorschlags zu testen. Weder der Essay noch Nandas Antwort belegt, dass diese Erklärungen KI-Systeme sicherer machen. ## Quellen und weiterführende Informationen - [Nick Cammarata, „Neural Networks Are Already Clean“](https://already-clean.goodfire.com/) (Goodfire, 15. Oktober 2026). Der informelle Forschungsessay und die Arbeitshypothese des Autors liefern die Schaltkreis-Neuanalysen, die Erklärung der rekursiven Generalisierung und die vorläufigen Qwen3-32B-Schätzungen. Seine eigenen Anmerkungen beschreiben die Empfindlichkeit gegenüber Schwellenwerten und eine noch ausstehende technische Begleitveröffentlichung. - [Neel Nandas Antwort auf den Essay](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) (LessWrong-Diskussion, abgerufen am 19. Oktober 2026). Nanda sieht praktischen Wert in neuronengestützten Untersuchungen, widerspricht aber Behauptungen eines großen Fortschritts in Richtung vollständiger Interpretierbarkeit. Er argumentiert, dass Superposition und schwache Aktivierungen wichtig bleiben. ## Sources - [Nick Cammarata, Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Informeller Forschungsessay und Arbeitshypothese eines Goodfire-Forschers. Liefert Neuinterpretationen bestimmter Schaltkreise, die vorgeschlagene rekursive Generalisierung und vorläufige Qwen3-32B-Polschätzungen. Definitionen und Schwellenwerte beeinflussen die Schätzungen. Eine ausführlichere technische Begleitveröffentlichung wird in der Quelle angekündigt. - [Neel Nandas Antwort auf Neural Networks Are Already Clean](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Öffentlicher Kommentar des Forschers Neel Nanda von Google DeepMind. Er sieht möglichen praktischen Wert in neuronengestützter Attribution, widerspricht aber weitergehenden Interpretierbarkeitsbehauptungen und hält Superposition sowie schwache Aktivierungen weiterhin für relevant. Seine Antwort ist eine Expertenkritik, keine Replikation.