Édition Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# La thèse de Goodfire sur l’interprétabilité des neurones se heurte à une objection sur la superposition

> Nick Cammarata estime que de nombreux neurones aux fonctions apparemment multiples peuvent être étudiés directement. Son essai chez Goodfire présente des éléments préliminaires, tandis que Neel Nanda conteste sa conclusion plus générale sur la superposition.

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

Nick Cammarata, chercheur chez Goodfire, estime que les chercheurs ont trop vite considéré qu’un neurone aux significations apparemment multiples prouvait le caractère impénétrable d’un réseau de neurones. Dans un [essai du 15 octobre](https://already-clean.goodfire.com/), il revient sur des exemples issus de travaux antérieurs sur l’interprétabilité, dont les siens, et propose une autre explication pour beaucoup d’entre eux. Il présente son essai comme un exposé informel d’une hypothèse de travail. Un article technique plus complet sur les expériences avec les modèles de langage reste à paraître.

## Le grand changement

- **Ce qui a changé :** Cammarata propose d’étudier certains comportements d’un modèle à travers les propres neurones et circuits du réseau. Sa réinterprétation d’exemples antérieurs et son audit préliminaire d’un modèle de langage remettent en cause une explication du mélange apparent de significations dans les neurones ; ils n’établissent pas que le réseau entier est compris.
- **Pourquoi c’est important :** Les chercheurs qui examinent la réponse d’un modèle pourraient utiliser des traces au niveau des neurones sans entraîner d’abord un modèle distinct pour extraire des caractéristiques. Cela rendrait l’investigation directe plus pratique là où ces traces sont fiables, mais une trace lisible peut encore omettre des calculs importants.
- **Ce qu’il faut surveiller :** L’article technique promis doit montrer comment l’audit du modèle de langage a été réalisé et dans quelle mesure ses explications résistent à l’examen, notamment pour les activations faibles. Ces éléments aideront à déterminer où l’étude des neurones natifs est utile et où d’autres méthodes restent nécessaires.

## Pourquoi un neurone peut sembler avoir plusieurs significations

L’interprétabilité mécaniste cherche à expliquer le comportement d’un modèle en examinant ses calculs internes. Un neurone qui réagit à des entrées apparemment sans rapport est dit *polysémantique*. Selon une explication influente, la *superposition*, un réseau concentre dans ses dimensions disponibles plus de caractéristiques que ne le permettrait une représentation avec une caractéristique par neurone. Dans cette interprétation, un même neurone peut participer à plusieurs caractéristiques sans rapport, que les chercheurs doivent éventuellement séparer avant de comprendre le circuit.

Cammarata conteste une version plus étroite de cette explication : l’idée que des fonctions apparemment sans rapport sont couramment regroupées dans les mêmes neurones parce qu’elles n’interfèrent pas entre elles. Son essai ne tranche pas tous les usages de « superposition », notamment la manière dont l’information peut être représentée dans le flux résiduel du modèle.

Son exemple le plus clair vient d’InceptionV1, un classificateur d’images étudié dans les premiers travaux sur l’interprétabilité. Un neurone qui semblait réagir aux visages de chats et aux faces avant de voitures est devenu un exemple connu de polysémanticité. Cammarata estime désormais que le signal commun est une forme pointue en V. Il s’appuie sur ses entrées, ses connexions ultérieures et sa réaction aux formes pointues plutôt qu’arrondies. Dans un autre circuit ancien qui semblait cacher une caractéristique de voiture parmi des neurones associés aux chiens, il soutient que certaines caractéristiques apparemment canines reflètent une posture commune et des visualisations trompeuses des caractéristiques. Ce sont des réanalyses de circuits précis par Cammarata, y compris de travaux qu’il avait contribué à publier, et non une preuve générale que des caractéristiques sans rapport ne partagent jamais les mêmes neurones.

Il appelle l’alternative plus générale *généralisation récursive*. Au fil de l’apprentissage d’un neurone, sa fonction peut se ramifier vers des significations voisines, puis se ramifier à nouveau. Un exemple de modèle de langage dans l’essai part de la suite de lettres « iy », s’étend à « diy », puis à « do it yourself ». La dernière expression ne contient plus la suite de lettres initiale, mais le parcours d’apprentissage proposé donne au mélange apparent une histoire qu’un chercheur peut examiner. L’essai indique que les auteurs ont observé de telles ramifications pendant des entraînements, tout en reconnaissant ne pas avoir démontré rigoureusement que tous les neurones fortement polysémantiques se forment ainsi.

## Ce que montrent jusqu’ici les résultats sur les modèles de langage

Cammarata rapporte des audits préliminaires de Qwen3-32B dans lesquels environ 90% des pôles de neurones avaient une fonction principale, souvent avec des ramifications apparentées ; environ 7% avaient deux fonctions apparentées ; et quelque 2–4% restaient inexpliqués. Un pôle correspond au côté positif ou négatif de la réponse d’un neurone : ces chiffres ne doivent donc pas être lus comme un recensement achevé de neurones entiers. L’essai indique que les estimations varient selon les seuils d’activation faible, la profondeur des circuits et l’appréciation de ce qui constitue une fonction. Cammarata présente aussi des exemples interactifs de neurones et de circuits, avec notamment des interventions qui modifient la réponse d’un modèle. Ils illustrent sa démarche d’investigation, mais l’essai n’est pas une mesure de l’interprétabilité des modèles de langage évaluée par les pairs et répliquée indépendamment.

La distinction entre une trace utile et une explication complète est importante. [Neel Nanda, chercheur en interprétabilité chez Google DeepMind, a écrit dans une réponse publique](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) que des graphes d’attribution fondés sur les neurones pourraient aider à répondre à des questions pratiques sur les raisons d’un comportement particulier du modèle. Il s’attend aussi à ce que ces graphes omettent une part importante des calculs, comme peuvent le faire d’autres méthodes de traçage. Il ne considère pas l’essai comme un progrès substantiel vers la rétro-ingénierie complète des modèles ou la résolution du problème de l’interprétabilité.

L’objection technique de Nanda est plus précise qu’un rejet des neurones comme outil de recherche. Il estime que la superposition reste plausible, notamment pour l’information représentée dans le flux résiduel et les calculs impliquant de nombreux neurones. Il soupçonne que les activations faibles des neurones dans les modèles de langage puissent porter des informations significatives que l’essai ne prend pas suffisamment en compte. Dans une section distincte, Cammarata soutient que les activations faibles peuvent souvent être retirées à un coût limité et que certains de leurs effets reflètent des distinctions fines. Son exemple numérique d’ablation dans cette section vient d’un modèle de vision. Le désaccord sur la portée du transfert de ces éléments aux modèles de langage reste ouvert.

Pour les chercheurs et les praticiens de la sécurité, la proposition immédiate est méthodologique : étudier les neurones du réseau d’origine avec leurs entrées, leurs sorties et des interventions peut révéler davantage qu’une simple étiquette de neurone ou qu’une galerie d’activations. L’article complémentaire promis sera l’occasion d’examiner les méthodes appliquées au modèle de langage et de tester les limites de cette proposition. Ni l’essai ni la réponse de Nanda ne démontrent que ces explications rendent les systèmes d’IA plus sûrs.

## Sources et lectures complémentaires

- [Nick Cammarata, « Neural Networks Are Already Clean »](https://already-clean.goodfire.com/) (Goodfire, 15 octobre 2026). L’essai de recherche informel et l’hypothèse de travail de l’auteur fournissent les réanalyses des circuits, l’explication par généralisation récursive et les estimations préliminaires sur Qwen3-32B. Ses propres notes décrivent la sensibilité aux seuils et un article technique complémentaire à paraître.
- [La réponse de Neel Nanda à l’essai](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) (Discussion sur LessWrong, consultée le 19 octobre 2026). Nanda voit un intérêt pratique dans l’investigation fondée sur les neurones, tout en contestant les affirmations de progrès majeur vers une interprétabilité complète et en soutenant que la superposition et les activations faibles restent importantes.

## Sources

- [Nick Cammarata, Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Essai de recherche informel et hypothèse de travail d’un chercheur de Goodfire. Fournit des réinterprétations de circuits précis, la généralisation récursive proposée et des estimations préliminaires des pôles de Qwen3-32B ; les définitions et les seuils influencent les estimations. La source annonce un article technique complémentaire plus complet.
- [La réponse de Neel Nanda à Neural Networks Are Already Clean](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Commentaire public de Neel Nanda, chercheur chez Google DeepMind. Il voit un possible intérêt pratique dans l’attribution fondée sur les neurones, mais conteste les affirmations plus ambitieuses sur l’interprétabilité et soutient que la superposition et les activations faibles restent pertinentes. Sa réponse est une critique d’expert, pas une réplication.