AI-translated from English; not yet reviewed by a fluent editor.

# Goodfire 的神经元可解释性主张面临关于叠加的质疑

> Nick Cammarata 认为，许多看似承担混合功能的神经元可以直接研究。他在 Goodfire 的文章提供了初步证据，而 Neel Nanda 则反对其中关于叠加的更广泛结论。

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

Goodfire 研究员 Nick Cammarata 认为，研究人员过于迅速地把具有多种表面含义的神经元视为神经网络难以理解的证据。在一篇 [10 月 15 日的文章](https://already-clean.goodfire.com/)中，他重新审视了早期可解释性研究中的案例，包括自己的研究，并为其中许多案例提出了另一种解释。他把文章称为对一种工作假说的非正式阐述。关于语言模型实验的更完整技术论文仍有待发表。

## 重大变化

- **发生了什么变化：** Cammarata 提出了一种通过网络自身的神经元和回路研究部分模型行为的方法。他对早期案例的新解释和对语言模型的初步审查，挑战了关于神经元为何似乎混合多种含义的一种解释；这些结果并未证明整个网络已被理解。
- **为什么重要：** 调查模型回答的研究人员可以利用神经元层面的计算轨迹，而不必先训练一个单独的模型来提取特征。在轨迹可靠的情况下，这会让直接调查更切实可行，但可读的轨迹仍可能遗漏重要计算。
- **值得关注什么：** 已承诺的技术论文需要说明语言模型审查是如何进行的，以及其解释经不经得起检验，尤其是在弱激活方面。这些证据将有助于判断，研究网络原生神经元在哪些场景下有用，哪些场景仍需其他方法。

## 为什么一个神经元似乎会有多种含义

机制可解释性试图通过研究模型内部的计算来解释模型行为。对看似无关的输入产生响应的神经元被称为*多义神经元*。一种有影响力的解释是*叠加*，即网络在可用维度中容纳了比“每个神经元对应一个特征”的图景所允许的更多特征。按照这种解释，一个神经元可能参与多个互不相关的特征，研究人员可能需要先将这些特征分离，才能理解回路。

Cammarata 挑战的是这种解释的一个较窄版本：看似无关的任务经常被容纳在同一批神经元中，是因为它们彼此不会干扰。他的文章并未解决“叠加”的所有用法所涉及的问题，包括信息如何在模型的残差流各处得到表示。

他最清楚的例子来自 InceptionV1，这是一种在早期可解释性研究中被研究过的图像分类器。一个似乎对猫脸和汽车前部产生响应的神经元，成了多义性的常见案例。Cammarata 现在认为，共同信号是一种尖锐的 V 形图案。他指出了该神经元的输入、后续连接，以及它对尖锐形状与圆形的不同响应。在另一个早期回路中，汽车特征似乎隐藏在与狗有关的神经元之间；他认为，其中一些表面上的狗特征反映的是共同的姿态，以及具有误导性的特征可视化。这些是 Cammarata 对特定回路的重新分析，包括他过去曾参与发表的研究，而不是无关特征从不共享神经元的一般性证明。

他把更广泛的替代解释称为*递归泛化*。随着神经元学习，其任务可以分支到相近的含义，再继续分支。文章中的一个语言模型例子，从字母序列“iy”开始，扩展到“diy”，再到“do it yourself”。最后的短语不再包含原始字母序列，但所提出的学习路径为这种表面混合赋予了可供研究人员调查的历史。文章说，作者在训练过程中观察到了这种分支，同时承认，他们尚未严格证明每个高度多义的神经元都以这种方式形成。

## 语言模型证据迄今表明了什么

Cammarata 报告了对 Qwen3-32B 的初步审查：约 90% 的神经元反应极向有一项主要任务，通常带有相关分支；约 7% 有两项相关任务；约 2–4% 仍无法解释。这里的极向是指神经元响应的正向或负向，因此不应将这些数字视为对完整神经元所作的全面盘点。文章表示，估计值会随弱激活阈值、回路深度，以及何者算作一项任务的判断而变化。Cammarata 还展示了交互式神经元和回路案例，包括能够改变模型回答的干预。这些例子说明了他的调查方法，但这篇文章并不是经过同行评审、由独立研究者复现的、涵盖各种语言模型的可解释性测量。

有用的轨迹与完整解释之间的区别很重要。[Google DeepMind 可解释性研究员 Neel Nanda 在公开回应中写道](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean)，基于神经元的归因图可能有助于回答实际问题，例如模型为什么以某种方式行动。他也预期，这类图会遗漏大量计算，其他追踪方法同样可能如此。他不认为这篇文章意味着在完整逆向工程模型或解决可解释性问题方面取得了重大进展。

Nanda 的技术异议比否定神经元作为研究工具更加具体。他认为，叠加仍是一种合理解释，尤其是对于在残差流各处表示的信息，以及涉及大量神经元的计算。他怀疑，语言模型中的弱神经元激活可能携带有意义的信息，而文章并未充分解释这些信息。Cammarata 在另一个章节中主张，弱激活往往可以以有限代价移除，其某些效应反映了精细差别。他在那里给出的数值消融例子来自视觉模型。这些证据在多大程度上适用于语言模型，双方仍有分歧。

对研究人员和安全从业者来说，眼下的提议涉及方法：把原始网络的神经元连同其输入、输出和干预一起研究，可能比仅看神经元标签或激活图库揭示更多信息。已承诺的配套论文将提供一个机会，来检视语言模型研究方法，并检验这一提议的局限。无论这篇文章还是 Nanda 的回应，都没有证明这些解释能让 AI 系统更安全。

## 来源与延伸阅读

- [Nick Cammarata，《Neural Networks Are Already Clean》](https://already-clean.goodfire.com/)（Goodfire，2026 年 10 月 15 日）。作者的非正式研究文章和工作假说，提供了回路重新分析、递归泛化解释，以及 Qwen3-32B 的初步估计。文章自身的注释说明了结果对阈值的敏感性，并预告了尚待发表的技术配套论文。
- [Neel Nanda 对文章的回应](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean)（LessWrong 讨论，访问于 2026 年 10 月 19 日）。Nanda 认为，基于神经元的调查具有实际价值，但反对关于可解释性迈向完整理解取得重大进展的说法，并主张叠加与弱激活仍然重要。

## Sources

- [Nick Cammarata，Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Goodfire 研究员的非正式研究文章与工作假说。提供了对特定回路的新解释、所提出的递归泛化，以及 Qwen3-32B 反应极向的初步估计；定义和阈值会影响估计。来源表示，更完整的技术配套论文仍有待发表。
- [Neel Nanda 对 Neural Networks Are Already Clean 的回应](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Google DeepMind 研究员 Neel Nanda 的公开评论。他认为，基于神经元的归因可能有实际价值，但反对更广泛的可解释性主张，并认为叠加和弱激活仍然相关。他的回应是专家批评，并非复现实验。