AI-translated from English; not yet reviewed by a fluent editor.

# Goodfire 的神經元可解釋性論點面臨疊加理論的質疑

> Nick Cammarata 認為，許多看似兼具不同用途的神經元可以直接研究。他在 Goodfire 發表的文章提供初步證據，但 Neel Nanda 對於疊加問題的更廣泛結論提出異議。

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

Goodfire 研究員 Nick Cammarata 認為，研究人員過於迅速地將具有多種表面意義的神經元，視為神經網路難以理解的證據。在一篇 [10 月 15 日的文章](https://already-clean.goodfire.com/)中，他重新檢視早期可解釋性研究的案例，包括自己的研究，並為其中許多案例提出不同解釋。他將文章稱為對工作假說的非正式說明。關於語言模型實驗、更完整的技術論文仍待發表。

## 重大變化

- **有何改變：** Cammarata 提出一種利用網路本身的神經元與迴路，研究部分模型行為的方法。他對早期案例的重新詮釋及初步語言模型稽核，挑戰了神經元為何看似混合多種意義的一種解釋；這些工作並未證明整個網路已被理解。
- **為何重要：** 研究模型回答的研究人員，可以使用神經元層級的追蹤資料，而不必先訓練另一個模型來擷取特徵。在追蹤資料可靠的情況下，這能讓直接研究更實用，但可讀的追蹤資料仍可能漏掉重要運算。
- **後續觀察：** 承諾將發表的技術論文，需要展示語言模型稽核如何進行，以及其解釋是否站得住腳，尤其是對弱活化的解釋。這些證據將有助於判斷，在哪些情況研究原生神經元有用，以及哪些情況仍需要其他方法。

## 為何一個神經元看起來有多種意義

機制可解釋性試圖透過檢視模型內部的運算，解釋其行為。對看似互不相關輸入產生反應的神經元，被稱為*多義神經元*。一種有影響力的解釋是*疊加*，也就是網路將比「一個神經元對應一個特徵」所能容納的更多特徵，放進可用的維度中。依此說法，單一神經元可能參與數個互不相關的特徵，研究人員可能必須先將這些特徵分離，才能理解迴路。

Cammarata 挑戰的是這套說法中較狹義的版本：看似互不相關的工作，因為彼此不干擾，便經常被放進同一批神經元。他的文章並未解決「疊加」的所有用法，包括資訊如何分布在模型的殘差流中。

他最清楚的案例來自 InceptionV1，這是一個在早期可解釋性研究中被研究的影像分類器。一個看似會對貓臉及汽車正面產生反應的神經元，曾成為多義性的知名例子。Cammarata 現在認為，兩者共有的訊號是尖銳的 V 字形圖樣。他指出該神經元的輸入、後續連結，以及對尖形和圓形的不同反應。在另一個早期迴路中，汽車特徵似乎藏在狗相關神經元之間；他認為，部分表面上與狗有關的特徵，實際反映了共同姿態及具有誤導性的特徵視覺化。這些是 Cammarata 對特定迴路的重新分析，包括他先前參與發表的研究，而不是互不相關特徵絕不會共用神經元的一般性證明。

他將較廣泛的替代解釋稱為*遞迴泛化*。隨著神經元學習，其工作可能分岔至相近意義，再繼續分岔。文章中的一個語言模型案例從字母序列「iy」開始，延伸到「diy」，再延伸到「do it yourself」。最後的片語不再包含最初的字母序列，但這條假定的學習路徑，為看似混雜的意義提供了研究人員可以追查的歷史。文章表示，作者曾在訓練過程中觀察到這種分岔，同時承認尚未嚴格證明每個高度多義的神經元都以此方式形成。

## 語言模型的證據目前顯示什麼

Cammarata 報告對 Qwen3-32B 進行的初步稽核：約 90% 的神經元反應極向有一項主要工作，通常帶有相關分支；約 7% 有兩項相關工作；約 2–4% 仍無法解釋。這裡的極向指神經元反應的正向或負向，因此不應將這些數字解讀為對完整神經元所做的全面盤點。文章表示，估計值會隨弱活化門檻、迴路深度，以及何者算是一項工作的判準而變動。Cammarata 也展示互動式神經元與迴路案例，包括能改變模型回答的介入。這些案例說明他的研究方法，但這篇文章並不是經同儕審查、獨立重現、涵蓋各種語言模型的可解釋性測量。

有用的追蹤與完整解釋之間的差別很重要。[Google DeepMind 可解釋性研究員 Neel Nanda 在公開回應中寫道](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean)，以神經元為基礎的歸因圖，或許能協助回答模型為何出現某種行為的實際問題。他也預期，這類圖會像其他追蹤方法一樣，漏掉大量運算。他不認為這篇文章是邁向全面逆向解析模型或解決可解釋性問題的重大進展。

Nanda 的技術異議，比單純否定神經元作為研究工具更具體。他認為疊加仍是合理的可能解釋，尤其涉及分布在殘差流中的資訊，以及牽涉大量神經元的運算。他懷疑語言模型中的弱神經元活化，可能承載文章未充分納入考量的有意義資訊。Cammarata 在另一節主張，弱活化通常能以有限代價移除，而且其中一些效果反映細微區別。他在該節提出的數值消融案例來自視覺模型。這些證據能在多大程度上推及語言模型，仍存在尚未解決的分歧。

對研究人員及安全實務工作者而言，眼前的提案是方法層面的：將原始網路神經元的輸入、輸出及介入一併研究，可能比只看神經元標籤或活化圖集揭露更多資訊。承諾將發表的配套論文，是檢視語言模型方法及測試這項提案限制的機會。無論這篇文章或 Nanda 的回應，都未證明這些解釋會讓 AI 系統更安全。

## 資料來源與延伸閱讀

- [Nick Cammarata，〈Neural Networks Are Already Clean〉](https://already-clean.goodfire.com/)（Goodfire，2026 年 10 月 15 日）。作者的非正式研究文章與工作假說，提供迴路重新分析、遞迴泛化說法及 Qwen3-32B 初步估計值。文內註解說明結果對門檻的敏感性，並預告將發表配套技術論文。
- [Neel Nanda 對文章的回應](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean)（LessWrong 討論，查閱於 2026 年 10 月 19 日）。Nanda 認為以神經元為基礎的研究具有實用價值，同時質疑關於邁向完整可解釋性已有重大進展的說法，並主張疊加與弱活化仍然重要。

## Sources

- [Nick Cammarata，Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Goodfire 研究員的非正式研究文章與工作假說。提供特定迴路的重新詮釋、所提出的遞迴泛化，以及 Qwen3-32B 反應極向的初步估計；定義與門檻會影響估計值。來源預告仍待發表更完整的配套技術論文。
- [Neel Nanda 對 Neural Networks Are Already Clean 的回應](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Google DeepMind 研究員 Neel Nanda 的公開評論。他認為以神經元為基礎的歸因或有實用價值，但質疑更宏大的可解釋性主張，並認為疊加與弱活化仍然相關。他的回應是專家批評，而非重現研究。