世界は立ち止まらない。RSS
BIG CHANGE.

Markdown版

AI-translated from English; not yet reviewed by a fluent editor.

# ニューロンの解釈可能性をめぐるGoodfireの主張に、重ね合わせに関する異論

> Nick Cammarataは、一見複数の役割を持つ多くのニューロンを直接調べられると論じる。Goodfireでの論考は予備的な証拠を示す一方、Neel Nandaは重ね合わせに関する広い結論に異論を唱えている。

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

Goodfireの研究者Nick Cammarataは、複数の意味を持つように見えるニューロンを、ニューラルネットワークが理解しがたいことの証拠とみなすのは早計だったと論じている。[10月15日の論考](https://already-clean.goodfire.com/)では、自身の研究を含む過去の解釈可能性研究の例を再検討し、その多くに別の説明を提案する。この論考は作業仮説を形式ばらずに説明したものだとしている。言語モデルの実験についての、より詳しい技術論文はまだ公表されていない。

## 大きな変化

- **何が変わったか：** Cammarataは、ネットワーク自身のニューロンと回路を通じてモデルの挙動の一部を調べる方法を示す。過去の例の再解釈と、言語モデルに対する予備的な調査は、ニューロンが意味を混在させるように見える理由についての一つの説明に異を唱える。ただし、ネットワーク全体を理解できたことを示すものではない。
- **なぜ重要か：** モデルの回答を調べる研究者は、特徴を抽出する別のモデルを先に訓練せずに、ニューロン単位の計算の痕跡を使えるかもしれない。その痕跡が信頼できる場合には直接の調査が実用的になるが、読み解ける痕跡でも重要な計算が抜け落ちることはある。
- **何に注目するか：** 予告された技術論文では、言語モデルの調査をどう実施し、その説明が特に弱い活性化についてどこまで成り立つかを示す必要がある。その証拠は、ネットワーク本来のニューロンを調べることがどこで有用で、どこでは別の手法がなお必要かを判断する助けになる。

## 一つのニューロンが複数の意味を持つように見える理由

機械論的解釈可能性の研究は、モデル内部の計算を調べて挙動を説明しようとする。一見関係のない入力に反応するニューロンは、*多義的*と呼ばれる。有力な説明の一つである*重ね合わせ*は、利用可能な次元に、ニューロン一つにつき特徴一つという見方で収まる数より多くの特徴をネットワークが詰め込むというものだ。この説明では、一つのニューロンが関係のない複数の特徴に関与し、回路を理解する前にそれらの特徴を分離する必要があるかもしれない。

Cammarataが異を唱えるのは、この説明のより狭い形、つまり互いに干渉しないため、一見無関係な役割が同じニューロンに頻繁に詰め込まれるという考え方だ。論考は「重ね合わせ」という語のあらゆる用法に決着をつけるものではなく、モデルの残差ストリーム全体で情報がどう表現されうるかという問題も残る。

最も明瞭な例は、初期の解釈可能性研究で調べられた画像分類器InceptionV1にある。猫の顔と車の前面に反応するように見えたニューロンは、多義性のよく知られた例になった。Cammarataは今、その共通信号は先の尖ったV字形のパターンだと主張する。その入力、後続の接続、尖った形と丸い形への反応を根拠に挙げる。また、犬に関係するニューロンの間に車の特徴が隠れているように見えた初期の別の回路では、犬の特徴に見えたものの一部は共通の姿勢と誤解を招く特徴の可視化を反映していると論じる。これは、かつて発表に関わった研究も含めた、特定の回路に対するCammarataの再分析であり、無関係な特徴がニューロンを共有することは決してないという一般的な証明ではない。

より広い代替説明を、彼は*再帰的汎化*と呼ぶ。ニューロンが学習するにつれ、その役割が近い意味へ枝分かれし、さらに枝分かれする場合がある。論考の言語モデルの一例は、文字列「iy」から始まり、「diy」、そして「do it yourself」へと広がる。最後の表現には元の文字列は含まれないが、提案された学習の道筋によって、一見混在したものにも研究者が調べられる歴史が与えられる。論考によれば、著者らは訓練中にこうした枝分かれを観察したが、多義性の強いニューロンがすべてこのように形成されると厳密に示したわけではないことも認めている。

## 言語モデルの証拠がこれまでに示したこと

CammarataはQwen3-32Bの予備的な調査を報告しており、ニューロンの極の約90%には、関連する枝分かれを伴うことが多いものの、一つの主要な役割があった。約7%には関連する二つの役割があり、約2–4%は未解明だった。極とはニューロンの反応の正または負の側を指すため、これらの数字を、ニューロン全体について完了した悉皆調査と読むべきではない。論考では、推定値は弱い活性化の閾値、回路の深さ、何を一つの役割と数えるかという判断によって変わるとしている。Cammarataは、モデルの回答を変える介入も含む、操作して調べられるニューロンと回路の例も示す。これらは調査手法の例示だが、この論考は言語モデル全般の解釈可能性を測った、査読済みで独立に再現された測定ではない。

有用な計算の痕跡と完全な説明の違いは重要だ。[Google DeepMindで解釈可能性を研究するNeel Nandaは、公開の応答で述べている](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean)。ニューロンに基づく帰属グラフは、モデルがなぜ特定の挙動を示したかという実務的な疑問への答えに役立ちうるという。一方で、こうしたグラフも、他の追跡手法と同様に、相当量の計算を捉え損ねると予想する。この論考を、モデルの完全なリバースエンジニアリングや解釈可能性の問題の解決に向けた大きな進展とはみていない。

Nandaの技術的な異論は、研究道具としてニューロンを否定するという話よりも具体的なものだ。特に残差ストリーム全体に表現される情報や、多数のニューロンを伴う計算について、重ね合わせは依然として妥当な可能性があると論じる。言語モデルの弱いニューロン活性化には、論考が十分に考慮していない意味のある情報が含まれるのではないかと考えている。別の節でCammarataは、弱い活性化は多くの場合、限られた損失で除去でき、その効果の一部は細かな違いを反映すると論じる。そこで示す数値的なアブレーションの例は、視覚モデルによるものだ。その証拠を言語モデルにどこまで適用できるかという対立は、未解決のままである。

研究者や安全性の実務家にとって、当面の提案は方法論に関するものだ。元のネットワークのニューロンを、その入力、出力、介入とともに調べれば、ニューロンのラベルや活性化の一覧だけを見るより多くのことが分かるかもしれない。予告された付随論文は、言語モデルに用いた方法を検討し、この提案の限界を確かめる機会となる。論考もNandaの応答も、こうした説明がAIシステムをより安全にすることを示してはいない。

## 出典と参考資料

- [Nick Cammarata「Neural Networks Are Already Clean」](https://already-clean.goodfire.com/)（Goodfire、2026年10月15日）。著者による形式ばらない研究論考と作業仮説。回路の再分析、再帰的汎化による説明、Qwen3-32Bの予備的な推定値の出典となる。論考自体の注記で閾値への感度と、今後公表する技術的な付随論文について説明している。
- [論考に対するNeel Nandaの応答](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean)（LessWrongでの議論、2026年10月19日閲覧）。Nandaはニューロンに基づく調査に実務的価値を認める一方、完全な解釈可能性への大きな進展という主張を疑問視し、重ね合わせと弱い活性化は依然として重要だと論じる。

## Sources

- [Nick Cammarata、Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Goodfireの研究者による、形式ばらない研究論考と作業仮説。特定の回路の再解釈、提案された再帰的汎化、Qwen3-32Bの極に関する予備的な推定値を示す。定義と閾値は推定値に影響する。原文は、より詳しい技術的な付随論文の公表を予告している。
- [Neural Networks Are Already Cleanに対するNeel Nandaの応答](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Google DeepMindの研究者Neel Nandaによる公開コメント。ニューロンに基づく帰属に実務的価値がある可能性を認める一方、解釈可能性に関するより大きな主張を疑問視し、重ね合わせと弱い活性化はなお重要だと論じる。これは専門家の批評であり、追試ではない。