AI-translated from English; not yet reviewed by a fluent editor.

# Нейронный подход Goodfire к интерпретируемости сталкивается с возражением о суперпозиции

> Ник Каммарата утверждает, что многие нейроны с несколькими кажущимися функциями можно изучать напрямую. В эссе для Goodfire он приводит предварительные данные, а Нил Нанда оспаривает более широкий вывод о суперпозиции.

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

Исследователь Goodfire Ник Каммарата утверждает, что ученые слишком поспешно считают нейрон с несколькими кажущимися значениями свидетельством непостижимости нейросети. В [эссе от 15 октября](https://already-clean.goodfire.com/) он возвращается к примерам из ранних работ по интерпретируемости, в том числе собственных, и предлагает другое объяснение многих из них. Он называет эссе неформальным изложением рабочей гипотезы. Более подробная техническая статья об экспериментах с языковыми моделями еще готовится к публикации.

## Большая перемена

- **Что изменилось:** Каммарата предлагает изучать некоторые аспекты поведения модели через нейроны и цепи самой сети. Его новое прочтение прежних примеров и предварительное исследование языковой модели ставят под вопрос одно из объяснений того, почему нейроны, по-видимому, смешивают значения; они не доказывают, что вся сеть понятна.
- **Почему это важно:** Исследователи, разбирающие ответ модели, могли бы использовать следы вычислений на уровне нейронов, не обучая сначала отдельную модель для извлечения признаков. Это сделало бы прямое исследование практичнее там, где такие следы надежны, однако даже читаемый след может упускать важные вычисления.
- **За чем следить:** Обещанная техническая статья должна показать, как проводилось исследование языковой модели и насколько состоятельны его объяснения, особенно для слабых активаций. Эти данные помогут определить, где полезно изучать собственные нейроны сети, а где по-прежнему нужны другие методы.

## Почему у нейрона может быть несколько кажущихся значений

Механистическая интерпретируемость стремится объяснить поведение модели, изучая вычисления внутри нее. Нейрон, реагирующий на кажущиеся несвязанными входные данные, называют *полисемантичным*. Одно из влиятельных объяснений, *суперпозиция*, состоит в том, что сеть упаковывает в доступные ей измерения больше признаков, чем допускает представление «один признак на нейрон». В этой трактовке один нейрон может участвовать в нескольких несвязанных признаках, и исследователям может понадобиться разделить эти признаки, прежде чем они смогут понять цепь.

Каммарата оспаривает более узкий вариант этого объяснения: представление о том, что кажущиеся несвязанными функции часто помещаются в одни и те же нейроны, поскольку не мешают друг другу. Его эссе не разрешает все вопросы, связанные с термином «суперпозиция», в том числе о том, как информация может представляться в остаточном потоке модели.

Самый наглядный его пример взят из InceptionV1 — классификатора изображений, изучавшегося в ранних исследованиях интерпретируемости. Нейрон, который, казалось, реагировал на кошачьи морды и передние части автомобилей, стал известным примером полисемантичности. Теперь Каммарата утверждает, что общий сигнал — это заостренный V-образный узор. Он указывает на входы нейрона, последующие связи и реакцию на заостренные и округлые формы. В другой ранней цепи, где автомобильный признак будто бы скрывался среди нейронов, связанных с собаками, он объясняет некоторые кажущиеся собачьи признаки общим положением объектов и вводящими в заблуждение визуализациями признаков. Это повторный анализ конкретных цепей, выполненный Каммаратой, в том числе работ, в публикации которых он раньше участвовал, а не общее доказательство того, что несвязанные признаки никогда не используют одни и те же нейроны.

Более широкую альтернативу он называет *рекурсивным обобщением*. По мере обучения нейрона его функция может разветвляться на близкие значения, а затем разветвляться снова. Один пример из языковой модели в эссе начинается с последовательности букв «iy», переходит к «diy», а затем к «do it yourself». В последней фразе уже нет исходной последовательности букв, но предполагаемый путь обучения придает кажущемуся смешению историю, которую исследователь может изучить. В эссе говорится, что авторы наблюдали такое ветвление в ходе обучения, но признается: они не показали строго, что каждый сильно полисемантичный нейрон формируется именно так.

## Что пока показывают данные по языковой модели

Каммарата сообщает о предварительных исследованиях Qwen3-32B, в которых примерно 90% полюсов нейронов имели одну основную функцию, часто с родственными ответвлениями; около 7% — две связанные функции; примерно 2–4% остались необъясненными. Полюс — это положительная или отрицательная сторона отклика нейрона, поэтому эти цифры нельзя считать завершенной переписью целых нейронов. В эссе говорится, что оценки меняются в зависимости от порогов слабых активаций, глубины цепи и решения о том, что считать одной функцией. Каммарата также показывает интерактивные примеры нейронов и цепей, включая вмешательства, меняющие ответ модели. Они иллюстрируют его исследовательский подход, но эссе не является прошедшим рецензирование, независимо воспроизведенным измерением интерпретируемости языковых моделей в целом.

Различие между полезным следом вычислений и полным объяснением существенно. [Нил Нанда, исследователь интерпретируемости из Google DeepMind, написал в публичном ответе](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean), что графы атрибуции на основе нейронов могут помогать отвечать на практические вопросы о том, почему модель повела себя определенным образом. Он также ожидает, что такие графы будут упускать значительную часть вычислений, как это бывает и с другими методами трассировки. Он не считает эссе существенным продвижением к полной обратной разработке моделей или решению задачи интерпретируемости.

Техническое возражение Нанды конкретнее, чем отказ от нейронов как исследовательского инструмента. Он утверждает, что суперпозиция остается правдоподобным объяснением, особенно для информации, представленной в остаточном потоке, и вычислений с участием множества нейронов. Он предполагает, что слабые активации нейронов в языковых моделях могут нести значимую информацию, которую эссе недостаточно учитывает. Каммарата в отдельном разделе утверждает, что слабые активации часто можно удалять с ограниченными потерями и что часть их эффектов отражает тонкие различия. Приведенный там численный пример абляции относится к модели компьютерного зрения. Спор о том, насколько эти данные переносятся на языковые модели, остается открытым.

Для исследователей и специалистов по безопасности ближайшее предложение касается методологии: изучение нейронов исходной сети вместе с их входами, выходами и вмешательствами может раскрыть больше, чем одна метка нейрона или галерея активаций. Обещанная сопутствующая статья даст возможность рассмотреть методы исследования языковой модели и проверить пределы этого предложения. Ни эссе, ни ответ Нанды не показывают, что такие объяснения делают системы ИИ безопаснее.

## Источники и дополнительное чтение

- [Ник Каммарата, «Neural Networks Are Already Clean»](https://already-clean.goodfire.com/) (Goodfire, 15 октября 2026 года). Неформальное исследовательское эссе и рабочая гипотеза автора служат источником повторного анализа цепей, объяснения через рекурсивное обобщение и предварительных оценок Qwen3-32B. В примечаниях самого эссе описаны чувствительность к порогам и готовящаяся сопутствующая техническая статья.
- [Ответ Нила Нанды на эссе](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) (Обсуждение на LessWrong, дата обращения: 19 октября 2026 года). Нанда видит практическую пользу в исследованиях на уровне нейронов, но оспаривает заявления о значительном продвижении к полной интерпретируемости и утверждает, что суперпозиция и слабые активации остаются важными.

## Sources

- [Ник Каммарата, Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Неформальное исследовательское эссе и рабочая гипотеза исследователя Goodfire. Содержит новые трактовки конкретных цепей, предлагаемое рекурсивное обобщение и предварительные оценки полюсов Qwen3-32B; определения и пороги влияют на оценки. В источнике анонсирована более подробная сопутствующая техническая статья.
- [Ответ Нила Нанды на Neural Networks Are Already Clean](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Публичный комментарий исследователя Google DeepMind Нила Нанды. Он видит возможную практическую ценность атрибуции на основе нейронов, но оспаривает более широкие заявления об интерпретируемости и утверждает, что суперпозиция и слабые активации остаются значимыми. Его ответ — экспертная критика, а не воспроизведение результатов.