Edição Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# A tese da Goodfire sobre a interpretabilidade dos neurónios enfrenta uma objeção sobre superposição

> Nick Cammarata defende que muitos neurónios com funções aparentemente misturadas podem ser estudados diretamente. O seu ensaio na Goodfire apresenta indícios preliminares, mas Neel Nanda contesta a conclusão mais ampla sobre superposição.

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

O investigador da Goodfire Nick Cammarata defende que os investigadores têm sido demasiado rápidos a tratar um neurónio com vários significados aparentes como prova de uma rede neuronal indecifrável. Num [ensaio de 15 de outubro](https://already-clean.goodfire.com/), revisita exemplos de trabalhos anteriores sobre interpretabilidade, incluindo os seus, e propõe outra explicação para muitos deles. Descreve o ensaio como uma exposição informal de uma hipótese de trabalho. Continua por publicar um artigo técnico mais completo sobre as experiências com modelos de linguagem.

## A grande mudança

- **O que mudou:** Cammarata propõe uma forma de estudar parte do comportamento dos modelos através dos próprios neurónios e circuitos da rede. A sua reinterpretação de exemplos anteriores e a auditoria preliminar de um modelo de linguagem questionam uma explicação para a aparente mistura de significados nos neurónios; não demonstram que toda a rede esteja compreendida.
- **Porque importa:** Os investigadores que estudam uma resposta de um modelo poderiam usar rastos ao nível dos neurónios sem primeiro treinar um modelo separado para extrair características. Isso tornaria a investigação direta mais prática onde os rastos fossem fiáveis, mas um rasto legível pode continuar a omitir cálculos importantes.
- **O que acompanhar:** O artigo técnico prometido precisa de mostrar como foi feita a auditoria do modelo de linguagem e como se sustentam as suas explicações, sobretudo para ativações fracas. Esses indícios ajudarão a determinar onde é útil estudar neurónios nativos e onde continuam a ser necessários outros métodos.

## Porque pode um neurónio parecer ter vários significados

A interpretabilidade mecanicista procura explicar o comportamento de um modelo examinando os cálculos no seu interior. Um neurónio que responde a entradas aparentemente não relacionadas é designado *polissemântico*. Uma explicação influente, a *superposição*, propõe que uma rede concentra nas dimensões disponíveis mais características do que permitiria uma correspondência de uma característica por neurónio. Segundo essa explicação, um único neurónio pode participar em várias características não relacionadas, e os investigadores podem precisar de as separar antes de compreenderem o circuito.

Cammarata contesta uma versão mais restrita dessa explicação: a ideia de que funções aparentemente não relacionadas são frequentemente concentradas nos mesmos neurónios por não interferirem umas com as outras. O seu ensaio não resolve todos os usos de «superposição», incluindo a forma como a informação pode ser representada ao longo do fluxo residual do modelo.

O seu exemplo mais claro vem do InceptionV1, um classificador de imagens estudado nos primeiros trabalhos sobre interpretabilidade. Um neurónio que parecia responder a caras de gatos e frentes de automóveis tornou-se um exemplo conhecido de polissemia neuronal. Cammarata defende agora que o sinal comum é um padrão pontiagudo em forma de V. Aponta para as suas entradas, ligações posteriores e resposta a formas pontiagudas em comparação com formas redondas. Noutro circuito inicial que parecia esconder uma característica de automóvel entre neurónios de cães, defende que algumas das aparentes características de cães refletem uma postura comum e visualizações de características enganadoras. São reanálises de Cammarata de circuitos específicos, incluindo trabalhos que anteriormente ajudou a publicar, e não uma prova geral de que características não relacionadas nunca partilham neurónios.

Chama à alternativa mais ampla *generalização recursiva*. À medida que um neurónio aprende, a sua função pode ramificar-se em significados próximos e voltar a ramificar-se. Um exemplo de modelo de linguagem no ensaio começa com a sequência de letras «iy», estende-se a «diy» e depois a «do it yourself». A expressão final já não contém a sequência original de letras, mas o percurso de aprendizagem proposto dá à mistura aparente uma história que um investigador pode estudar. O ensaio diz que os autores observaram essas ramificações durante treinos, reconhecendo que não demonstraram rigorosamente que todos os neurónios muito polissemânticos se formem assim.

## O que mostram até agora os indícios dos modelos de linguagem

Cammarata relata auditorias preliminares do Qwen3-32B em que cerca de 90% dos polos dos neurónios tinham uma função principal, muitas vezes com ramificações relacionadas; cerca de 7% tinham duas funções relacionadas; e aproximadamente 2–4% continuavam por explicar. Um polo é o lado positivo ou negativo da resposta de um neurónio, pelo que estes números não devem ser lidos como um recenseamento concluído de neurónios inteiros. O ensaio diz que as estimativas mudam com os limiares das ativações fracas, a profundidade dos circuitos e a decisão sobre o que conta como uma função. Cammarata apresenta também exemplos interativos de neurónios e circuitos, incluindo intervenções que alteram a resposta de um modelo. Ilustram a sua abordagem de investigação, mas o ensaio não é uma medição da interpretabilidade entre modelos de linguagem revista por pares e replicada de forma independente.

A distinção entre um rasto útil e uma explicação completa é importante. [Neel Nanda, investigador de interpretabilidade da Google DeepMind, escreveu numa resposta pública](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) que os grafos de atribuição baseados em neurónios poderiam ajudar a responder a perguntas práticas sobre as razões do comportamento de um modelo. Também espera que esses grafos deixem escapar uma parte substancial dos cálculos, como pode acontecer com outras abordagens de rastreio. Não considera o ensaio um avanço substancial rumo à engenharia inversa completa dos modelos ou à resolução da interpretabilidade.

A objeção técnica de Nanda é mais específica do que uma rejeição dos neurónios como ferramenta de investigação. Defende que a superposição continua a ser plausível, sobretudo para informação representada ao longo do fluxo residual e cálculos que envolvem muitos neurónios. Suspeita que as ativações fracas dos neurónios nos modelos de linguagem possam transportar informação significativa que o ensaio não teve devidamente em conta. Numa secção separada, Cammarata argumenta que as ativações fracas podem muitas vezes ser removidas com um custo limitado e que alguns dos seus efeitos refletem distinções subtis. O seu exemplo numérico de ablação nessa secção vem de um modelo de visão. O desacordo sobre até que ponto esses indícios se transferem para modelos de linguagem continua em aberto.

Para investigadores e profissionais de segurança, a proposta imediata é metodológica: estudar os neurónios da rede original juntamente com as suas entradas, saídas e intervenções pode revelar mais do que apenas um rótulo de neurónio ou uma galeria de ativações. O artigo complementar prometido é uma oportunidade para examinar os métodos dos modelos de linguagem e testar os limites dessa proposta. Nem o ensaio nem a resposta de Nanda demonstram que estas explicações tornem os sistemas de IA mais seguros.

## Fontes e leituras adicionais

- [Nick Cammarata, «Neural Networks Are Already Clean»](https://already-clean.goodfire.com/) (Goodfire, 15 de outubro de 2026). O ensaio de investigação informal e a hipótese de trabalho do autor apresentam as reanálises de circuitos, a explicação da generalização recursiva e as estimativas preliminares do Qwen3-32B. As suas próprias notas descrevem a sensibilidade aos limiares e um futuro artigo técnico complementar.
- [Resposta de Neel Nanda ao ensaio](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) (Discussão no LessWrong, consultada em 19 de outubro de 2026). Nanda vê valor prático na investigação baseada em neurónios, mas contesta alegações de grandes avanços rumo à interpretabilidade completa e defende que a superposição e as ativações fracas continuam a ser importantes.

## Sources

- [Nick Cammarata, Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Ensaio de investigação informal e hipótese de trabalho de um investigador da Goodfire. Apresenta reinterpretações de circuitos específicos, a generalização recursiva proposta e estimativas preliminares dos polos do Qwen3-32B; as definições e os limiares afetam as estimativas. A fonte anuncia um artigo técnico complementar mais completo.
- [Resposta de Neel Nanda a Neural Networks Are Already Clean](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Comentário público do investigador da Google DeepMind Neel Nanda. Vê possível valor prático na atribuição baseada em neurónios, mas contesta afirmações mais amplas sobre interpretabilidade e defende que a superposição e as ativações fracas continuam a ser relevantes. A sua resposta é uma crítica especializada, não uma replicação.