Edição em Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# A tese da Goodfire sobre a interpretabilidade dos neurônios enfrenta uma objeção sobre superposição

> Nick Cammarata argumenta que muitos neurônios com funções aparentemente misturadas podem ser estudados diretamente. Seu ensaio na Goodfire oferece evidências preliminares, enquanto Neel Nanda contesta a conclusão mais ampla sobre superposição.

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

O pesquisador da Goodfire Nick Cammarata argumenta que os pesquisadores se apressaram em tratar um neurônio com vários significados aparentes como evidência de uma rede neural indecifrável. Em um [ensaio de 15 de outubro](https://already-clean.goodfire.com/), ele revisita exemplos de trabalhos anteriores sobre interpretabilidade, incluindo os seus, e propõe outra explicação para muitos deles. Ele descreve o ensaio como um relato informal de uma hipótese de trabalho. Um artigo técnico mais completo sobre os experimentos com modelos de linguagem ainda será publicado.

## A grande mudança

- **O que mudou:** Cammarata propõe uma forma de estudar parte do comportamento de um modelo por meio dos próprios neurônios e circuitos da rede. Sua reinterpretação de exemplos anteriores e a auditoria preliminar de um modelo de linguagem questionam uma explicação para a aparente mistura de significados nos neurônios; elas não demonstram que toda a rede foi compreendida.
- **Por que importa:** Pesquisadores que investigam a resposta de um modelo poderiam usar rastros no nível dos neurônios sem primeiro treinar um modelo separado para extrair características. Isso tornaria a investigação direta mais prática onde esses rastros fossem confiáveis, mas um rastro legível ainda pode omitir cálculos importantes.
- **O que acompanhar:** O artigo técnico prometido precisa mostrar como a auditoria do modelo de linguagem foi feita e até que ponto suas explicações se sustentam, especialmente para ativações fracas. Essas evidências ajudarão a determinar onde estudar neurônios nativos é útil e onde outros métodos continuam necessários.

## Por que um neurônio pode parecer ter vários significados

A interpretabilidade mecanicista tenta explicar o comportamento de um modelo examinando os cálculos dentro dele. Um neurônio que responde a entradas aparentemente sem relação é chamado de *polissemântico*. Uma explicação influente, a *superposição*, propõe que uma rede concentra em suas dimensões disponíveis mais características do que permitiria uma representação com uma característica por neurônio. Nessa explicação, um único neurônio pode participar de várias características sem relação, e os pesquisadores talvez precisem separá-las antes de compreender o circuito.

Cammarata contesta uma versão mais restrita dessa explicação: a ideia de que funções aparentemente sem relação são frequentemente concentradas nos mesmos neurônios porque não interferem umas nas outras. Seu ensaio não resolve todos os usos de “superposição”, incluindo como a informação pode ser representada ao longo do fluxo residual do modelo.

Seu exemplo mais claro vem do InceptionV1, um classificador de imagens estudado nas primeiras pesquisas sobre interpretabilidade. Um neurônio que parecia responder a rostos de gatos e frentes de carros tornou-se um exemplo conhecido de polissemia neuronal. Cammarata agora argumenta que o sinal compartilhado é um padrão pontudo em forma de V. Ele aponta para suas entradas, conexões posteriores e resposta a formas pontudas em comparação com formas arredondadas. Em outro circuito inicial que parecia esconder uma característica de carro entre neurônios associados a cães, ele argumenta que algumas das aparentes características de cães refletem uma postura compartilhada e visualizações enganosas das características. Essas são reanálises de Cammarata de circuitos específicos, incluindo trabalhos que ele havia ajudado a publicar, e não uma prova geral de que características sem relação nunca compartilham neurônios.

Ele chama a alternativa mais ampla de *generalização recursiva*. À medida que um neurônio aprende, sua função pode se ramificar em significados próximos e depois se ramificar novamente. Um exemplo de modelo de linguagem no ensaio começa com a sequência de letras “iy”, se estende a “diy” e depois a “do it yourself”. A expressão final já não contém a sequência original de letras, mas o caminho de aprendizado proposto dá à mistura aparente uma história que um pesquisador pode investigar. O ensaio diz que os autores observaram essas ramificações durante treinamentos, ao mesmo tempo que reconhece que não demonstraram rigorosamente que todo neurônio muito polissemântico se forma dessa maneira.

## O que as evidências sobre modelos de linguagem mostram até agora

Cammarata relata auditorias preliminares do Qwen3-32B nas quais cerca de 90% dos polos dos neurônios tinham uma função principal, muitas vezes com ramificações relacionadas; cerca de 7% tinham duas funções relacionadas; e aproximadamente 2–4% continuavam sem explicação. Um polo é o lado positivo ou negativo da resposta de um neurônio, portanto esses números não devem ser lidos como um censo concluído de neurônios inteiros. O ensaio diz que as estimativas mudam com os limiares das ativações fracas, a profundidade dos circuitos e a avaliação do que conta como uma função. Cammarata também apresenta exemplos interativos de neurônios e circuitos, incluindo intervenções que mudam a resposta de um modelo. Eles ilustram sua abordagem de investigação, mas o ensaio não é uma medição da interpretabilidade entre modelos de linguagem revisada por pares e replicada de forma independente.

A distinção entre um rastro útil e uma explicação completa importa. [Neel Nanda, pesquisador de interpretabilidade do Google DeepMind, escreveu em uma resposta pública](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) que grafos de atribuição baseados em neurônios poderiam ajudar a responder a perguntas práticas sobre por que um modelo se comportou de determinada maneira. Ele também espera que esses grafos deixem de captar uma parte substancial dos cálculos, como pode acontecer com outras abordagens de rastreamento. Ele não considera o ensaio um avanço substancial rumo à engenharia reversa completa dos modelos ou à solução da interpretabilidade.

A objeção técnica de Nanda é mais específica do que uma rejeição dos neurônios como ferramenta de pesquisa. Ele argumenta que a superposição continua sendo plausível, especialmente para informações representadas ao longo do fluxo residual e cálculos que envolvem muitos neurônios. Ele suspeita que ativações fracas de neurônios em modelos de linguagem possam carregar informações significativas que o ensaio não levou adequadamente em conta. Em uma seção separada, Cammarata argumenta que ativações fracas muitas vezes podem ser removidas com um custo limitado e que alguns de seus efeitos refletem distinções sutis. Seu exemplo numérico de ablação nessa seção vem de um modelo de visão. A discordância sobre até que ponto essas evidências se transferem para modelos de linguagem permanece em aberto.

Para pesquisadores e profissionais de segurança, a proposta imediata é metodológica: estudar os neurônios da rede original junto com suas entradas, saídas e intervenções pode revelar mais do que apenas um rótulo de neurônio ou uma galeria de ativações. O artigo complementar prometido é uma oportunidade para examinar os métodos dos modelos de linguagem e testar os limites dessa proposta. Nem o ensaio nem a resposta de Nanda demonstram que essas explicações tornam os sistemas de IA mais seguros.

## Fontes e leituras adicionais

- [Nick Cammarata, “Neural Networks Are Already Clean”](https://already-clean.goodfire.com/) (Goodfire, 15 de outubro de 2026). O ensaio de pesquisa informal e a hipótese de trabalho do autor fornecem as reanálises de circuitos, a explicação da generalização recursiva e as estimativas preliminares do Qwen3-32B. Suas próprias notas descrevem a sensibilidade aos limiares e um futuro artigo técnico complementar.
- [Resposta de Neel Nanda ao ensaio](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) (Discussão no LessWrong, acessada em 19 de outubro de 2026). Nanda vê valor prático na investigação baseada em neurônios, mas contesta alegações de grande avanço rumo à interpretabilidade completa e argumenta que a superposição e as ativações fracas continuam importantes.

## Sources

- [Nick Cammarata, Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Ensaio de pesquisa informal e hipótese de trabalho de um pesquisador da Goodfire. Fornece reinterpretações de circuitos específicos, a generalização recursiva proposta e estimativas preliminares dos polos do Qwen3-32B; as definições e os limiares afetam as estimativas. A fonte anuncia um artigo técnico complementar mais completo.
- [Resposta de Neel Nanda a Neural Networks Are Already Clean](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Comentário público do pesquisador do Google DeepMind Neel Nanda. Ele vê possível valor prático na atribuição baseada em neurônios, mas contesta afirmações mais amplas sobre interpretabilidade e argumenta que a superposição e as ativações fracas continuam relevantes. Sua resposta é uma crítica especializada, não uma replicação.