Edición en Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# La tesis de Goodfire sobre la interpretabilidad neuronal afronta una objeción sobre la superposición

> Nick Cammarata sostiene que muchas neuronas que parecen combinar funciones pueden estudiarse directamente. Su ensayo de Goodfire aporta pruebas preliminares, mientras Neel Nanda cuestiona la conclusión más amplia sobre la superposición.

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

El investigador de Goodfire Nick Cammarata sostiene que se ha interpretado con demasiada rapidez que una neurona con varios significados aparentes es prueba de una red neuronal inescrutable. En un [ensayo del 15 de octubre](https://already-clean.goodfire.com/), revisa ejemplos de trabajos anteriores de interpretabilidad, incluidos los suyos, y propone una explicación distinta para muchos de ellos. Describe el ensayo como una exposición informal de una hipótesis de trabajo. Todavía está pendiente un artículo técnico más completo sobre los experimentos con modelos de lenguaje.

## El gran cambio

- **Qué ha cambiado:** Cammarata propone una forma de estudiar parte del comportamiento de los modelos mediante las propias neuronas y circuitos de la red. Su reinterpretación de ejemplos anteriores y su auditoría preliminar de un modelo de lenguaje cuestionan una explicación de por qué las neuronas parecen mezclar significados; no demuestran que se entienda toda la red.
- **Por qué importa:** Los investigadores que analizan una respuesta de un modelo podrían utilizar trazas a nivel de neurona sin entrenar primero un modelo aparte para extraer características. Esto haría más práctica la investigación directa allí donde las trazas sean fiables, pero una traza legible puede seguir omitiendo cálculos importantes.
- **En qué fijarse:** El artículo técnico prometido deberá mostrar cómo se realizó la auditoría del modelo de lenguaje y cómo se sostienen sus explicaciones, especialmente para las activaciones débiles. Esas pruebas ayudarán a determinar dónde resulta útil estudiar las neuronas nativas y dónde siguen siendo necesarios otros métodos.

## Por qué una neurona puede parecer tener varios significados

La interpretabilidad mecanicista intenta explicar el comportamiento de un modelo examinando sus cálculos internos. Una neurona que responde a entradas aparentemente no relacionadas se denomina *polisemántica*. Una explicación influyente, la *superposición*, plantea que una red concentra en sus dimensiones disponibles más características de las que permitiría una correspondencia de una característica por neurona. Según esta explicación, una sola neurona puede participar en varias características no relacionadas, y los investigadores pueden necesitar separarlas antes de comprender el circuito.

Cammarata cuestiona una versión más limitada de esa explicación: la idea de que es habitual concentrar funciones aparentemente no relacionadas en las mismas neuronas porque no interfieren entre sí. Su ensayo no resuelve todos los usos de «superposición», incluido cómo puede representarse la información a través del flujo residual del modelo.

Su ejemplo más claro procede de InceptionV1, un clasificador de imágenes estudiado en los primeros trabajos de interpretabilidad. Una neurona que parecía responder a caras de gatos y frontales de coches se convirtió en un ejemplo conocido de polisemia neuronal. Cammarata sostiene ahora que la señal compartida es un patrón puntiagudo con forma de V. Señala sus entradas, conexiones posteriores y respuesta a formas puntiagudas frente a redondeadas. En otro circuito temprano que parecía ocultar una característica de coche entre neuronas de perros, sostiene que algunas de las aparentes características de perros reflejan una postura compartida y visualizaciones de características engañosas. Son sus nuevos análisis de circuitos concretos, incluido trabajo que ayudó a publicar, no una prueba general de que las características no relacionadas nunca compartan neuronas.

Denomina a la alternativa más amplia *generalización recursiva*. A medida que aprende una neurona, su función puede ramificarse hacia significados cercanos y después volver a ramificarse. Un ejemplo de modelo de lenguaje del ensayo empieza con la secuencia de letras «iy», se amplía a «diy» y después a «do it yourself». La frase final ya no contiene la secuencia original de letras, pero la trayectoria de aprendizaje propuesta da a la mezcla aparente una historia que puede investigarse. El ensayo dice que los autores han observado estas ramificaciones durante entrenamientos, aunque reconoce que no han demostrado rigurosamente que toda neurona muy polisemántica se forme así.

## Qué muestran hasta ahora las pruebas de modelos de lenguaje

Cammarata presenta auditorías preliminares de Qwen3-32B en las que aproximadamente el 90% de los polos neuronales tenía una función principal, a menudo con derivaciones relacionadas; alrededor del 7% tenía dos funciones relacionadas, y aproximadamente entre el 2% y el 4% seguía sin explicación. Un polo es el lado positivo o negativo de la respuesta de una neurona, por lo que estas cifras no deben leerse como un censo completo de neuronas enteras. El ensayo afirma que las estimaciones cambian según los umbrales de activación débil, la profundidad de los circuitos y el criterio para decidir qué cuenta como una función. Cammarata también presenta ejemplos interactivos de neuronas y circuitos, incluidas intervenciones que cambian la respuesta de un modelo. Ilustran su enfoque de investigación, pero el ensayo no es una medición de la interpretabilidad de los modelos de lenguaje revisada por pares y replicada de forma independiente.

La diferencia entre una traza útil y una explicación completa importa. [Neel Nanda, investigador de interpretabilidad en Google DeepMind, escribió en una respuesta pública](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) que los grafos de atribución basados en neuronas podrían ayudar a responder preguntas prácticas sobre por qué un modelo se comportó de cierta manera. También espera que esos grafos omitan una parte considerable de los cálculos, como puede ocurrir con otros enfoques de trazado. No considera que el ensayo suponga un avance sustancial hacia la ingeniería inversa completa de los modelos ni hacia la resolución de la interpretabilidad.

La objeción técnica de Nanda es más específica que rechazar las neuronas como herramienta de investigación. Sostiene que la superposición sigue siendo plausible, especialmente para la información representada en el flujo residual y los cálculos que implican muchas neuronas. Sospecha que las activaciones neuronales débiles en los modelos de lenguaje pueden contener información significativa que el ensayo no ha tenido debidamente en cuenta. Cammarata argumenta en una sección aparte que a menudo pueden eliminarse las activaciones débiles con un coste limitado y que algunos de sus efectos reflejan distinciones sutiles. Su ejemplo numérico de ablación en esa sección procede de un modelo de visión. Sigue abierto el desacuerdo sobre hasta qué punto esas pruebas se trasladan a los modelos de lenguaje.

Para investigadores y profesionales de seguridad, la propuesta inmediata es metodológica: estudiar las neuronas de la red original junto con sus entradas, salidas e intervenciones puede revelar más que una etiqueta neuronal o una galería de activaciones por sí solas. El artículo complementario prometido será una oportunidad para examinar los métodos de modelos de lenguaje y poner a prueba los límites de esa propuesta. Ni el ensayo ni la respuesta de Nanda demuestran que estas explicaciones hagan más seguros los sistemas de IA.

## Fuentes y lecturas adicionales

- [Nick Cammarata, «Neural Networks Are Already Clean»](https://already-clean.goodfire.com/) (Goodfire, 15 de octubre de 2026). El ensayo informal de investigación y la hipótesis de trabajo del autor aportan los nuevos análisis de circuitos, la explicación de la generalización recursiva y las estimaciones preliminares de Qwen3-32B. Sus propias notas describen la sensibilidad a los umbrales y un futuro artículo técnico complementario.
- [Respuesta de Neel Nanda al ensayo](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) (Debate en LessWrong, consultado el 19 de octubre de 2026). Nanda ve valor práctico en la investigación basada en neuronas, pero cuestiona las afirmaciones de grandes avances hacia la interpretabilidad completa y sostiene que la superposición y las activaciones débiles siguen siendo importantes.

## Sources

- [Nick Cammarata, Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Ensayo informal de investigación e hipótesis de trabajo de un investigador de Goodfire. Aporta reinterpretaciones de circuitos concretos, la generalización recursiva propuesta y estimaciones preliminares de polos de Qwen3-32B; las definiciones y los umbrales afectan a las estimaciones. La fuente anuncia un artículo técnico complementario más completo.
- [Respuesta de Neel Nanda a Neural Networks Are Already Clean](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Comentario público del investigador de Google DeepMind Neel Nanda. Ve un posible valor práctico en la atribución basada en neuronas, pero cuestiona las afirmaciones más amplias sobre interpretabilidad y sostiene que la superposición y las activaciones débiles siguen siendo relevantes. Su respuesta es una crítica experta, no una replicación.