AI-translated from English; not yet reviewed by a fluent editor.

# May pagtutol tungkol sa superposition sa tesis ng Goodfire sa interpretability ng neuron

> Ikinakatuwiran ni Nick Cammarata na maaaring pag-aralan nang direkta ang maraming neuron na tila may halong tungkulin. Nagbibigay ng paunang ebidensiya ang kaniyang sanaysay sa Goodfire, ngunit tinututulan ni Neel Nanda ang mas malawak na konklusyon tungkol sa superposition.

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

Ikinakatuwiran ng mananaliksik ng Goodfire na si Nick Cammarata na masyadong mabilis itinuring ng mga mananaliksik ang neuron na tila may ilang kahulugan bilang ebidensiya ng isang neural network na hindi maunawaan. Sa isang [sanaysay noong Oktubre 15](https://already-clean.goodfire.com/), binabalikan niya ang mga halimbawa mula sa naunang pananaliksik sa interpretability, kabilang ang sarili niyang mga pananaliksik, at nagmumungkahi ng ibang paliwanag para sa marami sa mga ito. Tinatawag niya ang sanaysay na isang di-pormal na paglalahad ng isang hipotesis na ginagamit sa pananaliksik. Ilalathala pa ang mas kumpletong teknikal na papel tungkol sa mga eksperimento sa mga modelo ng wika.

## Ang malaking pagbabago

- **Ano ang nagbago:** Nag-aalok si Cammarata ng paraan upang pag-aralan ang ilang pag-uugali ng modelo gamit ang mismong mga neuron at circuit ng network. Hinahamon ng kaniyang muling pagbasa sa mga naunang halimbawa at paunang pagsusuri ng modelo ng wika ang isang paliwanag kung bakit tila naghahalo ng mga kahulugan ang mga neuron; hindi nito pinatutunayang nauunawaan na ang buong network.
- **Bakit ito mahalaga:** Maaaring gumamit ang mga mananaliksik na sumusuri sa sagot ng modelo ng mga bakas sa antas ng neuron nang hindi muna nagsasanay ng hiwalay na modelo para kumuha ng mga katangian. Magiging mas praktikal ang direktang pagsisiyasat kung maaasahan ang mga bakas, ngunit maaaring hindi pa rin maisama sa isang nababasang bakas ang mahahalagang pagkalkula.
- **Ano ang dapat bantayan:** Kailangang ipakita ng ipinangakong teknikal na papel kung paano isinagawa ang pagsusuri ng modelo ng wika at gaano katibay ang mga paliwanag nito, lalo na sa mahihinang activation. Tutulong ang ebidensiyang iyon upang matukoy kung saan kapaki-pakinabang ang pag-aaral sa mga orihinal na neuron at kung saan kailangan pa rin ang ibang mga paraan.

## Bakit maaaring tila maraming kahulugan ang isang neuron

Sinisikap ng mechanistic interpretability na ipaliwanag ang pag-uugali ng modelo sa pamamagitan ng pag-aaral sa mga pagkalkula sa loob nito. Ang neuron na tumutugon sa mga input na tila walang kaugnayan sa isa't isa ay tinatawag na *polysemantic*. Isang maimpluwensiyang paliwanag, ang *superposition*, ang nagsasabing nagsisiksik ang network ng mas maraming katangian sa magagamit nitong mga dimensiyon kaysa sa papayagan ng larawang isang katangian bawat neuron. Sa paliwanag na iyon, maaaring makilahok ang isang neuron sa ilang katangiang walang kaugnayan sa isa't isa, at maaaring kailangan munang paghiwalayin ang mga iyon bago maunawaan ng mga mananaliksik ang circuit.

Hinahamon ni Cammarata ang mas makitid na bersiyon ng paliwanag na iyon: ang ideyang karaniwang pinagsasama sa parehong mga neuron ang tila hindi magkakaugnay na gawain dahil hindi sila nagkakagambala. Hindi nilulutas ng kaniyang sanaysay ang lahat ng paggamit sa «superposition», kabilang ang paraan ng representasyon ng impormasyon sa residual stream ng modelo.

Ang pinakamalinaw niyang halimbawa ay mula sa InceptionV1, isang tagapag-uri ng larawan na pinag-aralan sa unang mga pananaliksik sa interpretability. Ang neuron na tila tumutugon sa mga mukha ng pusa at harapan ng kotse ay naging kilalang halimbawa ng polysemanticity. Sinasabi ngayon ni Cammarata na ang pinagsasaluhang signal ay isang matulis na hugis-V na pattern. Itinuturo niya ang mga input nito, mga kasunod na koneksiyon, at tugon sa matutulis kumpara sa bilog na hugis. Sa isa pang naunang circuit na tila nagtatago ng katangian ng kotse sa mga neuron para sa aso, ikinakatuwiran niyang ang ilan sa tila mga katangian ng aso ay dulot ng magkatulad na posisyon ng katawan at mapanlinlang na paglalarawan ng mga katangian. Muling pagsusuri ito ni Cammarata sa mga partikular na circuit, kabilang ang pananaliksik na dati niyang tinulungang ilathala, hindi pangkalahatang patunay na hindi kailanman nagsasalo ng neuron ang mga katangiang walang kaugnayan.

Tinatawag niya ang mas malawak na alternatibo na *rekursibong paglalahat*. Habang natututo ang neuron, maaaring magsanga ang gawain nito sa kalapit na mga kahulugan at saka muling magsanga. Ang isang halimbawa ng modelo ng wika sa sanaysay ay nagsisimula sa pagkakasunod ng mga letrang «iy», lumalawak sa «diy», at saka sa «do it yourself». Wala na sa huling parirala ang orihinal na pagkakasunod ng mga letra, ngunit binibigyan ng mungkahing landas ng pagkatuto ang tila halo ng isang kasaysayang maaaring siyasatin. Ayon sa sanaysay, nakita ng mga may-akda ang ganitong pagsasanga sa mga takbo ng pagsasanay, habang inaaming hindi pa nila mahigpit na naipakikitang ganito nabubuo ang bawat neuron na lubhang polysemantic.

## Ano ang ipinakikita ng ebidensiya sa mga modelo ng wika sa ngayon

Nag-uulat si Cammarata ng mga paunang pagsusuri sa Qwen3-32B kung saan humigit-kumulang 90% ng mga pole ng neuron ay may isang pangunahing gawain, madalas na may kaugnay na mga sanga; mga 7% ang may dalawang magkaugnay na gawain; at humigit-kumulang 2–4% ang nanatiling hindi maipaliwanag. Ang pole ay ang positibo o negatibong bahagi ng tugon ng neuron, kaya hindi dapat ituring ang mga bilang bilang tapos na sensus ng mga buong neuron. Sinasabi ng sanaysay na nagbabago ang mga tantiya ayon sa mga threshold ng mahinang activation, lalim ng circuit, at pasiya kung ano ang maituturing na isang gawain. Nagpapakita rin si Cammarata ng mga interaktibong halimbawa ng neuron at circuit, kabilang ang mga interbensiyong nagbabago ng sagot ng modelo. Inilalarawan ng mga ito ang kaniyang paraan ng pagsisiyasat, ngunit ang sanaysay ay hindi isang pagsukat ng interpretability sa iba't ibang modelo ng wika na sinuri ng mga kapwa eksperto at inulit nang independiyente.

Mahalaga ang pagkakaiba ng isang kapaki-pakinabang na bakas at kumpletong paliwanag. [Isinulat ni Neel Nanda, mananaliksik sa interpretability sa Google DeepMind, sa isang pampublikong tugon](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) na maaaring makatulong ang mga attribution graph na nakabatay sa neuron sa pagsagot ng mga praktikal na tanong kung bakit kumilos nang ganoon ang modelo. Inaasahan din niyang makakaligtaan ng mga graph na ito ang malaking bahagi ng pagkalkula, gaya ng maaaring mangyari sa ibang paraan ng pagsubaybay. Hindi niya itinuturing ang sanaysay na malaking pagsulong tungo sa kumpletong reverse engineering ng mga modelo o sa paglutas sa interpretability.

Mas tiyak ang teknikal na pagtutol ni Nanda kaysa sa pagtanggi sa neuron bilang kasangkapan sa pananaliksik. Ikinakatuwiran niyang nananatiling kapani-paniwalang paliwanag ang superposition, lalo na para sa impormasyong kinakatawan sa residual stream at mga pagkalkulang kinasasangkutan ng maraming neuron. Pinaghihinalaan niyang maaaring may mahalagang impormasyong dala ang mahihinang activation ng neuron sa mga modelo ng wika na hindi sapat na naisaalang-alang ng sanaysay. Sa hiwalay na seksiyon, sinasabi ni Cammarata na madalas maalis ang mahihinang activation nang may limitadong kapalit at ang ilan sa mga epekto nito ay nagpapakita ng maliliit na pagkakaiba. Ang numerikal niyang halimbawa ng ablation doon ay mula sa isang modelo ng paningin. Bukas pa ang hindi pagkakasundo kung hanggang saan maililipat ang ebidensiyang iyon sa mga modelo ng wika.

Para sa mga mananaliksik at propesyonal sa kaligtasan, tungkol sa pamamaraan ang agarang mungkahi: ang pag-aaral sa mga neuron ng orihinal na network kasama ang mga input, output at interbensiyon nito ay maaaring maghayag ng higit pa kaysa sa pagtingin lamang sa label ng neuron o sa galerya ng activation. Pagkakataon ang ipinangakong kasamang papel upang siyasatin ang mga paraan para sa mga modelo ng wika at subukin ang hangganan ng mungkahing iyon. Hindi pinatutunayan ng sanaysay o ng tugon ni Nanda na ginagawang mas ligtas ng mga paliwanag na ito ang mga sistemang AI.

## Mga sanggunian at karagdagang babasahin

- [Nick Cammarata, «Neural Networks Are Already Clean»](https://already-clean.goodfire.com/) (Goodfire, Oktubre 15, 2026). Nagbibigay ang di-pormal na sanaysay sa pananaliksik at hipotesis na ginagamit ng may-akda ng muling pagsusuri sa mga circuit, paliwanag ng rekursibong paglalahat at paunang mga tantiya sa Qwen3-32B. Inilalarawan ng sarili nitong mga tala ang pagiging sensitibo sa mga threshold at isang teknikal na kasamang papel na ilalathala pa.
- [Tugon ni Neel Nanda sa sanaysay](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) (Talakayan sa LessWrong, binasa noong Oktubre 19, 2026). Nakikita ni Nanda ang praktikal na halaga ng pagsisiyasat na nakabatay sa neuron habang tinututulan ang mga pahayag ng malaking pagsulong tungo sa kumpletong interpretability at iginigiit na nananatiling mahalaga ang superposition at mahihinang activation.

## Sources

- [Nick Cammarata, Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Di-pormal na sanaysay sa pananaliksik at hipotesis na ginagamit ng isang mananaliksik ng Goodfire. Nagbibigay ng bagong pagbasa sa partikular na mga circuit, mungkahing rekursibong paglalahat at paunang tantiya ng mga pole ng Qwen3-32B; nakaaapekto ang mga depinisyon at threshold sa mga tantiya. Sinasabi ng sanggunian na ilalathala pa ang mas kumpletong teknikal na kasamang papel.
- [Tugon ni Neel Nanda sa Neural Networks Are Already Clean](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Pampublikong komento ng mananaliksik ng Google DeepMind na si Neel Nanda. Nakikita niya ang posibleng praktikal na halaga ng attribution na nakabatay sa neuron, ngunit tinututulan ang mas malalaking pahayag tungkol sa interpretability at sinasabing mahalaga pa rin ang superposition at mahihinang activation. Puna ito ng eksperto, hindi isang pag-uulit ng pag-aaral.