Edisi Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# Tesis interpretabilitas neuron Goodfire mendapat sanggahan tentang superposisi

> Nick Cammarata berpendapat bahwa banyak neuron yang tampak memiliki fungsi campuran dapat dipelajari langsung. Esai Goodfire-nya menawarkan bukti awal, sementara Neel Nanda memperdebatkan kesimpulan yang lebih luas tentang superposisi.

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

Peneliti Goodfire Nick Cammarata berpendapat bahwa para peneliti terlalu cepat menganggap neuron yang tampak memiliki beberapa makna sebagai bukti bahwa jaringan saraf tidak dapat dipahami. Dalam [esai 15 Oktober](https://already-clean.goodfire.com/), ia meninjau kembali contoh-contoh dari penelitian interpretabilitas terdahulu, termasuk karyanya sendiri, dan mengusulkan penjelasan berbeda untuk banyak contoh tersebut. Ia menyebut esai itu sebagai uraian informal tentang hipotesis kerja. Makalah teknis yang lebih lengkap mengenai eksperimen model bahasanya masih akan diterbitkan.

## Perubahan besar

- **Apa yang berubah:** Cammarata menawarkan cara mempelajari sebagian perilaku model melalui neuron dan sirkuit milik jaringan itu sendiri. Penafsiran ulang contoh terdahulu serta audit awal model bahasanya menantang salah satu penjelasan mengapa neuron tampak mencampurkan makna; keduanya tidak membuktikan bahwa seluruh jaringan sudah dipahami.
- **Mengapa ini penting:** Peneliti yang menyelidiki jawaban model dapat menggunakan jejak pada tingkat neuron tanpa harus melatih model terpisah terlebih dahulu untuk mengekstraksi fitur. Hal itu akan membuat penyelidikan langsung lebih praktis jika jejaknya andal, tetapi jejak yang dapat dibaca tetap bisa melewatkan komputasi penting.
- **Yang perlu diperhatikan:** Makalah teknis yang dijanjikan perlu menunjukkan bagaimana audit model bahasa dilakukan dan seberapa kuat penjelasannya, terutama untuk aktivasi lemah. Bukti itu akan membantu menentukan kapan mempelajari neuron asli jaringan bermanfaat dan kapan metode lain tetap diperlukan.

## Mengapa satu neuron bisa tampak memiliki beberapa makna

Interpretabilitas mekanistik berupaya menjelaskan perilaku model dengan memeriksa komputasi di dalamnya. Neuron yang merespons masukan yang tampaknya tidak berkaitan disebut *polisemantik*. Salah satu penjelasan yang berpengaruh, *superposisi*, menyatakan bahwa jaringan memadatkan lebih banyak fitur ke dalam dimensi yang tersedia daripada yang dimungkinkan oleh gambaran satu fitur per neuron. Dalam penjelasan ini, satu neuron dapat berperan dalam beberapa fitur yang tidak berkaitan, dan peneliti mungkin perlu memisahkan fitur-fitur tersebut sebelum memahami sirkuitnya.

Cammarata menantang versi yang lebih sempit dari penjelasan itu: gagasan bahwa tugas-tugas yang tampak tidak berkaitan lazim dipadatkan ke neuron yang sama karena tidak saling mengganggu. Esainya tidak menyelesaikan setiap penggunaan istilah «superposisi», termasuk bagaimana informasi dapat direpresentasikan di sepanjang aliran residual model.

Contoh paling jelas berasal dari InceptionV1, pengklasifikasi gambar yang dipelajari dalam riset interpretabilitas awal. Neuron yang tampaknya merespons wajah kucing dan bagian depan mobil menjadi contoh polisemantisitas yang dikenal luas. Kini Cammarata berpendapat bahwa sinyal bersama itu adalah pola runcing berbentuk V. Ia menunjuk masukan, koneksi berikutnya, serta respons terhadap bentuk runcing dibandingkan bentuk bulat. Dalam sirkuit awal lain yang seolah menyembunyikan fitur mobil di antara neuron anjing, ia berpendapat bahwa sebagian fitur yang tampak terkait anjing mencerminkan pose yang serupa dan visualisasi fitur yang menyesatkan. Ini merupakan analisis ulang Cammarata atas sirkuit tertentu, termasuk penelitian yang sebelumnya ia bantu terbitkan, bukan bukti umum bahwa fitur yang tidak berkaitan tidak pernah berbagi neuron.

Ia menyebut alternatif yang lebih luas itu *generalisasi rekursif*. Saat neuron belajar, tugasnya dapat bercabang ke makna yang berdekatan, lalu bercabang lagi. Salah satu contoh model bahasa dalam esai dimulai dari urutan huruf «iy», meluas ke «diy», lalu ke «do it yourself». Frasa terakhir tidak lagi memuat urutan huruf awal tersebut, tetapi jalur pembelajaran yang diusulkan memberi campuran yang tampak itu riwayat yang dapat diselidiki peneliti. Esai menyatakan bahwa para penulis telah menyaksikan percabangan seperti itu dalam proses pelatihan, sambil mengakui bahwa mereka belum membuktikan secara ketat bahwa semua neuron yang sangat polisemantik terbentuk dengan cara ini.

## Apa yang ditunjukkan bukti model bahasa sejauh ini

Cammarata melaporkan audit awal Qwen3-32B yang menemukan bahwa sekitar 90% kutub neuron memiliki satu tugas utama, sering disertai cabang yang berkaitan; sekitar 7% memiliki dua tugas yang berkaitan; dan sekitar 2–4% belum dapat dijelaskan. Kutub adalah sisi positif atau negatif respons neuron, sehingga angka-angka tersebut tidak boleh dibaca sebagai sensus lengkap neuron secara utuh. Esai menyebut estimasi itu berubah mengikuti ambang aktivasi lemah, kedalaman sirkuit, dan penilaian tentang apa yang dihitung sebagai satu tugas. Cammarata juga menyajikan contoh neuron dan sirkuit interaktif, termasuk intervensi yang mengubah jawaban model. Contoh tersebut menggambarkan pendekatan penyelidikannya, tetapi esai itu bukan pengukuran interpretabilitas lintas model bahasa yang telah melalui penelaahan sejawat dan direplikasi secara independen.

Perbedaan antara jejak yang berguna dan penjelasan lengkap itu penting. [Neel Nanda, peneliti interpretabilitas Google DeepMind, menulis dalam tanggapan publik](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) bahwa graf atribusi berbasis neuron dapat membantu menjawab pertanyaan praktis tentang mengapa model berperilaku dengan cara tertentu. Ia juga memperkirakan graf semacam itu akan melewatkan komputasi yang substansial, sebagaimana bisa terjadi pada pendekatan penelusuran lain. Ia tidak menganggap esai tersebut sebagai kemajuan besar menuju rekayasa balik model secara menyeluruh atau pemecahan masalah interpretabilitas.

Sanggahan teknis Nanda lebih spesifik daripada penolakan terhadap neuron sebagai alat riset. Ia berpendapat superposisi tetap masuk akal, terutama untuk informasi yang direpresentasikan di sepanjang aliran residual dan komputasi yang melibatkan banyak neuron. Ia menduga aktivasi neuron yang lemah dalam model bahasa dapat membawa informasi bermakna yang belum diperhitungkan secara memadai oleh esai itu. Di bagian terpisah, Cammarata berpendapat bahwa aktivasi lemah sering dapat dihilangkan dengan dampak terbatas dan sebagian efeknya mencerminkan perbedaan yang halus. Contoh ablasi numeriknya di bagian tersebut berasal dari model penglihatan. Perbedaan pendapat tentang sejauh mana bukti itu dapat diterapkan pada model bahasa masih terbuka.

Bagi peneliti dan praktisi keselamatan, tawaran langsungnya bersifat metodologis: mempelajari neuron jaringan asli bersama masukan, keluaran, dan intervensinya dapat mengungkap lebih banyak daripada sekadar label neuron atau galeri aktivasi. Makalah pendamping yang dijanjikan menjadi kesempatan untuk memeriksa metode model bahasa dan menguji batas tawaran itu. Baik esai maupun tanggapan Nanda tidak membuktikan bahwa penjelasan tersebut membuat sistem AI lebih aman.

## Sumber dan bacaan lanjutan

- [Nick Cammarata, «Neural Networks Are Already Clean»](https://already-clean.goodfire.com/) (Goodfire, 15 Oktober 2026). Esai riset informal dan hipotesis kerja penulis menyediakan analisis ulang sirkuit, penjelasan generalisasi rekursif, dan estimasi awal Qwen3-32B. Catatannya sendiri menjelaskan sensitivitas terhadap ambang dan makalah pendamping teknis yang akan terbit.
- [Tanggapan Neel Nanda terhadap esai tersebut](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) (Diskusi LessWrong, diakses 19 Oktober 2026). Nanda melihat nilai praktis dalam penyelidikan berbasis neuron, tetapi membantah klaim kemajuan besar menuju interpretabilitas menyeluruh dan berpendapat bahwa superposisi serta aktivasi lemah tetap penting.

## Sources

- [Nick Cammarata, Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Esai riset informal dan hipotesis kerja peneliti Goodfire. Menyediakan penafsiran ulang sirkuit tertentu, usulan generalisasi rekursif, serta estimasi awal kutub Qwen3-32B; definisi dan ambang memengaruhi estimasi. Sumber menyatakan makalah pendamping teknis yang lebih lengkap masih akan terbit.
- [Tanggapan Neel Nanda terhadap Neural Networks Are Already Clean](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Komentar publik peneliti Google DeepMind Neel Nanda. Ia melihat kemungkinan nilai praktis dalam atribusi berbasis neuron, tetapi membantah klaim interpretabilitas yang lebih besar dan berpendapat superposisi serta aktivasi lemah tetap relevan. Tanggapannya adalah kritik ahli, bukan replikasi.