Goodfireova teza o tumačenju neurona suočava se s prigovorom o superpoziciji

Istraživač Goodfirea Nick Cammarata tvrdi da su istraživači prebrzo prihvatali neuron sa više prividnih značenja kao dokaz da je neuronska mreža nedokučiva. U eseju od 15. oktobra ponovo razmatra primere iz ranijih radova o interpretabilnosti, uključujući svoje, i za mnoge predlaže drugačije objašnjenje. Esej opisuje kao neformalni prikaz radne hipoteze. Potpuniji tehnički rad o eksperimentima sa jezičkim modelima tek treba da bude objavljen.

Velika promena

• Šta se promenilo: Cammarata nudi način da se deo ponašanja modela proučava kroz sopstvene neurone i kola mreže. Njegovo novo tumačenje ranijih primera i preliminarna provera jezičkog modela dovode u pitanje jedno objašnjenje zašto neuroni naizgled mešaju značenja; ne dokazuju da je cela mreža shvaćena.
• Zašto je važno: Istraživači koji ispituju odgovor modela mogli bi da koriste tragove na nivou neurona bez prethodnog obučavanja zasebnog modela za izdvajanje svojstava. Time bi neposredno ispitivanje bilo praktičnije tamo gde su tragovi pouzdani, ali i čitljiv trag može izostaviti važne proračune.
• Šta pratiti: Obećani tehnički rad treba da pokaže kako je provera jezičkog modela sprovedena i koliko su njena objašnjenja održiva, naročito za slabe aktivacije. Ti dokazi pomoći će da se odredi gde je proučavanje izvornih neurona korisno, a gde su drugi metodi i dalje potrebni.

Zašto neuron može naizgled imati više značenja

Mehanistička interpretabilnost pokušava da objasni ponašanje modela ispitivanjem proračuna unutar njega. Neuron koji reaguje na naizgled nepovezane ulaze naziva se polisemantičkim. Jedno uticajno objašnjenje, superpozicija, kaže da mreža smešta više svojstava u raspoložive dimenzije nego što bi dozvoljavao prikaz sa jednim svojstvom po neuronu. Prema tom objašnjenju, jedan neuron može učestvovati u više nepovezanih svojstava, pa istraživači mogu morati da ih razdvoje pre nego što razumeju kolo.

Cammarata osporava užu verziju tog objašnjenja: ideju da se naizgled nepovezane uloge često smeštaju u iste neurone zato što ne ometaju jedna drugu. Njegov esej ne razrešava svaku upotrebu pojma „superpozicija”, uključujući način predstavljanja informacija kroz rezidualni tok modela.

Njegov najjasniji primer potiče iz InceptionV1, klasifikatora slika proučavanog u ranim istraživanjima interpretabilnosti. Neuron koji je naizgled reagovao na lica mačaka i prednje delove automobila postao je poznat primer polisemantičnosti. Cammarata sada tvrdi da je zajednički signal šiljast obrazac u obliku slova V. Ukazuje na njegove ulaze, kasnije veze i odgovor na šiljaste naspram zaobljenih oblika. U drugom ranom kolu koje je naizgled skrivalo svojstvo automobila među neuronima za pse, tvrdi da neka od prividnih svojstava pasa odražavaju zajednički položaj tela i obmanjujuće vizuelizacije svojstava. To su Cammaratine ponovne analize konkretnih kola, uključujući radove u čijem je objavljivanju ranije učestvovao, a ne opšti dokaz da nepovezana svojstva nikada ne dele neurone.

Širu alternativu naziva rekurzivnom generalizacijom. Dok neuron uči, njegova uloga može se granati u susedna značenja, pa se zatim ponovo granati. Jedan primer jezičkog modela u eseju počinje nizom slova „iy”, širi se na „diy”, a zatim na „do it yourself”. Završni izraz više ne sadrži prvobitni niz slova, ali predloženi put učenja daje prividnoj mešavini istoriju koju istraživač može da ispita. Esej navodi da su autori videli takvo grananje tokom obučavanja, uz priznanje da nisu rigorozno pokazali da svaki izrazito polisemantički neuron nastaje tako.

Šta dokazi o jezičkim modelima zasad pokazuju

Cammarata izveštava o preliminarnim proverama Qwen3-32B u kojima je približno 90% polova neurona imalo jednu glavnu ulogu, često sa povezanim ograncima; oko 7% imalo je dve povezane uloge; a približno 2–4% ostalo je neobjašnjeno. Pol je pozitivna ili negativna strana odgovora neurona, pa te brojke ne treba čitati kao završen popis celih neurona. Esej kaže da se procene menjaju s pragovima za slabe aktivacije, dubinom kola i procenom šta se računa kao jedna uloga. Cammarata prikazuje i interaktivne primere neurona i kola, uključujući intervencije koje menjaju odgovor modela. Oni ilustruju njegov istraživački pristup, ali esej nije naučno recenzirano, nezavisno ponovljeno merenje interpretabilnosti kroz jezičke modele.

Važna je razlika između korisnog traga i potpunog objašnjenja. Neel Nanda, istraživač interpretabilnosti u Google DeepMind-u, napisao je u javnom odgovoru da bi grafovi atribucije zasnovani na neuronima mogli pomoći u odgovaranju na praktična pitanja o tome zašto se model ponašao na određeni način. Takođe očekuje da će takvi grafovi propustiti značajan deo proračuna, kao što mogu i drugi pristupi praćenju. Esej ne smatra znatnim napretkom ka potpunom reverznom inženjeringu modela ili rešavanju interpretabilnosti.

Nandin tehnički prigovor konkretniji je od odbacivanja neurona kao istraživačkog alata. On tvrdi da superpozicija ostaje plauzibilna, naročito za informacije predstavljene kroz rezidualni tok i proračune koji uključuju mnogo neurona. Sumnja da slabe aktivacije neurona u jezičkim modelima mogu nositi važne informacije koje esej nije dovoljno uzeo u obzir. Cammarata u posebnom odeljku tvrdi da se slabe aktivacije često mogu ukloniti uz ograničenu cenu i da neki njihovi efekti odražavaju fine razlike. Njegov numerički primer ablacije u tom odeljku potiče iz modela za obradu slike. Neslaganje o tome dokle se ti dokazi mogu preneti na jezičke modele ostaje otvoreno.

Za istraživače i stručnjake za bezbednost, neposredni predlog je metodološki: proučavanje neurona izvorne mreže zajedno s njihovim ulazima, izlazima i intervencijama može otkriti više od same oznake neurona ili galerije aktivacija. Obećani prateći rad je prilika da se ispitaju metode za jezičke modele i provere granice tog predloga. Ni esej ni Nandin odgovor ne pokazuju da ova objašnjenja čine AI sisteme bezbednijim.

Izvori i dodatno čitanje

• Nick Cammarata, „Neural Networks Are Already Clean” (Goodfire, 15. oktobar 2026). Autorov neformalni istraživački esej i radna hipoteza donose ponovne analize kola, objašnjenje rekurzivne generalizacije i preliminarne procene za Qwen3-32B. Njegove napomene opisuju osetljivost na pragove i najavljuju prateći tehnički rad.
• Odgovor Neela Nande na esej (Rasprava na LessWrong-u, pristupljeno 19. oktobra 2026). Nanda vidi praktičnu vrednost istraživanja zasnovanog na neuronima, ali osporava tvrdnje o velikom napretku ka potpunoj interpretabilnosti i smatra da superpozicija i slabe aktivacije ostaju važne.