Истраживач компаније Goodfire Nick Cammarata тврди да су истраживачи пребрзо прихватали неурон са више привидних значења као доказ да је неуронска мрежа недокучива. У есеју од 15. октобра поново разматра примере из ранијих радова о интерпретабилности, укључујући своје, и за многе предлаже другачије објашњење. Есеј описује као неформални приказ радне хипотезе. Потпунији технички рад о експериментима са језичким моделима тек треба да буде објављен.

Велика промена

  • Шта се променило: Cammarata нуди начин да се део понашања модела проучава кроз сопствене неуроне и кола мреже. Његово ново тумачење ранијих примера и прелиминарна провера језичког модела доводе у питање једно објашњење зашто неурони наизглед мешају значења; не доказују да је цела мрежа схваћена.
  • Зашто је важно: Истраживачи који испитују одговор модела могли би да користе трагове на нивоу неурона без претходног обучавања засебног модела за издвајање својстава. Тиме би непосредно испитивање било практичније тамо где су трагови поуздани, али и читљив траг може изоставити важне прорачуне.
  • Шта пратити: Обећани технички рад треба да покаже како је провера језичког модела спроведена и колико су њена објашњења одржива, нарочито за слабе активације. Ти докази помоћи ће да се одреди где је проучавање изворних неурона корисно, а где су други методи и даље потребни.

Зашто неурон може наизглед имати више значења

Механистичка интерпретабилност покушава да објасни понашање модела испитивањем прорачуна унутар њега. Неурон који реагује на наизглед неповезане улазе назива се полисемантичким. Једно утицајно објашњење, суперпозиција, каже да мрежа смешта више својстава у расположиве димензије него што би дозвољавао приказ са једним својством по неурону. Према том објашњењу, један неурон може учествовати у више неповезаних својстава, па истраживачи могу морати да их раздвоје пре него што разумеју коло.

Cammarata оспорава ужу верзију тог објашњења: идеју да се наизглед неповезане улоге често смештају у исте неуроне зато што не ометају једна другу. Његов есеј не разрешава сваку употребу појма „суперпозиција”, укључујући начин представљања информација кроз резидуални ток модела.

Његов најјаснији пример потиче из InceptionV1, класификатора слика проучаваног у раним истраживањима интерпретабилности. Неурон који је наизглед реаговао на лица мачака и предње делове аутомобила постао је познат пример полисемантичности. Cammarata сада тврди да је заједнички сигнал шиљаст образац у облику слова V. Указује на његове улазе, касније везе и одговор на шиљасте наспрам заобљених облика. У другом раном колу које је наизглед скривало својство аутомобила међу неуронима за псе, тврди да нека од привидних својстава паса одражавају заједнички положај тела и обмањујуће визуелизације својстава. То су поновне анализе конкретних кола које је урадио Cammarata, укључујући радове у чијем је објављивању раније учествовао, а не општи доказ да неповезана својства никада не деле неуроне.

Ширу алтернативу назива рекурзивном генерализацијом. Док неурон учи, његова улога може се гранати у суседна значења, па се затим поново гранати. Један пример језичког модела у есеју почиње низом слова „iy”, шири се на „diy”, а затим на „do it yourself”. Завршни израз више не садржи првобитни низ слова, али предложени пут учења даје привидној мешавини историју коју истраживач може да испита. Есеј наводи да су аутори видели такво гранање током обучавања, уз признање да нису ригорозно показали да сваки изразито полисемантички неурон настаје тако.

Шта докази о језичким моделима засад показују

Cammarata извештава о прелиминарним проверама Qwen3-32B у којима је приближно 90% полова неурона имало једну главну улогу, често са повезаним огранцима; око 7% имало је две повезане улоге; а приближно 2–4% остало је необјашњено. Пол је позитивна или негативна страна одговора неурона, па те бројке не треба читати као завршен попис целих неурона. Есеј каже да се процене мењају с праговима за слабе активације, дубином кола и проценом шта се рачуна као једна улога. Cammarata приказује и интерактивне примере неурона и кола, укључујући интервенције које мењају одговор модела. Они илуструју његов истраживачки приступ, али есеј није научно рецензирано, независно поновљено мерење интерпретабилности кроз језичке моделе.

Важна је разлика између корисног трага и потпуног објашњења. Neel Nanda, истраживач интерпретабилности у Google DeepMind-у, написао је у јавном одговору да би графови атрибуције засновани на неуронима могли помоћи у одговарању на практична питања о томе зашто се модел понашао на одређени начин. Такође очекује да ће такви графови пропустити значајан део прорачуна, као што могу и други приступи праћењу. Есеј не сматра знатним напретком ка потпуном реверзном инжењерингу модела или решавању интерпретабилности.

Технички приговор који износи Nanda конкретнији је од одбацивања неурона као истраживачког алата. Он тврди да суперпозиција остаје плаузибилна, нарочито за информације представљене кроз резидуални ток и прорачуне који укључују много неурона. Сумња да слабе активације неурона у језичким моделима могу носити важне информације које есеј није довољно узео у обзир. Cammarata у посебном одељку тврди да се слабе активације често могу уклонити уз ограничену цену и да неки њихови ефекти одражавају фине разлике. Његов нумерички пример аблације у том одељку потиче из модела за обраду слике. Неслагање о томе докле се ти докази могу пренети на језичке моделе остаје отворено.

За истраживаче и стручњаке за безбедност, непосредни предлог је методолошки: проучавање неурона изворне мреже заједно с њиховим улазима, излазима и интервенцијама може открити више од саме ознаке неурона или галерије активација. Обећани пратећи рад је прилика да се испитају методе за језичке моделе и провере границе тог предлога. Ни есеј ни одговор који је дао Nanda не показују да ова објашњења чине AI системе безбеднијим.

Извори и додатно читање

  • Nick Cammarata, „Neural Networks Are Already Clean” (Goodfire, 15. октобар 2026). Ауторов неформални истраживачки есеј и радна хипотеза доносе поновне анализе кола, објашњење рекурзивне генерализације и прелиминарне процене за Qwen3-32B. Његове напомене описују осетљивост на прагове и најављују пратећи технички рад.
  • Одговор који је Neel Nanda дао на есеј (Расправа на LessWrong-у, приступљено 19. октобра 2026). Nanda види практичну вредност истраживања заснованог на неуронима, али оспорава тврдње о великом напретку ка потпуној интерпретабилности и сматра да суперпозиција и слабе активације остају важне.