Goodfire의 뉴런 해석 가능성 주장, 중첩에 관한 반론에 직면

Goodfire 연구원 Nick Cammarata는 여러 의미를 지닌 듯 보이는 뉴런을 두고 연구자들이 신경망을 이해할 수 없다는 증거로 너무 성급히 받아들였다고 주장한다. 10월 15일 에세이에서 그는 자신의 연구를 포함한 초기 해석 가능성 연구의 사례를 다시 살펴보고, 그중 많은 사례에 다른 설명을 제안한다. 그는 이 에세이를 작업 가설을 비공식적으로 설명한 글이라고 부른다. 언어 모델 실험에 관한 더 상세한 기술 논문은 아직 발표를 앞두고 있다.

큰 변화

• 무엇이 바뀌었나: Cammarata는 신경망 자체의 뉴런과 회로를 통해 모델 행동 일부를 연구하는 방법을 제시한다. 과거 사례의 재해석과 예비 언어 모델 점검은 뉴런이 여러 의미를 섞는 듯 보이는 이유에 관한 한 가지 설명에 도전한다. 그렇다고 신경망 전체를 이해했다는 사실이 입증된 것은 아니다.
• 왜 중요한가: 모델의 답변을 조사하는 연구자는 특징을 추출하는 별도 모델을 먼저 훈련하지 않고도 뉴런 수준의 추적 결과를 활용할 수 있다. 추적이 신뢰할 만한 곳에서는 직접 조사가 더 실용적이겠지만, 읽을 수 있는 추적 결과도 중요한 계산을 빠뜨릴 수 있다.
• 지켜볼 점: 예고된 기술 논문은 언어 모델 점검을 어떻게 수행했으며 설명이 얼마나 타당한지, 특히 약한 활성화에 대해 보여 줘야 한다. 그 증거는 원래 뉴런을 연구하는 것이 유용한 경우와 다른 방법이 여전히 필요한 경우를 구분하는 데 도움이 될 것이다.

하나의 뉴런이 여러 의미를 지닌 듯 보이는 이유

기계론적 해석 가능성 연구는 모델 내부 계산을 살펴 그 행동을 설명하려 한다. 서로 관련 없어 보이는 입력에 반응하는 뉴런을 다의적 뉴런이라고 부른다. 영향력 있는 설명 중 하나인 중첩은 뉴런 하나에 특징 하나가 대응한다는 그림으로는 담을 수 있는 것보다 더 많은 특징을 신경망이 가용 차원에 압축해 넣는다는 것이다. 이 설명에 따르면 하나의 뉴런이 서로 무관한 여러 특징에 관여할 수 있으며, 연구자는 회로를 이해하기 전에 그 특징들을 분리해야 할 수도 있다.

Cammarata가 반박하는 것은 이 설명의 더 좁은 형태다. 즉, 서로 무관해 보이는 역할들이 서로 간섭하지 않기 때문에 같은 뉴런에 흔히 함께 담긴다는 생각이다. 그의 에세이는 모델의 잔차 스트림 전반에 정보가 어떻게 표현되는지를 비롯해 ‘중첩’의 모든 용법에 결론을 내리지 않는다.

가장 분명한 사례는 초기 해석 가능성 연구에서 다룬 이미지 분류기 InceptionV1에서 나온다. 고양이 얼굴과 자동차 앞부분에 반응하는 듯한 뉴런은 다의성의 익숙한 사례가 됐다. Cammarata는 이제 공통 신호가 뾰족한 V자 패턴이라고 주장한다. 그는 그 뉴런의 입력과 이후 연결, 뾰족한 형태와 둥근 형태에 대한 반응을 근거로 든다. 자동차 특징이 개 관련 뉴런 사이에 숨은 듯했던 또 다른 초기 회로에서는, 겉으로 개와 관련 있어 보이는 일부 특징이 공통된 자세와 오해를 부르는 특징 시각화를 반영한다고 주장한다. 이는 그가 과거 발표에 참여한 연구를 포함한 특정 회로에 대한 재분석이지, 무관한 특징들이 뉴런을 절대 공유하지 않는다는 일반적 증명이 아니다.

그는 더 넓은 대안적 설명을 재귀적 일반화라고 부른다. 뉴런이 학습하면서 그 역할은 인접한 의미로 갈라지고, 다시 갈라질 수 있다. 에세이의 한 언어 모델 사례는 글자열 ‘iy’에서 시작해 ‘diy’로, 이어 ‘do it yourself’로 확장된다. 마지막 구절에는 원래 글자열이 더 이상 포함되지 않지만, 제안된 학습 경로는 겉보기 혼합에 연구자가 조사할 수 있는 이력을 부여한다. 에세이는 저자들이 훈련 과정에서 이런 분화를 관찰했다고 밝히면서도, 다의성이 큰 모든 뉴런이 이런 식으로 형성된다는 점을 엄밀하게 입증하지는 못했다고 인정한다.

언어 모델 증거가 현재까지 보여 주는 것

Cammarata는 Qwen3-32B 예비 점검에서 뉴런 극의 약 90%가 하나의 주된 역할을 했고, 흔히 관련된 분기 역할도 있었다고 보고한다. 약 7%는 서로 관련된 두 역할을 했으며, 약 2~4%는 설명되지 않았다. 극은 뉴런 반응의 양 또는 음의 측면이므로 이 수치를 뉴런 전체에 대한 완료된 전수조사로 해석해서는 안 된다. 에세이에 따르면 추정치는 약한 활성화의 임계값, 회로 깊이, 무엇을 하나의 역할로 볼지에 관한 판단에 따라 달라진다. Cammarata는 모델 답변을 바꾸는 개입을 포함해 상호작용 가능한 뉴런과 회로 사례도 제시한다. 이는 그의 조사 접근법을 보여 주지만, 에세이는 언어 모델 전반의 해석 가능성을 동료 심사와 독립적 재현을 거쳐 측정한 연구가 아니다.

유용한 추적과 완전한 설명을 구분하는 것은 중요하다. Google DeepMind의 해석 가능성 연구원 Neel Nanda는 공개 답변에서 뉴런 기반 귀인 그래프가 모델이 특정 방식으로 행동한 이유에 관한 실용적인 질문에 답하는 데 도움이 될 수 있다고 썼다. 그는 이런 그래프 역시 다른 추적 접근법처럼 상당한 계산을 놓칠 것으로 예상한다. 이 에세이를 모델을 완전히 역공학하거나 해석 가능성 문제를 해결하는 데 이룬 실질적 진전으로 보지는 않는다.

Nanda의 기술적 반론은 뉴런을 연구 도구로 거부한다는 주장보다 구체적이다. 그는 특히 잔차 스트림 전반에 표현된 정보와 많은 뉴런이 관여하는 계산에서 중첩이 여전히 타당한 가능성이라고 주장한다. 언어 모델의 약한 뉴런 활성화에는 에세이가 충분히 고려하지 않은 의미 있는 정보가 담겨 있을 수 있다고 의심한다. Cammarata는 별도 절에서 약한 활성화를 제한적인 비용으로 제거할 수 있는 경우가 많고, 그 효과 일부는 미세한 구별을 반영한다고 주장한다. 그 절의 수치적 제거 실험 사례는 시각 모델에서 나온 것이다. 그 증거가 언어 모델에 얼마나 적용되는지에 관한 의견 차이는 여전히 해결되지 않았다.

연구자와 안전 실무자에게 당장의 제안은 방법론적이다. 원래 신경망의 뉴런을 입력·출력·개입과 함께 연구하면 뉴런 이름표나 활성화 갤러리만 볼 때보다 더 많은 것을 알아낼 수 있다. 예고된 후속 논문은 언어 모델 방법을 살펴보고 이 제안의 한계를 시험할 기회다. 에세이와 Nanda의 답변 어느 쪽도 이런 설명이 AI 시스템을 더 안전하게 만든다는 사실을 입증하지 않는다.

출처 및 더 읽을거리

• Nick Cammarata, ‘Neural Networks Are Already Clean’ (Goodfire, 2026년 10월 15일). 저자의 비공식 연구 에세이이자 작업 가설로, 회로 재분석과 재귀적 일반화 설명, Qwen3-32B의 예비 추정치를 제시한다. 글 자체의 주석은 임계값에 대한 민감성과 향후 기술 후속 논문을 설명한다.
• 에세이에 대한 Neel Nanda의 답변 (LessWrong 토론, 2026년 10월 19일 확인). Nanda는 뉴런 기반 조사의 실용적 가치를 인정하면서도 완전한 해석 가능성을 향한 큰 진전이라는 주장을 반박하고, 중첩과 약한 활성화가 여전히 중요하다고 주장한다.