Goodfire के शोधकर्ता Nick Cammarata का तर्क है कि शोधकर्ताओं ने कई अर्थों वाला दिखने वाला न्यूरॉन देखकर बहुत जल्द यह मान लिया कि तंत्रिका नेटवर्क समझ से परे है। अपने 15 अक्टूबर के निबंध में वे व्याख्येयता पर पुराने शोध के उदाहरणों, जिनमें उनके अपने काम के उदाहरण भी हैं, पर दोबारा विचार करते हैं और उनमें से कई के लिए अलग स्पष्टीकरण देते हैं। वे इस निबंध को एक कार्यशील परिकल्पना का अनौपचारिक विवरण कहते हैं। भाषा-मॉडल प्रयोगों पर अधिक विस्तृत तकनीकी शोधपत्र अभी आना बाकी है।

बड़ा बदलाव

  • क्या बदला: Cammarata नेटवर्क के अपने न्यूरॉनों और सर्किटों के ज़रिए मॉडल के कुछ व्यवहार का अध्ययन करने का तरीका पेश करते हैं। पुराने उदाहरणों की उनकी नई व्याख्या और भाषा-मॉडल की शुरुआती जाँच उस एक स्पष्टीकरण को चुनौती देते हैं कि न्यूरॉन अलग-अलग अर्थों को मिलाते हुए क्यों दिखते हैं; वे यह साबित नहीं करते कि पूरा नेटवर्क समझ लिया गया है।
  • यह क्यों मायने रखता है: मॉडल के उत्तर की जाँच करने वाले शोधकर्ता पहले विशेषताएँ निकालने के लिए अलग मॉडल प्रशिक्षित किए बिना न्यूरॉन-स्तर के गणना-पथों का उपयोग कर सकते हैं। जहाँ ये पथ भरोसेमंद हों, वहाँ इससे सीधे जाँच करना अधिक व्यावहारिक होगा, लेकिन पढ़ने और समझने योग्य पथ में भी महत्वपूर्ण गणना छूट सकती है।
  • किस पर नज़र रखें: वादा किए गए तकनीकी शोधपत्र को दिखाना होगा कि भाषा-मॉडल की जाँच कैसे की गई और उसके स्पष्टीकरण, खासकर कमज़ोर सक्रियणों के मामले में, कितने टिकते हैं। यह साक्ष्य तय करने में मदद करेगा कि नेटवर्क के मूल न्यूरॉनों का अध्ययन कहाँ उपयोगी है और कहाँ अन्य तरीके अब भी आवश्यक हैं।

एक न्यूरॉन के कई अर्थ क्यों दिख सकते हैं

यांत्रिक व्याख्येयता का उद्देश्य मॉडल के भीतर होने वाली गणनाओं को जाँचकर उसके व्यवहार को समझाना है। जो न्यूरॉन असंबंधित दिखने वाले इनपुट पर प्रतिक्रिया देता है, उसे बहुअर्थी कहा जाता है। एक प्रभावशाली स्पष्टीकरण, सुपरपोज़िशन, यह है कि नेटवर्क अपने उपलब्ध आयामों में उतनी विशेषताओं से अधिक समेटता है, जितनी प्रति न्यूरॉन एक विशेषता वाली तस्वीर में संभव होतीं। इस व्याख्या के अनुसार, एक ही न्यूरॉन कई असंबंधित विशेषताओं में भाग ले सकता है और सर्किट को समझने से पहले शोधकर्ताओं को उन विशेषताओं को अलग करना पड़ सकता है।

Cammarata इस व्याख्या के एक संकरे रूप को चुनौती देते हैं: यह धारणा कि दिखने में असंबंधित काम अक्सर एक ही न्यूरॉन में इसलिए समेटे जाते हैं क्योंकि वे एक-दूसरे में बाधा नहीं डालते। उनका निबंध “सुपरपोज़िशन” शब्द के हर उपयोग पर फैसला नहीं करता, जिसमें यह सवाल भी शामिल है कि मॉडल के रेज़िड्युअल स्ट्रीम में सूचना कैसे निरूपित हो सकती है।

उनका सबसे स्पष्ट उदाहरण InceptionV1 से आता है, जो एक चित्र वर्गीकरण मॉडल है और जिसका अध्ययन व्याख्येयता के शुरुआती शोध में हुआ था। एक न्यूरॉन, जो बिल्ली के चेहरों और कारों के अगले हिस्सों पर प्रतिक्रिया देता दिखाई देता था, बहुअर्थिता का परिचित उदाहरण बन गया। अब Cammarata का तर्क है कि साझा संकेत नुकीला, V-आकार का पैटर्न है। वे उसके इनपुट, आगे के कनेक्शन और नुकीले बनाम गोल आकारों पर उसकी प्रतिक्रिया की ओर संकेत करते हैं। एक अन्य शुरुआती सर्किट में, जहाँ कुत्तों से जुड़े न्यूरॉनों के बीच कार की विशेषता छिपी हुई लगती थी, उनका तर्क है कि कुत्ते से जुड़ी दिखने वाली कुछ विशेषताएँ साझा मुद्रा और भ्रामक विशेषता-चित्रणों को दर्शाती हैं। ये Cammarata द्वारा खास सर्किटों के दोबारा किए गए विश्लेषण हैं, जिनमें वह काम भी शामिल है जिसे प्रकाशित करने में उन्होंने पहले मदद की थी; ये इस बात का सामान्य प्रमाण नहीं हैं कि असंबंधित विशेषताएँ कभी एक ही न्यूरॉन साझा नहीं करतीं।

वे व्यापक वैकल्पिक व्याख्या को पुनरावर्ती सामान्यीकरण कहते हैं। जैसे-जैसे कोई न्यूरॉन सीखता है, उसका काम पास के अर्थों तक शाखित हो सकता है और फिर दोबारा शाखित हो सकता है। निबंध में भाषा-मॉडल का एक उदाहरण अक्षर-क्रम “iy” से शुरू होता है, “diy” तक फैलता है और फिर “do it yourself” तक पहुँचता है। अंतिम वाक्यांश में मूल अक्षर-क्रम नहीं रहता, फिर भी सीखने का प्रस्तावित रास्ता अर्थों के इस दिखने वाले मिश्रण को एक इतिहास देता है जिसकी शोधकर्ता जाँच कर सकता है। निबंध कहता है कि लेखकों ने प्रशिक्षण के दौरान ऐसी शाखाएँ बनते देखी हैं, साथ ही यह मानता है कि उन्होंने कठोर ढंग से यह नहीं दिखाया है कि हर अत्यधिक बहुअर्थी न्यूरॉन इसी तरह बनता है।

भाषा-मॉडल के साक्ष्य अब तक क्या दिखाते हैं

Cammarata Qwen3-32B की शुरुआती जाँचों की रिपोर्ट देते हैं, जिनमें लगभग 90% न्यूरॉन ध्रुवों का एक मुख्य काम था, अक्सर उससे जुड़े उपकार्य भी थे; करीब 7% के दो संबंधित काम थे; और लगभग 2–4% अस्पष्ट रहे। ध्रुव किसी न्यूरॉन की प्रतिक्रिया का धनात्मक या ऋणात्मक पक्ष है, इसलिए इन आँकड़ों को पूरे न्यूरॉनों की पूरी हो चुकी गणना नहीं समझना चाहिए। निबंध के अनुसार, कमज़ोर सक्रियणों के लिए तय सीमा-मान, सर्किट की गहराई और किसे एक काम माना जाए, इस निर्णय के साथ अनुमान बदलते हैं। Cammarata न्यूरॉनों और सर्किटों के संवादात्मक उदाहरण भी पेश करते हैं, जिनमें मॉडल का उत्तर बदलने वाले हस्तक्षेप शामिल हैं। ये उनके जाँच के तरीके को दिखाते हैं, लेकिन निबंध भाषा-मॉडलों में व्याख्येयता का सहकर्मी-समीक्षित और स्वतंत्र रूप से दोहराया गया मापन नहीं है।

उपयोगी गणना-पथ और पूरे स्पष्टीकरण के बीच का अंतर महत्वपूर्ण है। Google DeepMind में व्याख्येयता के शोधकर्ता Neel Nanda ने एक सार्वजनिक प्रतिक्रिया में लिखा कि न्यूरॉनों पर आधारित एट्रिब्यूशन ग्राफ़ उन व्यावहारिक सवालों के उत्तर देने में मदद कर सकते हैं कि मॉडल ने किसी खास तरह व्यवहार क्यों किया। वे यह भी उम्मीद करते हैं कि ऐसे ग्राफ़ पर्याप्त मात्रा में गणना छोड़ देंगे, जैसा गणना-पथ खोजने के दूसरे तरीकों में भी हो सकता है। वे इस निबंध को मॉडलों की पूरी रिवर्स इंजीनियरिंग करने या व्याख्येयता की समस्या हल करने की दिशा में बड़ी प्रगति नहीं मानते।

Nanda की तकनीकी आपत्ति न्यूरॉनों को शोध के उपकरण के रूप में खारिज करने से अधिक विशिष्ट है। उनका तर्क है कि सुपरपोज़िशन अब भी एक संभव व्याख्या है, खासकर रेज़िड्युअल स्ट्रीम में निरूपित सूचना और कई न्यूरॉनों वाली गणनाओं के लिए। उन्हें संदेह है कि भाषा-मॉडलों में न्यूरॉनों के कमज़ोर सक्रियण अर्थपूर्ण सूचना ले जा सकते हैं जिसका निबंध ने पर्याप्त हिसाब नहीं दिया है। Cammarata एक अलग खंड में तर्क देते हैं कि कमज़ोर सक्रियणों को अक्सर सीमित नुकसान के साथ हटाया जा सकता है और उनके कुछ प्रभाव बारीक भेदों को दर्शाते हैं। वहाँ उनका संख्यात्मक एब्लेशन उदाहरण एक दृष्टि मॉडल से है। उस साक्ष्य को भाषा-मॉडलों पर किस हद तक लागू किया जा सकता है, इस पर मतभेद अभी खुला है।

शोधकर्ताओं और सुरक्षा पर काम करने वालों के लिए तत्काल प्रस्ताव पद्धति से जुड़ा है: मूल नेटवर्क के न्यूरॉनों को उनके इनपुट, आउटपुट और हस्तक्षेपों के साथ पढ़ने से केवल न्यूरॉन का नाम या सक्रियणों की चित्रावली देखने की तुलना में अधिक पता चल सकता है। वादा किया गया पूरक शोधपत्र भाषा-मॉडल की विधियों की जाँच करने और इस प्रस्ताव की सीमाएँ परखने का अवसर होगा। न निबंध और न ही Nanda की प्रतिक्रिया दिखाती है कि इन स्पष्टीकरणों से AI प्रणालियाँ अधिक सुरक्षित होती हैं।

स्रोत और आगे पढ़ें

  • Nick Cammarata, “Neural Networks Are Already Clean” (Goodfire, 15 अक्टूबर 2026)। लेखक का अनौपचारिक शोध निबंध और कार्यशील परिकल्पना सर्किटों के पुनर्विश्लेषण, पुनरावर्ती सामान्यीकरण की व्याख्या और Qwen3-32B के शुरुआती अनुमानों का स्रोत है। उसके अपने नोट्स सीमा-मानों के प्रति संवेदनशीलता और आने वाले पूरक तकनीकी शोधपत्र का ज़िक्र करते हैं।
  • निबंध पर Neel Nanda की प्रतिक्रिया (LessWrong पर चर्चा, 19 अक्टूबर 2026 को देखा गया)। Nanda न्यूरॉन-आधारित जाँच में व्यावहारिक उपयोगिता देखते हैं, लेकिन पूर्ण व्याख्येयता की दिशा में बड़ी प्रगति के दावों से असहमत हैं और तर्क देते हैं कि सुपरपोज़िशन और कमज़ोर सक्रियण अब भी महत्वपूर्ण हैं।