AI-translated from English; not yet reviewed by a fluent editor.

# নিউরনের ব্যাখ্যাযোগ্যতা নিয়ে Goodfire-এর বক্তব্যের সামনে সুপারপজিশন-সংক্রান্ত আপত্তি

> Nick Cammarata মনে করেন, আপাতদৃষ্টিতে মিশ্র ভূমিকার অনেক নিউরনকে সরাসরি অধ্যয়ন করা যায়। Goodfire-এ তাঁর প্রবন্ধে প্রাথমিক প্রমাণ দেওয়া হয়েছে, তবে সুপারপজিশন নিয়ে বৃহত্তর সিদ্ধান্তের সঙ্গে Neel Nanda একমত নন।

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

Goodfire-এর গবেষক Nick Cammarata-র বক্তব্য, একাধিক অর্থ বহন করে বলে মনে হওয়া কোনো নিউরনকে দুর্বোধ্য নিউরাল নেটওয়ার্কের প্রমাণ হিসেবে মেনে নিতে গবেষকেরা অতিরিক্ত তাড়াহুড়ো করেছেন। [15 অক্টোবরের একটি প্রবন্ধে](https://already-clean.goodfire.com/) তিনি ব্যাখ্যাযোগ্যতা নিয়ে আগের গবেষণার উদাহরণগুলো, নিজের কাজসহ, পুনর্বিবেচনা করেছেন এবং সেগুলোর অনেকটির জন্য ভিন্ন ব্যাখ্যা প্রস্তাব করেছেন। প্রবন্ধটিকে তিনি একটি চলতি গবেষণা-অনুমানের অনানুষ্ঠানিক বিবরণ বলেছেন। ভাষা মডেলের পরীক্ষাগুলো নিয়ে আরও পূর্ণাঙ্গ কারিগরি গবেষণাপত্র এখনো প্রকাশিত হয়নি।

## বড় পরিবর্তন

- **কী বদলেছে:** Cammarata নেটওয়ার্কের নিজস্ব নিউরন ও সার্কিট দিয়ে মডেলের কিছু আচরণ অধ্যয়নের পথ দেখিয়েছেন। আগের উদাহরণের তাঁর পুনর্ব্যাখ্যা এবং একটি ভাষা মডেলের প্রাথমিক নিরীক্ষা, নিউরন কেন অর্থ মিশিয়ে ফেলে বলে মনে হয় তার একটি ব্যাখ্যাকে চ্যালেঞ্জ করে; এগুলো পুরো নেটওয়ার্ক বোঝা হয়ে গেছে বলে প্রতিষ্ঠা করে না।
- **কেন গুরুত্বপূর্ণ:** কোনো মডেলের উত্তর অনুসন্ধানকারী গবেষকেরা বৈশিষ্ট্য বের করতে আগে আলাদা মডেল প্রশিক্ষণ না দিয়েই নিউরন-স্তরের গণনার গতিপথ ব্যবহার করতে পারেন। যেসব ক্ষেত্রে এই গতিপথ নির্ভরযোগ্য, সেখানে সরাসরি অনুসন্ধান আরও ব্যবহারিক হবে; কিন্তু পাঠযোগ্য গতিপথেও গুরুত্বপূর্ণ গণনা বাদ পড়তে পারে।
- **কী নজরে রাখতে হবে:** প্রতিশ্রুত কারিগরি গবেষণাপত্রে দেখাতে হবে, ভাষা মডেলের নিরীক্ষা কীভাবে করা হয়েছে এবং এর ব্যাখ্যাগুলো কতটা টেকে, বিশেষ করে দুর্বল সক্রিয়তার ক্ষেত্রে। এই প্রমাণ বুঝতে সাহায্য করবে, কোথায় নেটওয়ার্কের নিজস্ব নিউরন অধ্যয়ন উপকারী এবং কোথায় অন্য পদ্ধতি এখনো জরুরি।

## একটি নিউরনের একাধিক অর্থ আছে বলে কেন মনে হতে পারে

মেকানিস্টিক ব্যাখ্যাযোগ্যতা মডেলের ভেতরের গণনা পরীক্ষা করে তার আচরণ ব্যাখ্যা করতে চায়। আপাতদৃষ্টিতে সম্পর্কহীন ইনপুটে সাড়া দেওয়া নিউরনকে বলা হয় *বহুঅর্থক*। একটি প্রভাবশালী ব্যাখ্যা, *সুপারপজিশন*, বলে যে প্রতিটি নিউরনে একটি বৈশিষ্ট্য থাকার ধারণা যতটা অনুমোদন করে, নেটওয়ার্ক তার উপলব্ধ মাত্রায় তার চেয়ে বেশি বৈশিষ্ট্য গুঁজে রাখে। এই ব্যাখ্যায় একটি নিউরন একাধিক সম্পর্কহীন বৈশিষ্ট্যে অংশ নিতে পারে, এবং সার্কিট বুঝতে গবেষকদের আগে সেগুলো আলাদা করতে হতে পারে।

Cammarata এই ব্যাখ্যার আরও সংকীর্ণ একটি রূপকে চ্যালেঞ্জ করেছেন: আপাতদৃষ্টিতে সম্পর্কহীন কাজগুলো সাধারণত একই নিউরনে গুঁজে রাখা হয়, কারণ সেগুলো পরস্পরকে বাধা দেয় না। তাঁর প্রবন্ধ «সুপারপজিশন» শব্দের সব ব্যবহার মীমাংসা করে না; এর মধ্যে মডেলের রেসিডুয়াল স্ট্রিমজুড়ে কীভাবে তথ্য উপস্থাপিত হতে পারে, সেই প্রশ্নও রয়েছে।

তাঁর সবচেয়ে স্পষ্ট উদাহরণ InceptionV1 থেকে এসেছে। এটি একটি ছবি শ্রেণিবিন্যাসকারী মডেল, যা ব্যাখ্যাযোগ্যতার শুরুর দিকের গবেষণায় অধ্যয়ন করা হয়েছিল। বিড়ালের মুখ ও গাড়ির সামনের অংশে সাড়া দেয় বলে মনে হওয়া একটি নিউরন বহুঅর্থকতার পরিচিত উদাহরণ হয়ে ওঠে। Cammarata এখন বলছেন, অভিন্ন সংকেতটি একটি সূচালো, V-আকৃতির নকশা। তিনি এর ইনপুট, পরবর্তী সংযোগ এবং সূচালো বনাম গোল আকারে সাড়ার দিকে দৃষ্টি আকর্ষণ করেছেন। অন্য একটি প্রাথমিক সার্কিটে কুকুর-সংক্রান্ত নিউরনের মধ্যে গাড়ির বৈশিষ্ট্য লুকিয়ে আছে বলে মনে হয়েছিল। তাঁর যুক্তি, আপাত কুকুরের কিছু বৈশিষ্ট্য অভিন্ন ভঙ্গি এবং বিভ্রান্তিকর বৈশিষ্ট্য-দৃশ্যায়নকে প্রতিফলিত করে। এগুলো নির্দিষ্ট সার্কিট নিয়ে Cammarata-র পুনর্বিশ্লেষণ, যার মধ্যে আগে প্রকাশে তিনি সহায়তা করেছিলেন এমন কাজও রয়েছে; সম্পর্কহীন বৈশিষ্ট্য কখনো নিউরন ভাগাভাগি করে না, তার সাধারণ প্রমাণ নয়।

বৃহত্তর বিকল্প ব্যাখ্যাটির নাম তিনি দিয়েছেন *রিকার্সিভ সাধারণীকরণ*। একটি নিউরন শেখার সময় তার কাজ কাছাকাছি অর্থের দিকে শাখা বিস্তার করতে পারে, তারপর আবার শাখা বিস্তার করতে পারে। প্রবন্ধের ভাষা মডেলের একটি উদাহরণ «iy» অক্ষরক্রম দিয়ে শুরু হয়, «diy»-তে বিস্তৃত হয়, তারপর «do it yourself»-এ পৌঁছায়। শেষের কথাটিতে মূল অক্ষরক্রম আর নেই, কিন্তু প্রস্তাবিত শেখার পথটি আপাত মিশ্রণকে এমন একটি ইতিহাস দেয়, যা গবেষক অনুসন্ধান করতে পারেন। প্রবন্ধ বলেছে, লেখকেরা প্রশিক্ষণের সময় এমন শাখা বিস্তার দেখেছেন; একই সঙ্গে স্বীকার করেছে যে প্রতিটি অত্যন্ত বহুঅর্থক নিউরন এভাবেই গড়ে ওঠে, তা তাঁরা কঠোরভাবে প্রমাণ করেননি।

## ভাষা মডেলের প্রমাণ এখন পর্যন্ত কী দেখায়

Cammarata Qwen3-32B-এর প্রাথমিক নিরীক্ষার কথা জানিয়েছেন। সেখানে প্রায় 90% নিউরন-মেরুর একটি মূল কাজ ছিল, প্রায়ই তার সঙ্গে সম্পর্কিত শাখাও ছিল; প্রায় 7%-এর দুটি সম্পর্কিত কাজ ছিল; আর আনুমানিক 2–4% ব্যাখ্যাতীত রয়ে যায়। একটি মেরু হলো নিউরনের প্রতিক্রিয়ার ধনাত্মক বা ঋণাত্মক দিক। তাই এই সংখ্যাগুলোকে সম্পূর্ণ নিউরনের শেষ হয়ে যাওয়া গণনা হিসেবে পড়া উচিত নয়। প্রবন্ধের ভাষ্য অনুযায়ী, দুর্বল সক্রিয়তার সীমামান, সার্কিটের গভীরতা এবং কোনটিকে একটি কাজ ধরা হবে সেই বিচারের সঙ্গে অনুমান বদলায়। Cammarata ইন্টারঅ্যাকটিভ নিউরন ও সার্কিটের উদাহরণও দেখিয়েছেন, যার মধ্যে মডেলের উত্তর বদলে দেয় এমন হস্তক্ষেপ রয়েছে। এগুলো তাঁর অনুসন্ধানী পদ্ধতি বোঝায়; কিন্তু প্রবন্ধটি ভাষা মডেলগুলোতে ব্যাখ্যাযোগ্যতার এমন কোনো পরিমাপ নয়, যা বিশেষজ্ঞদের পর্যালোচিত ও স্বাধীনভাবে পুনরুৎপাদিত হয়েছে।

উপকারী গণনার গতিপথ ও সম্পূর্ণ ব্যাখ্যার পার্থক্য গুরুত্বপূর্ণ। [Google DeepMind-এর ব্যাখ্যাযোগ্যতা গবেষক Neel Nanda একটি প্রকাশ্য প্রতিক্রিয়ায় লিখেছেন](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean), কোনো মডেল কেন নির্দিষ্টভাবে আচরণ করেছে, সেই ব্যবহারিক প্রশ্নের জবাব দিতে নিউরনভিত্তিক অ্যাট্রিবিউশন গ্রাফ সাহায্য করতে পারে। একই সঙ্গে তিনি মনে করেন, অন্য গতিপথ-অনুসন্ধান পদ্ধতির মতো এসব গ্রাফেও গণনার উল্লেখযোগ্য অংশ বাদ পড়বে। প্রবন্ধটিকে তিনি মডেলের সম্পূর্ণ রিভার্স ইঞ্জিনিয়ারিং বা ব্যাখ্যাযোগ্যতার সমস্যা সমাধানের পথে বড় অগ্রগতি হিসেবে দেখেন না।

Nanda-র কারিগরি আপত্তি গবেষণার হাতিয়ার হিসেবে নিউরনকে বাতিল করার চেয়ে বেশি নির্দিষ্ট। তাঁর যুক্তি, বিশেষ করে রেসিডুয়াল স্ট্রিমজুড়ে উপস্থাপিত তথ্য এবং অনেক নিউরন জড়িত গণনার ক্ষেত্রে সুপারপজিশন এখনো একটি যুক্তিসংগত সম্ভাবনা। তাঁর সন্দেহ, ভাষা মডেলে নিউরনের দুর্বল সক্রিয়তা এমন অর্থবহ তথ্য বহন করতে পারে, যা প্রবন্ধে যথেষ্ট বিবেচনা করা হয়নি। আলাদা একটি অংশে Cammarata যুক্তি দিয়েছেন, দুর্বল সক্রিয়তা প্রায়ই সীমিত ক্ষতির বিনিময়ে সরিয়ে দেওয়া যায় এবং এর কিছু প্রভাব সূক্ষ্ম পার্থক্যকে প্রতিফলিত করে। সেখানে তাঁর সংখ্যাভিত্তিক অ্যাবলেশন উদাহরণটি একটি কম্পিউটার ভিশন মডেল থেকে এসেছে। সেই প্রমাণ ভাষা মডেলে কতটা প্রযোজ্য, তা নিয়ে মতভেদ এখনো অমীমাংসিত।

গবেষক ও নিরাপত্তা নিয়ে কাজ করা বিশেষজ্ঞদের জন্য তাৎক্ষণিক প্রস্তাবটি পদ্ধতিগত: মূল নেটওয়ার্কের নিউরনকে তার ইনপুট, আউটপুট ও হস্তক্ষেপের সঙ্গে অধ্যয়ন করলে শুধু নিউরনের লেবেল বা সক্রিয়তার গ্যালারি দেখার চেয়ে বেশি জানা যেতে পারে। প্রতিশ্রুত সহগামী গবেষণাপত্র ভাষা মডেলের পদ্ধতি পরীক্ষা এবং এই প্রস্তাবের সীমা যাচাইয়ের সুযোগ। প্রবন্ধ কিংবা Nanda-র প্রতিক্রিয়া—কোনোটিই দেখায় না যে এসব ব্যাখ্যা AI ব্যবস্থাকে আরও নিরাপদ করে।

## সূত্র ও আরও পড়ুন

- [Nick Cammarata, «Neural Networks Are Already Clean»](https://already-clean.goodfire.com/) (Goodfire, 15 অক্টোবর 2026)। লেখকের অনানুষ্ঠানিক গবেষণা-প্রবন্ধ ও চলতি গবেষণা-অনুমান থেকে সার্কিটের পুনর্বিশ্লেষণ, রিকার্সিভ সাধারণীকরণের ব্যাখ্যা এবং Qwen3-32B-এর প্রাথমিক অনুমানগুলো এসেছে। এর নিজস্ব নোটে সীমামানের প্রতি সংবেদনশীলতা এবং আসন্ন সহগামী কারিগরি গবেষণাপত্রের কথা আছে।
- [প্রবন্ধে Neel Nanda-র প্রতিক্রিয়া](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) (LessWrong আলোচনা, 19 অক্টোবর 2026-এ দেখা)। Nanda নিউরনভিত্তিক অনুসন্ধানে ব্যবহারিক মূল্য দেখেন; তবে পূর্ণ ব্যাখ্যাযোগ্যতার পথে বড় অগ্রগতির দাবি মানেন না এবং মনে করেন, সুপারপজিশন ও দুর্বল সক্রিয়তা এখনো গুরুত্বপূর্ণ।

## Sources

- [Nick Cammarata, Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — Goodfire-এর গবেষকের অনানুষ্ঠানিক গবেষণা-প্রবন্ধ ও চলতি গবেষণা-অনুমান। নির্দিষ্ট সার্কিটের পুনর্ব্যাখ্যা, প্রস্তাবিত রিকার্সিভ সাধারণীকরণ এবং Qwen3-32B-এর মেরুর প্রাথমিক অনুমান দেয়; সংজ্ঞা ও সীমামান অনুমানকে প্রভাবিত করে। সূত্রে আরও পূর্ণাঙ্গ সহগামী কারিগরি গবেষণাপত্র আসার কথা বলা হয়েছে।
- [Neural Networks Are Already Clean নিয়ে Neel Nanda-র প্রতিক্রিয়া](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — Google DeepMind-এর গবেষক Neel Nanda-র প্রকাশ্য মন্তব্য। তিনি নিউরনভিত্তিক অ্যাট্রিবিউশনে সম্ভাব্য ব্যবহারিক মূল্য দেখেন, তবে ব্যাখ্যাযোগ্যতার বৃহত্তর দাবির সঙ্গে দ্বিমত পোষণ করেন এবং মনে করেন, সুপারপজিশন ও দুর্বল সক্রিয়তা এখনো প্রাসঙ্গিক। তাঁর প্রতিক্রিয়া বিশেষজ্ঞের সমালোচনা, ফলাফলের পুনরুৎপাদন নয়।