نسخة Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# أطروحة Goodfire عن قابلية تفسير العصبونات تواجه اعتراضًا بشأن التراكب

> يرى Nick Cammarata أن كثيرًا من العصبونات التي تبدو متعددة الوظائف يمكن دراستها مباشرة. يقدم مقاله لدى Goodfire أدلة أولية، بينما يعترض Neel Nanda على الاستنتاج الأوسع بشأن التراكب.

By BIG CHANGE Editorial

Published: 2026-10-19T22:11:34.848Z
Updated: 2026-10-19T22:11:34.848Z
Canonical: https://bigchange.ai/blog/goodfire-neuron-interpretability-superposition

![Conceptual charcoal illustration of a branching biological neuron drawn on a microscope slide, with one branch accented in orange beneath a microscope objective.](https://bigchange.ai/api/media/file/goodfire-neuron-trace-concept-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE; no actual Goodfire experiment, neural-network circuit, model output or safety result is depicted.

يرى الباحث في Goodfire، Nick Cammarata، أن الباحثين تسرعوا في اعتبار العصبون ذي المعاني المتعددة ظاهريًا دليلًا على شبكة عصبية يتعذر فهمها. وفي [مقال بتاريخ 15 أكتوبر](https://already-clean.goodfire.com/)، يعود إلى أمثلة من أبحاث سابقة في قابلية التفسير، بما فيها أبحاثه، ويقترح تفسيرًا مختلفًا لكثير منها. ويصف المقال بأنه عرض غير رسمي لفرضية عمل. ولا تزال ورقة تقنية أشمل عن تجارب النماذج اللغوية مرتقبة.

## التغيير الكبير

- **ما الذي تغيّر:** يقدم Cammarata طريقة لدراسة بعض سلوك النموذج عبر عصبونات الشبكة ودوائرها نفسها. وتتحدى إعادة تفسيره للأمثلة السابقة وتدقيقه الأولي لنموذج لغوي أحد التفسيرات لظهور العصبونات وكأنها تمزج المعاني؛ لكنها لا تثبت أن الشبكة بأكملها باتت مفهومة.
- **لماذا يهم:** قد يستخدم الباحثون الذين يفحصون إجابة نموذج آثارًا للحساب على مستوى العصبونات، دون تدريب نموذج منفصل أولًا لاستخراج السمات. ومن شأن ذلك جعل الفحص المباشر أكثر عملية حيث تكون هذه الآثار موثوقة، لكن حتى الأثر المقروء قد يُغفل حسابات مهمة.
- **ما الذي ينبغي متابعته:** على الورقة التقنية الموعودة أن توضح كيفية إجراء تدقيق النموذج اللغوي ومدى صمود تفسيراته، خصوصًا للتنشيطات الضعيفة. وستساعد هذه الأدلة في تحديد المواضع التي تفيد فيها دراسة عصبونات الشبكة الأصلية، والمواضع التي تبقى فيها طرق أخرى ضرورية.

## لماذا قد يبدو للعصبون الواحد معانٍ متعددة

تسعى قابلية التفسير الميكانيكي إلى شرح سلوك النموذج بفحص الحسابات داخله. ويُسمى العصبون الذي يستجيب لمدخلات تبدو غير مترابطة *متعدد الدلالات*. وأحد التفسيرات المؤثرة، وهو *التراكب*، يقول إن الشبكة تحشد في أبعادها المتاحة سمات أكثر مما يتيحه تصور سمة واحدة لكل عصبون. ووفق هذا التفسير، قد يشارك العصبون الواحد في عدة سمات غير مترابطة، وقد يحتاج الباحثون إلى فصلها قبل فهم الدائرة.

يتحدى Cammarata نسخة أضيق من هذا التفسير: فكرة أن الوظائف التي تبدو غير مترابطة تُحشد عادة في العصبونات نفسها لأنها لا تتداخل على نحو يعيق بعضها بعضًا. ولا يحسم مقاله كل استخدامات «التراكب»، بما فيها كيفية تمثيل المعلومات عبر المجرى المتبقي للنموذج.

يأتي أوضح أمثلته من InceptionV1، وهو مصنف صور دُرس في الأبحاث المبكرة لقابلية التفسير. فقد صار عصبون بدا أنه يستجيب لوجوه القطط ومقدمات السيارات مثالًا مألوفًا على تعدد الدلالات. ويقول Cammarata الآن إن الإشارة المشتركة هي نمط مدبب على شكل V. ويشير إلى مدخلاته ووصلاته اللاحقة واستجابته للأشكال المدببة مقارنة بالمستديرة. وفي دائرة مبكرة أخرى بدت كأنها تخفي سمة سيارة بين عصبونات مرتبطة بالكلاب، يرى أن بعض السمات التي بدت خاصة بالكلاب تعكس وضعية مشتركة وتصورات بصرية مضللة للسمات. هذه إعادة تحليل أجراها Cammarata لدوائر محددة، بما فيها أعمال ساعد سابقًا في نشرها، وليست برهانًا عامًا على أن السمات غير المترابطة لا تتشارك العصبونات أبدًا.

ويسمي البديل الأوسع *التعميم العودي*. فحين يتعلم العصبون، قد تتفرع وظيفته إلى معانٍ قريبة ثم تتفرع مجددًا. ويبدأ أحد أمثلة النماذج اللغوية في المقال بتسلسل الحروف «iy»، ويمتد إلى «diy»، ثم إلى «do it yourself». ولا تتضمن العبارة الأخيرة تسلسل الحروف الأصلي، لكن مسار التعلم المقترح يمنح المزيج الظاهري تاريخًا يمكن للباحث تقصيه. ويقول المقال إن المؤلفين شاهدوا هذا التفرع أثناء التدريب، مع إقراره بأنهم لم يثبتوا على نحو صارم أن كل عصبون شديد تعدد الدلالات يتشكل بهذه الطريقة.

## ما الذي تُظهره أدلة النماذج اللغوية حتى الآن

يورد Cammarata عمليات تدقيق أولية لـ Qwen3-32B، كان لنحو 90% من أقطاب العصبونات فيها وظيفة رئيسية واحدة، وغالبًا مع تفرعات ذات صلة؛ وكانت لنحو 7% وظيفتان مترابطتان؛ وظل نحو 2–4% بلا تفسير. والقطب هو الجانب الموجب أو السالب من استجابة العصبون، لذا ينبغي ألا تُقرأ هذه الأرقام كتعداد مكتمل لعصبونات كاملة. ويقول المقال إن التقديرات تتغير بحسب عتبات التنشيطات الضعيفة وعمق الدائرة والحكم على ما يُعد وظيفة واحدة. ويعرض Cammarata أيضًا أمثلة تفاعلية لعصبونات ودوائر، بما فيها تدخلات تغير إجابة النموذج. وهي توضح نهجه في التقصي، لكن المقال ليس قياسًا لقابلية التفسير عبر النماذج اللغوية خضع لمراجعة الأقران وأُعيد إنتاج نتائجه بشكل مستقل.

التمييز بين أثر حسابي مفيد وتفسير كامل مهم. [كتب Neel Nanda، الباحث في قابلية التفسير لدى Google DeepMind، في رد علني](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) أن رسوم الإسناد القائمة على العصبونات قد تساعد في الإجابة عن أسئلة عملية حول سبب تصرف النموذج بطريقة معينة. ويتوقع أيضًا أن تُغفل هذه الرسوم قدرًا كبيرًا من الحسابات، كما قد يحدث مع أساليب تتبع أخرى. ولا يرى المقال تقدمًا جوهريًا نحو إجراء هندسة عكسية كاملة للنماذج أو حل مشكلة قابلية التفسير.

اعتراض Nanda التقني أكثر تحديدًا من رفض العصبونات أداةً للبحث. فهو يرى أن التراكب يظل احتمالًا معقولًا، خصوصًا للمعلومات الممثلة عبر المجرى المتبقي والحسابات التي تشمل عصبونات كثيرة. ويشتبه في أن التنشيطات الضعيفة للعصبونات في النماذج اللغوية قد تحمل معلومات ذات معنى لم يتناولها المقال على نحو كافٍ. ويجادل Cammarata في قسم منفصل بأن التنشيطات الضعيفة يمكن غالبًا حذفها بكلفة محدودة، وأن بعض آثارها يعكس فروقًا دقيقة. والمثال العددي لتجربة الإزالة الذي يعرضه هناك مأخوذ من نموذج رؤية. ولا يزال الخلاف قائمًا حول مدى إمكان تعميم تلك الأدلة على النماذج اللغوية.

بالنسبة إلى الباحثين والممارسين في مجال السلامة، الطرح المباشر منهجي: فدراسة عصبونات الشبكة الأصلية مع مدخلاتها ومخرجاتها والتدخلات عليها قد تكشف أكثر مما يكشفه اسم عصبون أو معرض تنشيطات وحده. وتتيح الورقة المصاحبة الموعودة فرصة لفحص أساليب دراسة النموذج اللغوي واختبار حدود هذا الطرح. ولا يثبت المقال ولا رد Nanda أن هذه التفسيرات تجعل أنظمة الذكاء الاصطناعي أكثر أمانًا.

## المصادر وقراءات إضافية

- [Nick Cammarata، «Neural Networks Are Already Clean»](https://already-clean.goodfire.com/) (Goodfire، 15 أكتوبر 2026). يقدم المقال البحثي غير الرسمي وفرضية العمل للمؤلف إعادة تحليل الدوائر، وتفسير التعميم العودي، والتقديرات الأولية لـ Qwen3-32B. وتصف ملاحظاته حساسية التقديرات للعتبات وورقة تقنية مصاحبة مرتقبة.
- [رد Neel Nanda على المقال](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) (نقاش على LessWrong، تم الاطلاع عليه في 19 أكتوبر 2026). يرى Nanda قيمة عملية في التقصي القائم على العصبونات، لكنه يعترض على ادعاءات إحراز تقدم كبير نحو قابلية تفسير كاملة، ويقول إن التراكب والتنشيطات الضعيفة ما زالا مهمين.

## Sources

- [Nick Cammarata، Neural Networks Are Already Clean](https://already-clean.goodfire.com/) — مقال بحثي غير رسمي وفرضية عمل لباحث في Goodfire. يقدم إعادة تفسير لدوائر محددة، والتعميم العودي المقترح، وتقديرات أولية لأقطاب Qwen3-32B؛ وتؤثر التعريفات والعتبات في هذه التقديرات. ويشير المصدر إلى أن ورقة تقنية مصاحبة أكثر اكتمالًا ستصدر لاحقًا.
- [رد Neel Nanda على Neural Networks Are Already Clean](https://www.lesswrong.com/posts/x4kvabkF2Jk8GLZp8/linkpost-neural-networks-are-already-clean) — تعليق علني للباحث في Google DeepMind، Neel Nanda. يرى قيمة عملية محتملة في الإسناد القائم على العصبونات، لكنه يعترض على ادعاءات أوسع بشأن قابلية التفسير، ويؤكد أن التراكب والتنشيطات الضعيفة ما زالا ذوي صلة. وردّه نقد من خبير، وليس إعادة إنتاج للنتائج.