Goodfire 研究员 Cammarata 发文称神经网络「本来就是干净的」：多义神经元多半是工具和训练问题，不是叠加
Goodfire 的 Cammarata 10 月 15 日发文：多义神经元证据被误读，InceptionV1 末层约 99% 可解释；同行已提出五点质疑。
10 月 15 日，可解释性研究者 Nick Cammarata 在 Goodfire 发布长文《Neural Networks Are Already Clean》（神经网络本来就是干净的），副题自称「工作假说」（working hypothesis）。文章的核心主张是：机制可解释性领域过去十年积累的经典证据——多义神经元（polysemantic neurons，一个神经元对多个不相关概念放电）——大多是对工具和训练配置的误读，而不是网络本身把概念胡乱打包。Cammarata 估计，在现代架构的 InceptionV1（早期领域模型生物）里，末层约 99% 的神经元可以理解；对 Qwen3-32B 的初步审计显示约 90% 的神经元极点有单一主职。如果成立，机制可解释性的前景比大家担心的好得多；但同行很快提出了具体的技术质疑。
要点
- Cammarata 认为叠加假说（superposition，用特征多于维度来解释多义性）对 InceptionV1 是错误解释：真正的原因是架构问题和特征可视化工具的缺陷，两者都大部分可修。
- InceptionV1 末层在原始训练下几乎无可解释神经元；换用「更合理的现代正则化」重训后约 70% 可解释，同尺寸 ConvNeXt 约 99%——模型没变，变的只是训练配置和观测工具。
- 对 Qwen3-32B 的初步审计估计约 90% 神经元极点只有一个主要功能，约 7% 有两个相关功能，只有约 2–4% 尚无法理解；配套审计报告尚未独立复现。
- 研究员 Liv Gorton 10 月 20 日发表五点技术批评，认为文章对著名神经元 4e:55 的「V 检测器」新解释经不起她自己列出的测试。
背景
机制可解释性这个领域的起点，是一批「多义神经元」的发现。Anthropic 的《Toy Models of Superposition》和 Circuits 系列把叠加假说变成主流解释：网络想表达的特征比神经元多，于是把多个概念挤进同一个神经元，所以一个神经元才会同时响应猫脸和汽车前脸。这个图景某种程度上是悲观的——如果网络内部是一团任意纠缠的绳子，理解它就格外困难，对齐工作也因此更显紧迫。Cammarata 过去多年在 Distill 和 Anthropic 的可解释性工作里是核心作者，这次在 Goodfire 发文相当于对自家传统叙事的正式反水，这也是它在圈内几天内传开的原因。
事实部分
文章自述的三个可检验主张如下（均为作者一方的数字）：
| 主张 | 数字 | 出处 |
|---|---|---|
| InceptionV1 末层可解释比例（原始训练） | 「几乎没有」 | 文章第 1 节 |
| 同架构、现代正则化重训后 | 约 70% | 文章第 1 节 |
| 同尺寸 ConvNeXt | 约 99% | 文章第 1 节 |
| Qwen3-32B 神经元极点单一主职 | 约 90%，另有约 7% 两个相关功能、约 2–4% 未理解 | 初步审计，标注阈值敏感 |
| 适用范围 | 「最高到数万亿参数的模型」（提及 Kimi K3，细节留待配套论文） | 文章第 4 节 |
需要注意的限定：全文明确标注为 working hypothesis；Qwen3-32B 的 90% 是「初步审计」加「最宽松的度量标准」下的估计，作者自己加了脚注说明阈值选取会影响数字；配套的 Qwen3-32B 审计报告截至发稿尚无独立复现。文章本体是一个 65 分钟阅读量的交互页面，特征可视化图可在线探索，另有纯文本版本和致谢（Curt Tigges 提供语言神经元方面的工作，Tarun Gogineni 参与编辑）。
各方说法
Liv Gorton（独立可解释性研究员，《Missing Curve Detectors》作者）10 月 20 日发表《Some Initial Thoughts on Nick Cammarata’s “Neural Networks Are Clean”》，五点批评：一是 4e:55 这个最著名的多义神经元——文章说是 V 检测器——在她测试里不成立：最高激活是动物脸而非明显 V 形，合成 V 刺激只到约 25% 峰值响应，把 V 刺激做圆角处理不降响应，上游 V 检测器消融无效；二是文章反驳的叠加定义（「不相关概念的打包」）不是此前论文实际用的定义，在标准定义下相关特征放进叠加并不奇怪；三是她按文章方法重做「压通道」实验，top-1 准确率是 61.78% 而文章报 58.35%，且她看到的傅里叶环结构反而符合叠加理论预测；四是她与 Olah 2023 年的工作被错误引用；五是「递归泛化」不解释网络如何计算，区分成组概念仍然绕不开叠加要解决的问题。她的结论是：在独立核对之前，不宜在这篇文章上更新太多。文中注明 Cammarata 读过草稿并做了澄清回应。
社区热度与此形成对照：Hacker News 10 月 21 日的相关提交只有 3 分、0 评论，未上首页；GitHub 上倒是出现了几份阅读笔记仓库，把它列为精读材料。
编辑判断
值得认真对待但不必急着改结论。这篇文章的分量在于作者本人就是叠加叙事的缔造者之一，他给出的交互式证据（ConvNeXt 末层 explorable、Qwen 神经元放大图）是新数据，不是空口翻案；如果「多义性大多是普通工程问题」成立，机制可解释性会从「解一团乱麻」变成「修几个 bug」，对 AI 安全的投入方向都有影响。但 Gorton 的批评 hit 在要害上：4e:55 的复测是公开可做的，若文章连这个最著名例子的新解释都撑不住，其余主张的置信度要整体打折。对工程师而言，眼下可以带走的只有方法：诊断「神经元不干净」时，先把正则化和可视化工具列为嫌疑对象，再谈概念纠缠。后续看两件事：配套 Qwen3-32B 审计报告的独立复现，以及 Gorton 列出的测试是否被正面回应。可解释性这个方向我们此前在 KAN 一作刘子鸣创办元环智能（架构层面换可解释性）和 模型隐匿行为的可解释性限制（讨论固定输入无法排除影响）里各写过一角，这篇文章补的是「神经元到底干不干净」这一层。
接下来
- 配套 Qwen3-32B 初步神经元审计报告的独立复现结果（文章预告将扩展到 Kimi K3 等数万亿参数模型）。
- Liv Gorton 五点批评的正式回应，尤其是 4e:55 的复测数据。