概念 ｜ 同一个神经元（或某个激活方向）会对多个语义上互不相关的概念产生强响应，而不是各自只编码一个清晰特征。
是什么
在神经网络里，我们最朴素的期待是：某个神经元 = 某个概念。比如一个神经元专门在「看到狗」时激活，另一个专门在「文本是法语」时激活。这种「一个神经元对应一个可解释概念」的理想状态叫 monosemanticity（单义性）。
Polysemanticity（多义性） 是与之相反的、被大量实际观测到的现象：单个神经元会被一堆毫无关联的概念同时点亮。一个经典的（示意性的）例子是：某个视觉神经元同时对「猫脸」「汽车前脸」和「某种几何花纹」激活——这三者在人类语义里没有共同点，但它们共用了同一个神经元。语言模型里同样普遍：一个神经元可能同时响应「DNA 相关词汇」「HTTP 请求」「某种标点模式」。
形式上，如果我们把神经元 的激活看成输入 的函数 ，monosemantic 意味着存在单一可命名特征 使得 基本只随 变化；polysemantic 则是 同时由多个无关特征 驱动：
而这些 之间没有语义联系。注意：多义性不局限于「单个神经元」这种坐标轴方向，残差流中任意一个方向都可能是多义的——见 残差流。
为什么重要（动机）
Polysemanticity 是机制可解释性（mechanistic interpretability）绕不过去的核心障碍，理解它是理解后续一整套方法的前置：
- 它让 neuron-level 解释失效。 早期可解释性的默认范式是「逐个神经元找它代表什么概念」。如果神经元本身就是多义的，那么「这个神经元代表什么」这个问题根本没有干净的答案——你给它贴的任何单一标签都是错的或不完整的。这直接动摇了「读神经元就能读懂网络」的假设。
- 它解释了为什么网络「看起来乱」。 当你发现激活和你预期的概念对不上、一个单元在各种风马牛不相及的输入上都激活时，往往不是网络没学到结构，而是结构以多义的、纠缠的方式存储着。
- 它定义了「解开纠缠」这个目标。 既然原始神经元是多义的，可解释性的一大方向就变成：能不能找到一组新的坐标（特征），让每个特征重新变回单义？这正是 特征与字典学习 和 sparse autoencoder（SAE Monosemanticity）想做的事——SAE 的核心动机就是把多义的神经元激活重新表达成大量单义 feature 的稀疏组合。
关键细节
1. 区分「现象」与「成因」（重要且常被混淆）。 Polysemanticity 是一个观测到的现象——神经元就是对多个无关概念激活，这一点没有争议。叠加 则是对这个现象提出的一种机制性解释：当需要表示的特征数量超过维度数时，网络把多个特征「叠」在同一组方向上，迫使神经元承载多个特征，从而表现出多义性。叠加假说（见 Toy Models of Superposition）给出了一个干净的、可在玩具模型里复现的因果故事。
但要诚实：superposition 不是 polysemanticity 的唯一可能成因（这是已知的 caveat，不是定论）。其他可能来源包括——优化过程的偶然性导致无关特征碰巧共享神经元、ReLU 等非线性带来的特征混合、或仅仅是我们用错了「特征」的定义。换句话说：观测到多义性，并不等于就证明了叠加在发生。把两者画等号是常见误解。
2. 多义 ≠ 网络没学好。 反直觉的是，多义性往往是网络在容量受限下的高效选择，而非缺陷。Toy model 实验显示，当特征稀疏（大多数时候不出现）时，把多个特征塞进同一方向、靠稀疏性减少冲突，反而能让网络表示更多特征。所以多义性可能是「特征数 ≫ 维度数」这一现实约束下的理性结果。
3. 它和 线性表示假说 的关系微妙。 线性表示假说认为特征对应残差流里的线性方向。多义性不否定这一点——可以是「特征是线性方向，但这些方向数量远多于维度、彼此非正交地挤在一起」，神经元（标准基方向）于是同时投影到多个特征方向上而显得多义。这个图景的标量化程度、在大模型上是否成立，仍是 active 的研究/争议。
与其他概念的关系
- 叠加：对多义性最主流的机制解释（特征数超过维度→压缩共享）。但记住：现象 vs 成因要分开，叠加是解释之一而非唯一。
- 特征与字典学习：把「解开多义性」操作化的框架——寻找一个超完备字典，使原始激活分解为单义特征的稀疏组合。
- Monosemanticity：用 sparse autoencoder 从多义神经元里恢复 monosemantic features 的代表性工作，可视为对本概念的直接回应。
- 残差流：多义性不只出现在神经元基方向上，残差流里任意方向都可能多义——这是为什么要在「方向」而非「单元」层面找特征。
- 电路：多义性是电路分析的麻烦来源——如果节点（神经元）本身多义，沿着它们追踪计算路径就会把不相关的语义混在一起，使电路解释失真。