概念 ｜ 把网络内部某个组件当作 mediator（中介变量），用 do-干预去度量「输出效应中有多少是经由这个组件传导的」，从而把可解释性问题翻译成一句因果语言：选什么 mediator × 怎么搜它。
是什么
因果中介分析（Causal Mediation Analysis, CMA）原本是统计与社会科学里的工具：当我们说「X 影响 Y」时，往往想进一步追问——这个影响是 X 直接作用于 Y，还是 X 先改变了某个中间变量 M，再由 M 传导到 Y？M 就是 mediator。
把这套框架搬进神经网络：输入 X 是 prompt，输出 Y 是 logits / 某个预测，而 mediator M 就是网络内部我们感兴趣的任意中间量——某个 neuron、某个 attention head 的输出、residual stream 上的一个向量、甚至一个学出来的子空间方向。CMA 要问的是：模型从输入到输出的因果效应里，有多少是流经 M 的？
核心动作是 do-干预（intervention）而非观察相关。光看「M 在正确预测时数值更大」只是 correlation；要建立因果，必须主动改写 M 的值然后看输出怎么变。具体地，做一次 interchange intervention（也叫 interventional / activation 替换）：
- 跑一个 base 输入（比如「The capital of France is」），记下它在组件 M 上的激活；
- 跑一个 source 输入（比如「The capital of Italy is」），把它在 M 上的激活抠出来、塞回 base 的前向计算中，其余部分保持 base 不变；
- 看 base 的输出从「Paris」是否被推向「Rome」。
如果输出被显著地朝 source 方向拉动，就说明 M 中介了「国家 → 首都」这条信息通路。这正是 Activation Patching 在做的事——CMA 是它背后的因果理论框架。
两个核心量：
- Indirect Effect (IE)：固定输入不变、只把 mediator M 替换/损坏后，输出发生的变化。它度量「经由 M 传导的那部分效应」。
- Direct Effect (DE)：把 M 之外的所有路径切断（或反过来只动其它路径）后残留的效应，即「绕过 M」的部分。
直觉上 total effect ≈ direct + indirect（在可加近似下）。一个组件若 IE 大、DE 小，说明任务效应主要从它流过；反之则它不是关键节点。
为什么重要（动机）
对刚接触可解释性的读者，最该带走的一点是：「这个 neuron / head 重要」这种话本身没有严格含义，除非你说清楚是在什么干预下、对什么输出、相对什么 baseline。 CMA 提供的正是这套缺失的精确语言。
它的统一价值在于：表面上五花八门的 mechanistic interpretability 方法，其实都是 CMA 的特例，区别只在两个旋钮——
- 选什么作 mediator（neuron？head？residual 子空间？SAE 学出的 feature？）
- 怎么搜它（穷举 patch？梯度归因？学一个最优的子空间旋转？）
这正是 Aaron Mueller 等人提出的 「right mediator」坐标系 的主张：与其争论「activation patching vs DAS vs SAE 哪个对」，不如认识到它们是同一张因果地图上的不同坐标点。理解 CMA，就拿到了读懂后续所有干预类方法的总钥匙。
关键细节
-
Necessity vs Sufficiency 是两种不同的问题，对应两种不同的干预（已知，且常被混淆）：
- Necessity（必要性）：M 对输出是否必需？做法是破坏 M（置零、加噪、或换成 corrupted run 的值），看输出是否崩坏。这回答「没有它行不行」。
- Sufficiency（充分性）：M 是否足以导致输出？做法是从一个 corrupted/不同的 base 出发，只把 M 注入成正确值，看输出是否被救回。这回答「光有它够不够」。 一个组件可以 necessary 而不 sufficient（它是必经之路但还需别的配合），反之亦然。只测一边会得出片面结论——这是阅读 patching 类论文时要警惕的常见缺陷。
-
interchange intervention（替换式干预）优于「置零」（多数人共识）：直接把激活清零会把网络推到训练分布之外（off-distribution），产生的崩坏可能源于「这个值很反常」而非「这条信息没了」。用另一个真实输入的激活去替换，能让网络仍待在合理的激活分布内，干预更干净。
-
IIA（Interchange Intervention Accuracy）是检验「因果假说」的指标（已知）：当我们提出一个假说——「mediator M 编码的就是变量 V」——可以系统地做 interchange：对每一对 (base, source)，按假说预测「替换 M 后输出应该变成什么」，再统计实际输出符合预测的比例，这个比例就是 IIA。IIA 高 = 该 mediator 的行为与我们设想的因果抽象（causal abstraction）一致。DAS (Distributed Alignment Search) 就是用梯度去学一个线性子空间作为 mediator，使 IIA 最大化——即「怎么搜 mediator」这一旋钮上的一个强力答案。
-
CMA 衡量的是 causal influence，不直接等于 faithful explanation（争议/边界）：一个组件 IE 大，只说明它在因果上参与，不保证我们对它「在算什么」的语义解读是对的。高 IIA 也只是与某个预设的因果抽象相符，换一个抽象可能同样拟合。因此 CMA 结果仍需 Faithfulness 层面的额外审视，不能把「干预有效」直接当成「解释正确」。
与其他概念的关系
- Activation Patching 是 CMA 在神经网络里最直接的操作化身：patching 就是做 interchange intervention 来估计 indirect effect。可以说 CMA 是「为什么 patching 能建立因果」的理论解释。
- DAS 把 CMA 的 mediator 从「人工指定的 neuron/head」推广到「梯度学出来的分布式线性子空间」，并用 IIA 作为优化目标——是「怎么搜 mediator」旋钮上的代表方法。
- Faithfulness：CMA 给出因果强度，但解释是否忠实于模型真实计算，是另一个需要独立验证的问题；两者互补而非等价。
- 在 Mueller 的「right mediator」视角下，把 mediator 选成 dictionary feature（如 SAE 学出的方向）、residual stream 上的向量、或单个 circuit 组件，得到的就是 SAE 干预、residual patching、circuit analysis 等不同方法——它们共享同一套 indirect/direct effect 的因果记账。