串讲 ｜ 三条线（读残差流 / 证因果画电路 / 找干净单位）在 2025 收敛成一个工件，方法重心从「激活」转向「参数 / 函数空间」乃至「训练即可读」。与此同时，一波有效性批判直接拆向地基。主线从「找到一个可解释的东西」转为「证明解释忠实、可用、且能 scale」。 ｜ 2026-06
这一段在谱系里的位置
前三段各自留下一个没解决的问题，2025 的工作正是对它们的三重回应：
- Lenses（读残差流）只能读不能证：Logit Lens 把中间激活投到词表「看见」了中间预测，但看见不等于证明因果。
- Interventions / Circuits 单位多义：patching / ACDC / IOI 能在 head/neuron 粒度上做因果干预、画出 电路，但分析单位被 superposition / 多义性 污染——一个 neuron 同时管好几件事，电路读起来语义糊、也不 scale。
- Features（字典）未必忠实：SAE 用稀疏字典把激活拆成单义方向，找到了「干净的单位」，但「这个 feature 看起来代表 X」不等于「模型真的用它算 X」——忠实性 悬而未决。
2025 这一段做了四件事：(1) 把三条线收敛进一个能 scale 到生产模型的工件（attribution graphs）；(2) 把分解对象从激活搬到参数空间（APD→SPD），从源头绕开 superposition；(3) by-construction，训练时就逼出可读电路，把范式从 post-hoc 推向 intrinsic；(4) 一波有效性 / 可识别性批判，直击「线性假设 + 因果抽象」这个共同地基。 主线由此从「找到一个可解释的东西」转向「证明这个解释忠实、可用、且能 scale」。
一、三线收敛：Attribution Graphs / Circuit Tracing
Circuit Tracing（Anthropic, 2025）是这段的标志性整合工件。它的思路很直接：与其在原模型上吃力地找电路，不如先把整个模型换成一个由可解释 feature 构成的「替身模型」(replacement model)，再在替身上画因果图。这样节点天然可读、边天然可算。
它的核心结构是 cross-layer transcoder (CLT)：用稀疏 feature 替换 MLP，每个 feature 在本层读 残差流、却能向后续所有 MLP 层写出，把「同一概念跨多层延续」收进单个 feature（相比 per-layer transcoder，平均归因路径从 3.7 缩到 2.3）。再针对单个 prompt 构造 local replacement model：冻结 attention 与 normalization 分母、对每层加一个 error node（原 MLP 输出 − CLT 重构），于是整张前向在这条 prompt 上被精确线性化，feature→feature 的边权退化成一个带 stop-gradient 的 Jacobian。剪枝 + 人工聚 supernode 后就得到一张 feature 级的 attribution graph。
这正是三条线的收敛：节点用 SAE 的 feature、边用 patching/causal 的 Jacobian、输出节点用 lens 的 logit 贡献，第一次拧进一个能在 Claude 3.5 Haiku 这种生产级模型上跑通、且开源的 artifact。配套的 Biology 篇用它做了十余个因果可验证的机制解剖：Dallas→Texas→Austin 的真·中间步、诗歌换行处提前规划押韵词、加法的 lookup-table 机制（且模型口头自述「进位」与实际机制矛盾——一个干净的 faithfulness 失配案例）、幻觉的 known/can’t-answer 开关、jailbreak 的延迟拒答。
相对前作的 delta：相比 SAE 的「静态单层字典」，它是「跨层、可替换 MLP、能算出因果连边」的动态电路；相比 ACDC / IOI 的 head 级手工/半自动电路，它在 feature 粒度自动产图且 scale 到生产模型。
边界（作者自己也写得很清楚）：① attention 完全不被解释，QK 电路（注意力如何形成）在图外，对 induction、检索、长上下文这类「靠 attention 选址」的行为图「essentially useless」，这是方法论缺口而非工程瑕疵；② dark matter：Haiku 重构误差 21.7%，相当部分计算走 error node 没被解释；③ mechanistic faithfulness 存疑：干预后高层扰动偏差累积、feature→下游影响 Spearman 仅 0.72，「替身=原模型同一机制」更多是希望；④ 它是单 prompt 局部解剖，不是全局电路；⑤ 整套线性化建立在 线性表示假设 上，feature splitting/absorption 已是该假设在数据上漏气的信号。
第⑤点直接引出下一步：既然激活空间的字典/电路一直被 superposition、feature splitting 这些根病拖累，能不能干脆不分解激活、改去分解参数？
二、参数空间转向：APD → SPD
APD→SPD（Apollo / Goodfire, 2025）做的就是这个 reframe——把可解释性的分解对象从激活搬到权重：直接把网络参数向量 分解成一组最小描述长度的 parameter components（机制），而非像 SAE 那样分解激活。理由很基本：gradient descent 把机制「刻」进的是参数，那机制就应当在参数空间里找。
APD 用三条损失操作化「好的分解」：faithfulness（各 component 相加还原原权重，）、minimality（任一输入只需激活极少数 component，靠 gradient attribution + top- 稀疏前向实现）、simplicity（每个 component 尽量低秩、跨层尽量少）。其中 faithfulness 约束有个漂亮的结构性后果：component 之和必须等于原权重，于是不能像字典那样无成本地加元素来提升稀疏度——从结构上堵死了 feature splitting，这是它比 SAE「靠调字典大小」更有原则的地方。
SPD 是让这条路可扩展的后继，逐条针对 APD 的三宗罪（每个 component 与全网同大→内存爆、对 top- 超参极敏感、gradient attribution 不可靠）：改成分解为 rank-one subcomponent、用可学习的 causal importance function + 随机掩码采样替代 attribution 与 top-（把「机制重要性」定义为「它在该输入上有多不可 ablate」），并加 importance-minimality 损失。结果是在 APD 测过的全部 toy model 上恢复 ground-truth 机制，还攻下 APD 搞不定的 hidden-identity TMS 与更深的跨层模型。
相对前作的 delta：与 attribution graphs 仍在 activation-space（feature on activations）相对，APD/SPD 是一条正交的新家族——直接拆参数，架构无关（attention/MLP/SSM 无需改方法）。同属 2025-2026 这条参数/函数空间支线的还有 Inference Manifolds 与 Circuit Lasso。
边界：最大软肋是只在 toy model 验证。所有「参数视角能化解 SAE 难题、可 scale 到 LM」目前都是 conjecture，零真实模型证据；SPD 只产单层 rank-one subcomponent，「拼成完整跨层机制」缺通用 clustering 算法（toy model 里靠已知 ground-truth 隐式完成）；且整条路线仍默认机制是「离散、可分离、低秩、近似线性叠加」的，与 LRH 同源，若真实机制高度纠缠就两头受挤。换句话说：它绕开了激活的 superposition，却没绕开线性可分这个更深的赌注。
三、by-construction：训练即可读（intrinsic 转向）
前两者仍是 post-hoc——对已固定的模型事后逆向，永远要和 fidelity gap 搏斗。另一条路索性在训练时就把可读性「烤进」模型：Weight-Sparse Transformers / Circuit-Sparsity（Gao et al., OpenAI, 2025；arXiv 2511.13653）训练时把绝大多数权重置零，使每个 neuron/连接作用孤立，得到原生可读的电路，并用此刻画 capability–interpretability frontier（能力与可解释性的可达边界）。
这把方法从 by-design：解释不再是外挂逼近，模型结构本身就是解释。但 intrinsic 的老批判同样适用：「可解释外观」≠ 因果忠实（concept leakage 式风险），稀疏结构是否就是真实因果路径仍需 post-hoc 因果检验来确认；而 capability–interpretability frontier 本身就坦白了 transparency–performance 权衡在前沿规模上目前确实要掉点。它给出的不是免费午餐，而是一个把代价摆上台面的坐标。
四、对地基的反思：有效性与可识别性批判浪潮
如果说前三节是在「造更好的工具」，这一节是在问「这些工具的结论到底算不算数」。矛头直指整条谱系共享的地基：线性表示假设 + 因果抽象。
最锋利的一击是 Non-Linear Representation Dilemma（2507.08802, NeurIPS 2025 spotlight）：它证明，只要允许 alignment map（featurizer）是非线性的，几乎任意网络都能被「完美」因果抽象到任意算法。这把 DAS 那条「学一个旋转 把高层因果变量对齐到子空间、再用 interchange intervention 验证」的路线推到墙角：要让结论非平凡就必须限制 featurizer 容量，但「在哪划线」缺乏原则性依据。它其实是 DAS 自己埋下的种子的兑现——DAS 早就诚实报告过：在随机初始化网络上，只要隐维远大于输入维，IIA 也能被搜到 0.64。即「找到对齐」与「制造对齐」在高容量下无法区分。这把整个 alignment-search 范式「验证了因果抽象」的 claim，降级为「在某个人为选定的容量预算下验证」，直接削弱它作为 忠实性证据的力度，也是对 LRH 边界最尖锐的拷问。
与之呼应的是电路非唯一性 / identifiability 批判（Méloux et al., 2025；Sharkey 的 Open Problems 提出的 streetlight effect）：同一行为可由多个都通过因果检验、却互不相同的电路描述，分解非唯一、多靠人判——我们往往只在「路灯下」（方法好做的地方）找钥匙。这与 忠实性 note 里「忠实 ≠ 逼近唯一真相」的论点同构：忠实只能是「在某个抽象层级上与计算因果一致」，做 claim 时必须显式声明抽象层级与容差，否则「忠实」会被偷换成「我的解释是对的」。
这波批判不是虚无主义，而是给整段定了新标准：有效性（validity）本身要被当作一等的研究对象。配套出现的还有 alignment auditing games（Marks et al., 2025；2503.10965）：盲测可解释方法能否真把模型藏起来的目标挖出来，把「方法有没有用」做成可证伪的实验。
五、新对象与新出口：推理模型、内省、控制
收敛与批判之外，2025 也把可解释性铺向新对象：
- 推理模型的可解释性：Thought Anchors（Bogdan et al., 2025；2506.19143）把因果归因从 token 级抬到长 CoT 的句级——用 counterfactual resampling + receiver heads + attention suppression 三种互补方法，找出哪些句子是真正驱动后续推理的「锚点」。这是把电路/因果思路适配到「reasoning trace」这一新结构上的尝试。
- 自解释 / 内省：让模型自陈内部计算是否可信？Transluce 的 self-explanation 工作（2511.08579）与 Anthropic 的 concept injection（注入概念向量测模型能否真「内省」到它）都在测一件事——模型的自我报告何时忠实、何时是事后编故事（呼应 Biology 篇里加法「进位」的自述与真实机制相悖）。
- 定位→控制的应用出口：RepE 的 steering（沿概念方向加减改 honesty/harmlessness）、ROME / MEMIT 的知识编辑，是把「定位到一个方向/权重」直接变成对齐旋钮的应用分支。但要记住它的结构性限制：「干预改变行为」≠「理解了机制」。control 至多证明某方向与行为有因果关联，不揭示底层计算，是 忠实性讨论里最好的反例（详见大 Topic 的应用节）。
Through-line
这一段的主线：谱系在 2025 收敛成了能 scale 的工件，分解对象从激活走向参数、从 post-hoc 走向 by-construction；与此同时，一波有效性批判把所有「我找到了一个可解释的东西」的 claim 重新降级为假设。重心由此从「找到」转向「证明它忠实、可用、且能 scale」。 已知的是：attribution graphs 能在生产模型上产因果可验证的机制叙事；争议的是：它的 dark matter / mechanistic faithfulness、APD/SPD 的 toy-model 局限、以及 alignment-search 在容量不受限时的空洞性。这些都把领域逼向「先定义什么叫有效的解释，再谈方法」。
以上四段（读残差流 → 证因果画电路 → 找干净单位 → 2025 收敛与反思）的整体脉络、跨段 pattern 与矛盾，收束于 方法谱系（大 Topic，Stage 4）。