Locating and Editing Factual Associations in GPT (ROME)

Summary

Locating and Editing Factual Associations in GPT (ROME)

• 核心: 用 causal mediation analysis（Causal Tracing）定位 GPT 中事实关联的存储位置 → 发现集中在中层 MLP、且在 subject 最后一个 token 处，并据此用一个 rank-one 权重更新（ROME）直接改写单条事实。
• 方法: (1) Causal Tracing：clean / corrupted / corrupted-with-restoration 三跑测量每个 hidden state 的 indirect effect；(2) 把 MLP 的 $W_{proj}$ 视作 linear associative memory，闭式求解一个 rank-one update $\hat{W}=W+\Lambda (C^{-1}{k}_{\ast }{)}^T$ 写入新 $(k_{\ast },v_{\ast })$。
• 结果: GPT-2 XL / GPT-J 上 ROME 在自建 CounterFact 数据集同时拿下 generalization 与 specificity（Score 89.2 / 91.5），而 FT、KE、MEND、KN 都在二者之间顾此失彼；并提出 CounterFact 这一区分「真改写 vs 表层复读」的难评测集。
• Sources: paper | website | github
• Rating: 3 - Foundation —— 「定位→编辑」(locate-then-edit) 范式与 activation patching/Causal Tracing 的奠基之作，直接催生 MEMIT 等一整条知识编辑工作线。

Key Takeaways:

1. Causal Tracing 把「事实存在哪」做成可测量的因果量：不靠 probing 的相关性，而靠 corrupt-then-restore 的 indirect effect，避开了 probe 与模型行为脱节的老问题。
2. 事实关联是 localized 的（三维定位）：MLP 模块 × 中间层 × subject 最后一个 token。这是一个强经验发现，也是后续争议的焦点。
3. 定位与编辑互为验证：ROME 在哪个 layer/token 改写最有效（Fig 5），与 Causal Tracing 测出的 decisive states 高度吻合——“where” 和 “how” 互相印证。
4. rank-one 闭式编辑：把 MLP 第二层当 linear associative memory，一条事实 = 一个 $(k_{\ast },v_{\ast })$ 键值对，闭式解一步写入，无需训练 hypernetwork。
5. CounterFact 把评测从「复读」升级到「改写」：用 bleedover（邻近主体）、consistency、fluency 等维度，暴露了 FT/KE/MEND 的 generalization–specificity tradeoff。

Teaser. Causal Tracing 总览——三跑（clean / corrupt subject / restore 单个 state）测量每个隐藏状态对恢复正确预测的因果贡献，热图揭示中层 MLP 在 subject 末 token 的 ‘early site’。

---

ROME 这篇的真正贡献是把一个解释性假说做成了可证伪、可操作的闭环：先用因果方法定位事实存在哪（Causal Tracing），再用一个最小化的权重干预去验证「就在这里、就这么存」（ROME 编辑），两端互为 ground truth。下面按这条主线拆。

1. 问题设定：把事实表示成 $(s,r,o)$

每条事实是一个 knowledge tuple $t=(s,r,o)$——subject、relation、object。给 GPT 一个描述 $(s,r)$ 的自然语言 prompt，看它预测 $o$（“The Space Needle is located in the city of” → “Seattle”）。模型按标准自回归 transformer 在 residual stream 上逐层累加 attention 与 MLP 贡献：

Equation 1. Residual stream 更新（自回归形式）

$$h_i^{(l)}=h_i^{(l-1)}+a_i^{(l)}+m_i^{(l)},m_i^{(l)}=W_{proj}^{(l)}\sigma \left(W_{fc}^{(l)}\gamma (a_i^{(l)}+h_i^{(l-1)})\right)$$

符号说明：$h_i^{(l)}$ 第 $l$ 层第 $i$ 个 token 的隐藏态；$a$/$m$ 为 attention/MLP 贡献；MLP 是两层网络（$W_{fc}$ 升维 + 非线性 $\sigma$，$W_{proj}$ 降维写回）。 含义：MLP 的输出 $m$ 通过 $W_{proj}$ 加回残差流——这正是后面 ROME 要动的那个矩阵。

2. Causal Tracing：定位「事实存在哪」

这是本文的方法论核心，本质是一种 activation patching 的 corrupt-then-restore 变体，建立在 causal mediation analysis (Pearl 2001; Vig et al. 2020) 之上。三次前向：

• Clean run：正常输入事实 prompt，收集全部 $h_i^{(l)}$。
• Corrupted run：在 embedding 处给 subject 的所有 token 加噪 $h_i^{(0)}:=h_i^{(0)}+ϵ$（$ϵ\sim \mathcal{N}(0,\nu )$，$\nu$ 取 embedding 经验标准差的 3 倍），让模型「忘掉」subject，通常给出错误答案。
• Corrupted-with-restoration：在加噪基础上，把某一个 $(\hat{i},\hat{l})$ 的隐藏态强制还原为 clean 值，其余继续带噪计算。若这一个 state 就能把正确预测救回来，说明它对该事实因果上至关重要。

Indirect Effect (IE) = ${\mathbb{P}}_{\ast ,\text{clean }{h}_i^{(l)}}[o]-{\mathbb{P}}_{\ast }[o]$，在 1000 条事实上平均得 AIE。

❓ corruption 用「加高斯噪声」而非 token 替换/mean-ablation，本身是一个设计选择。后来 Zhang & Nanda (2023) 指出 noise corruption 会把模型推到 OOD 分布，使 tracing 结果对 corruption 方式敏感——这是 Causal Tracing 可信度的一个已知裂缝。

关键结果（Fig 2）：GPT-2 XL 上 AIE 出现两个峰：(a) 末 token 最后几层的 ‘late site’（意料之中，临近输出），以及 (b) subject 末 token、中间层的 ‘early site’——这是新发现。分解后，early site 由 MLP 主导（AIE 峰值 6.6%），attention 在此处只有 1.6%；attention 的作用在 late site。

Figure 2. 单组件平均 indirect effect——(a) hidden state；(b) 仅 MLP；(c) 仅 attention。early site 的 MLP 信号是定位事实存储的依据。

进一步用 severed-MLP 的 modified causal graph（path-specific effect）确认：切断 MLP 后低层 state 的因果效应消失，而切断 attention 无此现象——坐实中层 MLP 计算在事实回忆中的必要角色。

由此提出 Localized Factual Association Hypothesis：每个中层 MLP 接收编码 subject 的输入、输出关于它的记忆属性；中层 MLP 累积信息，再由高层 attention 拷贝到末 token。并大胆推测（基于 Zhao et al. 2021 的层可交换性）：任一条事实可等价存在中段任意一个 MLP 层里，层的具体选择/排列无特殊作用。

❓ 这个「任意中层皆可」的推测很强，也是 ROME 只改单层就 work 的隐含前提；但它与后续 fact localization 的批评（见点评）直接相关。

3. ROME：把 MLP 当 linear associative memory，rank-one 写入

承接 Geva et al. (2021) 「MLP 是 key–value memory」的观察，但换成 linear associative memory 视角（区别于 Geva 的 per-neuron 视角）：把 $W_{proj}$ 看作一个线性键值存储 $WK\approx V$。要插入新键值对 $(k_{\ast },v_{\ast })$，在全连接层有闭式解：

Equation 2. Rank-one 更新（ROME 核心）

$$\hat{W}=W+\Lambda (C^{-1}{k}_{\ast }{)}^T,\Lambda =\frac{v_{\ast }-W{k}_{\ast }}{(C^{-1}{k}_{\ast }{)}^T{k}_{\ast }}$$

符号说明：$W$ 原 $W_{proj}$；$C=K{K}^T$ 是 key 的未中心化协方差（从 Wikipedia 文本预缓存）；$\Lambda$ 正比于新键值对在旧记忆上的残差。 含义：在「尽量不动其它记忆 $\Vert \hat{W}K-V\Vert$」的约束下精确满足 $\hat{W}{k}_{\ast }=v_{\ast }$——一步代数即插入一条事实。

Figure 4. 用 ROME 编辑单个 MLP 层——(a) key $k_{\ast }$ 由 subject 决定，(b) value $v_{\ast }$ 优化以选出目标 object，(f) rank-one update 写入。

剩下是选 $k_{\ast }$ 和 $v_{\ast }$：

Equation 3. 选 $k_{\ast }$ 表征 subject（在 $l^{\ast }$ 层、subject 末 token、非线性之后取激活，对若干随机前缀求平均）

$$k_{\ast }=\frac{1}{N}\sum _{j=1}^{N}k(x_j+s),k(x)=\sigma \left(W_{fc}^{(l^{\ast })}\gamma (a_{[x],i}^{(l^{\ast })}+h_{[x],i}^{(l^{\ast }-1)})\right)$$

Equation 4. 优化 $v_{\ast }$ 编码新事实 $(r,o^{\ast })$

$$\frac{1}{N}\sum _{j=1}^N\underset{\text{(a) 最大化 }{o}^{\ast }\text{ 概率}}{\underbrace{-\log {\mathbb{P}}_{G(m_i^{(l^{\ast })}:=z)}\left[o^{\ast }\mid x_j+p\right]}}+\underset{\text{(b) 控制 essence drift}}{\underbrace{D_{\mathrm{KL}}\left({\mathbb{P}}_{G(m_{i^{\prime }}^{(l^{\ast })}:=z)}[x\mid p^{\prime }]\Vert {\mathbb{P}}_G[x\mid p^{\prime }]\right)}}$$

含义：(a) 让该 MLP 在末 subject token 输出 $z$ 时模型预测目标 $o^{\ast }$；(b) KL 项约束 “{subject} is a” 的预测不漂移，保住 subject 的「本质」。注意：优化的是激活向量 $v_{\ast }$，不直接动权重；权重更新只在 Eq.2 一步完成。三步：求 $k_{\ast }$ → 优化 $v_{\ast }$ → 代入 Eq.2 写入。

4. 评测：CounterFact 与「定位↔编辑」互证

zsRE（Table 1）：ROME efficacy 99.8、paraphrase 88.1、specificity 24.2，与 hypernetwork 持平。但作者自己指出 zsRE 的 specificity 不敏感（unrelated fact 抽样太散，真正的 bleedover 发生在邻近主体上），于是构造更难的 CounterFact。

CounterFact：21919 条反事实（起始分数低于真事实，排除「模型本来就觉得对」的水分），用 Efficacy / Paraphrase（generalization）/ Neighborhood（specificity，邻近主体不被改）/ Consistency / Fluency 多维度衡量，主指标 Score S 是 ES/PS/NS 的调和平均。

Table 4（节选）CounterFact 定量结果

Editor	Score S↑	Efficacy ES↑	Generalize PS↑	Specificity NS↑	Fluency GE↑
GPT-2 XL (base)	30.5	22.2	24.7	78.1	626.6
FT	65.1	100.0	87.9	40.4	607.1
FT+L	66.9	99.1	48.7	70.3	621.4
KN	35.6	28.7	28.0	72.9	570.4
KE	52.2	84.3	75.4	30.9	586.6
MEND	57.9	99.1	65.4	37.9	624.2
ROME	89.2	100.0	96.4	75.4	621.9
GPT-J ROME	91.5	99.9	99.1	78.9	620.1

核心读法：所有非 ROME 方法都犯 F1（过拟合反事实、不泛化）或 F2（欠拟合、把无关主体也改了）之一——FT 高泛化但毁邻近主体（NS 40），FT+L 反之（PS 49）。只有 ROME 同时守住 generalization 与 specificity。

定位↔编辑互证（Fig 5）：在 GPT-2 XL 的每个 (layer, token) 组合上做 ROME，编辑最成功的位置——subject 末 token、中间层（第 18 层泛化峰值）——恰好落在 Causal Tracing 标出的 early site。这把「事实存在哪」和「改哪里有效」两条独立证据钉在了一起。

Figure 5. 各 layer×token 的 ROME 编辑效果——峰值在中层 MLP、subject 末 token，印证 Causal Tracing。

Human eval：相比 FT+L，评测者认为 ROME 与插入事实一致的可能性高 1.8×，但流畅度低 1.3×——ROME 引入了一些其它指标没抓到的 fluency 损失。

5. 局限（作者自述）

ROME 定位是「理解知识存储机制的工具」，不是实用训练方法：一次只改一条事实；关联是有方向的（“Seattle 的地标是 Space Needle” 与反向需各编辑一次）；只研究了事实关联，未涉及逻辑/空间/数值知识；即使改写成功，模型仍会编造无依据的新「事实」。规模化多条编辑交给后续 MEMIT。

---

关联工作

基于

• Causal Mediation Analysis (Pearl 2001; Vig et al. 2020b): Causal Tracing 直接把 indirect effect 这一因果中介量用到 hidden state 上；ROME 是其在 transformer 内部的 paired-intervention 实例化。
• FFN as Key–Value Memories (Geva et al. 2021): ROME 的 associative-memory 视角承接此说，但从 per-neuron 改为 linear associative memory，才得到闭式 rank-one 解。
• Rewriting a Deep Generative Model (Bau et al. 2020): rank-one 写入新键值对的约束最小二乘思路来自此，ROME 在全连接层把它做成闭式。

对比

• FT / FT+L (Zhu et al. 2020): 直接微调单层；暴露 generalization–specificity tradeoff。
• KE (De Cao et al. 2021) / MEND (Mitchell et al. 2021): hypernetwork 预测权重更新；ROME 无需训练辅助网络即可匹敌甚至超过。
• KN / Knowledge Neurons (Dai et al. 2022): 同样改 MLP 行，但靠 gradient attribution 选神经元、加 scaled embedding；CounterFact 上几乎无效（F1+F2）。

方法相关 / 被 follow

• MEMIT (Meng et al. 2022, arXiv 2210.07229): ROME 的直接续作，把 rank-one 扩成一次性 mass-editing 数千条事实——「定位→编辑」线的规模化。
• Activation Patching：Causal Tracing 是这一通用 localization 技术的早期、有影响力的实例，后续 ACDC、attribution graphs 等 circuit-discovery 工作沿 causal-intervention 主线发展。
• Patchscopes：把「干预隐藏态读取信息」的思路统一框架化，可视为 tracing/patching 家族的后继。

---

论文点评

Strengths

1. 方法论闭环优雅：locate（Causal Tracing）与 edit（ROME）互为验证，Fig 5 把两端钉在同一 (layer, token) 上——这种「用干预证明定位」的范式比单纯 probing 强得多，是本文最大贡献。
2. 简洁可 scale 的内核：rank-one 闭式更新无需训练、一步完成；被 MEMIT 直接继承放大，证明了内核的延展性。
3. CounterFact 是真正的评测贡献：把知识编辑从「能否复读目标词」推进到「是否真改了事实、且不波及邻居」，bleedover/consistency/fluency 多维度暴露了此前 SOTA 的虚高，是方向级的基础设施。
4. 因果优于相关：用 causal mediation 绕开 probing classifier 与行为脱节的老问题，grounding 更硬。

Weaknesses

1. localization 假说的因果地位被后续工作动摇：Hase et al. (2023, “Does Localization Inform Editing?“) 发现 causal tracing 定位的层与 ROME 编辑最有效的层并不一致——可以在 tracing 没标出的层成功编辑。这直接挑战了本文 Fig 5「定位↔编辑互证」的强解读：编辑成功 ≠ 事实就存在那里。
2. corruption 方式的鲁棒性：noise-based corruption 把激活推向 OOD，Causal Tracing 结果对 corruption 规则敏感（作者在 appendix 测了其它规则，但 Zhang & Nanda 2023 给出更系统的质疑）。
3. linear associative memory 是强假设：把 $W_{proj}$ 当线性键值存储，隐含了事实以线性、近似正交的方式叠加（与 linear representation hypothesis 同源）。但在 superposition 下特征远多于维度、键并不正交，rank-one 写入对其它记忆的干扰可能被低估——CounterFact 的 NS 守住，不等于 vault 里全部 entangled 记忆都没被扰动。
4. 方向性与单条限制：一次一条、单向，距「可信地维护模型知识」很远；且即便改写成功模型仍会编造下游事实，说明改的是局部关联而非一致的世界模型。
5. fluency 退化：human eval 自承 ROME 文本更不流畅，提示 rank-one 干预对生成分布有副作用。

可信评估

Artifact 可获取性

• 代码: inference + 完整评测套件（Causal Tracing notebook、ROME 实现、baselines、CounterFact 评测脚本）开源，GitHub kmeng01/rome，含 Colab demo。
• 模型权重: 不发布新权重——编辑施加在公开的 GPT-2 XL (1.5B) 与 GPT-J (6B) 上。
• 训练细节: ROME 无训练；超参（layer 选择、$C$ 的估计、$v_{\ast }$ 优化设置）在正文 + Appendix E 给出，hparams JSON 随仓库提供，可复现。
• 数据集: CounterFact（21919 records）开源，随仓库与 project page 发布。

Claim 可验证性

• 可信：ROME 在 CounterFact 同时达成 generalization+specificity：Table 4 + 开源代码 + 后续大量独立复现（EasyEdit 等编辑库默认收录 ROME）。
• 可信：中层 MLP / subject 末 token 是事实回忆的 decisive site：Causal Tracing + Fig 5 双重证据，方法与数据公开。
• 存疑：「定位↔编辑互证 ⇒ 事实就存储在该处」：Fig 5 相关性成立，但「因果定位即存储位置」的强解读被 Hase et al. (2023) 的反例打折——相关不等于该处即唯一/真实存储。
• 存疑：「任一中层 MLP 可等价存储任一事实」：基于层可交换性的推测，论文未直接验证，属 conjecture。

Notes

• 谱系定位：这是因果谱系的双起点——Causal Tracing 把 activation patching 用于「定位事实存储」，ROME 把定位变成「rank-one 编辑」；二者合体开创 locate-then-edit 线，被 MEMIT 等直接 follow。对 survey 而言，ROME 是「causal intervention → localization → intervention-as-validation」这一方法论的样板，也是「localization 是否真的 inform editing」这一后续争论的源头。
• 与 SAE/dictionary learning 线的张力值得在 survey 里对照：ROME 假设事实是 localized + 近线性可寻址；superposition 线则强调特征 distributed、entangled。两条线对「知识在哪、以什么形式存」给出不同本体论。

Rating

Metrics (as of 2026-06-27): citation=N/A (S2 IP throttled), influential=N/A, velocity=N/A; HF upvotes=1; github 768⭐ / forks=165 / 90d commits=0 / pushed 798d ago · stale

分数：3 - Foundation 理由：尽管今日 S2 被限流拿不到精确引用数，ROME 的奠基地位有充分的结构性证据：它同时贡献了 Causal Tracing（activation-patching 式定位的早期标杆）、locate-then-edit 范式（被 MEMIT 直接续作放大）、以及 CounterFact（知识编辑的 de facto 评测集，被 EasyEdit 等编辑库默认收录）。只读 rating=3 的论文就能理解「知识编辑 / 因果定位」这条线的起点——这正是 Foundation 的准入门槛。GitHub 已 stale（798 天未更新）只反映其作为「机制理解工具、非生产方法」的定位（作者自述），不削弱其历史奠基性，故不降档。