The Blessing of Dimensionality in LLM Fine-tuning: A Variance-Curvature Perspective

Summary

The Blessing of Dimensionality in LLM Fine-tuning

• 核心: 提出一个统一的机制假说：LLM fine-tuning 的 reward landscape 只有少量 curvature-active directions；这些 stiff modes 解释早期进步，大量 weak modes 中积累的随机性解释后期退化，同一低维结构也让小 population ES 仍能碰到改进方向。
• 方法: 用 Gaussian-smoothed ES 观察 reward geometry；用 quadratic OU/AR(1) toy model 构造 rise-then-decay 的充分机制；再以 one-step best-of-$N$ perturbation 和 perturbation-SLQ 检查 Qwen2.5-Instruct 0.5B 到 7B 的局部 reward landscape。
• 结果: 在 GSM8K、ARC-C、WinoGrande 的固定 train pools 上，best-of-$N$ 曲线约在 $N=30$ 到 40 后进入 diminishing returns，且没有随模型规模系统右移。这个结果支持“improving tail 在所测尺度上没有消失”，但没有直接测出 curvature dimension，也不等于端到端 ES 已被证明可扩展。
• Sources: paper | website
• Rating: 2 - Frontier（provisional）: 问题和统一视角值得跟进，但机制识别、指标定义和复现 artifact 还不足以支撑 Foundation。

Key Takeaways:

1. 这篇的 delta 是 curvature，而不是再讲一次 intrinsic dimension: 它把局部 Hessian 谱、optimizer noise 与 ES population 联系起来；不要把 $N\approx 30$ 误读成 intrinsic dimension 约为 30。
2. toy model 给的是充分机制: heterogeneous relaxation rates、固定噪声和特定 initialization 可以严格产生 rise-then-decay；真实 LLM 的下降是否由这套机制引起，论文没有完成 causal identification。
3. 主实验直接支持 tail accessibility 在所测规模内没有明显恶化: 从 0.5B 到 7B，固定 population 仍能在某些局部 $\sigma$ 下找到正向 perturbation。它没有验证 improving perturbations 确实共享同一个 top-curvature projection。
4. ES noise model 与 OU abstraction 没有接上: vanilla ES estimator noise 的显式 prefactor 约为 $1/(N{\sigma }^2)$，但 OU toy model 直接采用 ${\sigma }^2/N$。因此“减小 $\sigma$ 就会降低真实 ES update noise”不是本文推导出的结论。

Teaser. 作者把两种几何直觉画成 needle-in-a-haystack 与 many-prize regions；后者要求 projected improving set 保持 non-negligible、且不随规模显著缩小的 Gaussian mass。

---

论文在问什么

出发点有两个。

1. ES 的 scale 反常识：weight-perturbation ES 用有限个随机方向估计更新。经典 zeroth-order worst-case intuition 预期 sample complexity 会随 ambient dimension $D$ 迅速恶化，但前作已经观察到 $N\approx 30$ 也能 fine-tune billion-parameter LLM。
2. 固定随机性下的 rise-then-decay：在 Qwen2.5-1.5B-Instruct / GSM8K 上，ES 与 GRPO 的 training reward 都可能先升、到峰值、再回落；population 或 group size 会改变 peak time 与下降幅度。

Figure 1. ES 与 GRPO 的 motivating observation。两种方法都只展示单一 model/task，GRPO 曲线更噪；这是一条现象证据，不是共享机制的识别实验。

论文的 central hypothesis 是：决定局部优化的不是参数总数，而是一个规模增长更慢的 curvature-active subspace。少数 stiff directions 提供主要 improvement signal，weak directions 则提供大量近似冗余自由度，并在 constant noise 下缓慢积累 variance。

这里需要区分三个维度概念和一个经验量：

概念	问的是什么	本文是否直接测量
Ambient dimension $D$	模型有多少参数	是，比较 0.5B 到 7B
Intrinsic dimension / $d_{90}$	随机 $d$ 维子空间能否训练到目标性能	否，见 Intrinsic Dimension 与 SAID
Curvature-active dimension $k$	局部 reward Hessian 的谱质量集中在多少方向	只在 Appendix G.10 给出定义不完整的 proxy
Accessibility	$N$ 次随机 perturbation 能否碰到 reward distribution 的正向右尾	是，best-of-$N$ 是主实验

所以，本文可靠的新信息是 accessibility across scale；“因为 $k$ 很小，所以 accessible”仍是对数据的解释。

ES 为什么能充当 reward-geometry probe

对不可微、离散或 sampling-defined 的 task reward $J(\theta )$，ES 实际优化 Gaussian-smoothed objective：

$$J_{\sigma }(\theta )={\mathbb{E}}_{\epsilon \sim \mathcal{N}(0,I)}[J(\theta +\sigma \epsilon )],\nabla J_{\sigma }(\theta )=\frac{1}{\sigma }\mathbb{E}[J(\theta +\sigma \epsilon )\epsilon ].$$

用 $N$ 个 perturbations 做 Monte Carlo：

$${\hat{g}}_t=\frac{1}{N\sigma }\sum _{i=1}^{N}J({\theta }_t+\sigma {\epsilon }_i){\epsilon }_i,{\theta }_{t+1}={\theta }_t+\alpha {\hat{g}}_t.$$

$\sigma$ 同时决定 probe 的空间尺度与 estimator statistics。论文利用这一点，把 ES 当成 coarse-grained landscape probe，而不是把 optimizer benchmark 当作本文的主贡献。在真实 landscape 上，toy model 中的 $C$ 应对应 $J_{\sigma }$ 的局部 Hessian，不一定等于 raw reward $J$ 的 Hessian；改变 $\sigma$ 也会改变被探测的 geometry。

两种 noise scaling 不能混为一谈

Section 3 写出 $\mathrm{Cov}(\hat{g}-\nabla J_{\sigma })\approx {\Sigma }_{\mathrm{est}}/(N{\sigma }^2)$；Section 4 的 toy model 随后直接假设 additive update noise 为 $\alpha \sigma \epsilon /\sqrt{N}$，即 diffusion $\kappa ={\sigma }^2/N$。后者是一个 ES-like abstraction，不是从前者推出。固定 $\sigma$ 只改变 $N$ 时，两者都有 $1/N$ 趋势；一旦讨论 $\sigma$ schedule，差异就不能忽略。

Rise-then-decay：toy model 真正证明了什么

在局部 maximizer 附近，论文用 quadratic reward

$$J(\theta )=1-\frac{1}{2}{\theta }^{\top }C\theta ,C⪰0,$$

以及 additive-noise ascent

$${\theta }_{t+1}=(I-\alpha C){\theta }_t+\alpha \frac{\sigma }{\sqrt{N}}{\epsilon }_t,{\epsilon }_t\sim \mathcal{N}(0,I)$$

隔离 curvature 与 noise 的作用。对 eigenvalue ${\lambda }_i$，对应 mode 是 AR(1)：

$$x_{i,t+1}=a_i{x}_{i,t}+b{\xi }_{i,t},a_i=1-\alpha {\lambda }_i,b=\alpha \sigma /\sqrt{N}.$$

对 ${\lambda }_i>0$ 且 $|a_i|<1$ 的 stable modes，其 mean 按 $a_i^t$ 衰减，stationary variance 为

$$v_{i,\infty }=\frac{\alpha {\sigma }^2}{N{\lambda }_i(2-\alpha {\lambda }_i)}.$$

把 expected reward 相对 terminal plateau 的偏差写开：

$$\mathbb{E}[J_t]-J_{\infty }=\sum _{{\lambda }_i>0}{A}_i{e}^{-{\gamma }_{i}t},A_i=-\frac{1}{2}{\lambda }_i(x_{i,0}^2-v_{i,\infty }),{\gamma }_i=-2\log |1-\alpha {\lambda }_i|.$$

由此可见，peak 需要的不只是“stiff modes + noise”：

• stiff modes 初始离 optimum/noise equilibrium 较远，$A_i<0$；它们快速衰减，使 reward 先升；
• weak modes 初始优于最终 noise floor，$A_i>0$；它们慢慢积累 variance，使 reward 后降；
• 两组 mode 必须有不同 relaxation rates，amplitude 还要足以令 peak 落在 $t>0$。

这在 toy model 中是解析成立的 sufficient mechanism。exactly flat modes 在 additive noise 下是 random walk，没有 stationary variance，因此也被排除在上述公式外。真实 ES/GRPO trajectory 是否满足局部 quadratic、isotropic and state-independent noise、single-basin 与对应 initialization 条件，论文没有验证。

GRPO 还多一层 operator mismatch：update dynamics 由 surrogate-loss Hessian 决定，Figure 1 画的却是 task reward。Appendix C 的解释隐含两者局部对齐，但没有测量这种对齐。

Appendix F 的 Countdown 也比文字结论弱。Figure 10 中 $N=10$ 有清楚的 train/test decay，$N=20$ 主要是平台或轻微回落，$N=30$ 的 training reward 到 2000 iterations 仍在上升；这不支持“all population sizes exhibit pronounced rise-then-decay”。该图也没有给 model、split size、$\sigma$、step size、seed、重复次数或 error band。

数学审计：附录里三个容易被略过的问题

1. mixed signs 还不够：假设 ${\gamma }_h>{\gamma }_l$（例如取 $\alpha <1/{\lambda }_h$），two-mode 情况除 $A_h<0,A_l>0$ 外，还需要 ${\gamma }_h|A_h|>{\gamma }_l{A}_l$ 才有 $t_{\mathrm{peak}}>0$。论文把 mixed signs 写成 peak 的充分条件，少了 rate ordering 与这条 inequality。
2. 更强的 timescale separation 不必然让 peak 更晚：其闭式解同时改变 numerator 与 denominator，正文的单调性描述不由公式保证。
3. Appendix 的 $d_{\mathrm{eff}}$ 不是 stiff dimension：

$$d_{\mathrm{eff}}(\alpha )=2\sum _{{\lambda }_i>0}\frac{1}{2-\alpha {\lambda }_i}.$$

当 $\alpha {\lambda }_i\ll 1$ 时，它趋近 $\mathrm{rank}(C)$；每个再小但非零的 eigenvalue 都贡献约 1。Figure 3 虽标出 $d=16$ stiff modes，但其 112 个 weak modes 的 ${\lambda }_l=0.05>0$，所以小步长下 $d_{\mathrm{eff}}\approx 128$，不是 16。任意 weak mode 都要经过约 $1/(\alpha {\lambda }_i)$ 的时间才接近 equilibrium；这个 infinite-horizon quantity 在 $\alpha {\lambda }_i\to 2$ 时还会发散并超过 $D$。它更像 stability-weighted rank，不是 outlier/stiff directions 数量。

主实验：固定 population 能否接触 improving tail

论文令 $U\in {\mathbb{R}}^{D\times k}$ 张成假设中的 curvature-active subspace，$z=U^{\top }\epsilon$，并额外假设 finite-$\sigma$ improvement 主要由这个 projection 决定。若 projected improving region 为 $\mathcal{A}$，full-space improving set 被写成

$$\mathcal{G}=\{\epsilon :U^{\top }\epsilon \in \mathcal{A}\},p_{\mathrm{imp}}=\mathrm{Pr}(U^{\top }\epsilon \in \mathcal{A}).$$

固定 $z$ 的 preimage 是 $D-k$ 维 affine subspace，作者称这种 many-to-one structure 为 degeneracy。这个 cylinder equality 不是 low-rank Hessian 自动带来的：orthogonal gradient、weak-but-nonzero curvature 与 higher-order terms 都可能让同一 $z$ 对应不同 reward。即使 projection-only assumption 成立，高维 fiber 本身也不保证高 probability mass；accessibility 仍取决于 $\mathcal{A}$ 在 Gaussian measure 下有多大。

Probe protocol

维度	设置
Models	Qwen2.5-Instruct 0.5B / 1.5B / 3B / 7B
Tasks	GSM8K、ARC-C、WinoGrande 的 training split，binary reward
Evaluation	每任务固定 $P=320$ prompts；greedy decoding；generation seed 42
Perturbation	${\theta }^{\prime }=\theta +\sigma u$，$u\sim \mathcal{N}(0,I)$，不做 norm normalization
Candidate pool	每个 condition 每 batch 有 $M=240$ candidates；独立 batch 数 $S$ 未披露
Population	$N\in \{5,10,20,30,50\}$；从 candidate pool 无放回抽取并估计 expected maximum
Numeric	模型以 bfloat16 加载；perturbation arithmetic dtype 未说明；正文提到 baseline drift checks，但后文没有报告

核心 proxy 是

$${\Delta }_N^{\ast }(\theta ,\sigma )=\mathbb{E}\left[\underset{i\le N}{\max }\Delta R_i\right],\Delta R_i=R(\theta +\sigma {\epsilon }_i)-R(\theta ),$$

并用 ${\Delta }_N^{\ast }/(1-R_0)$ 做 headroom normalization。这个归一化会放大 near-saturated model 的离散误差：GSM8K-7B 的 $R_0\approx 0.94$，一个 prompt 的 raw accuracy step 是 $1/320=0.003125$，归一化后约为 0.052；relative gain 0.2 只对应约四个 prompts。

Figure 6. 主实验的直接结果：固定 $\sigma =3\times 10^{-4}$ 时，四种规模的 best-of-$N$ 曲线约在 $N=30$ 到 40 后进入 diminishing returns；固定 $N=30$ 时，每个任务都存在保持正向 right tail 的局部 $\sigma$。

这张图支持的结论很具体：在这四个 checkpoints、三个 train pools 和所测 $\sigma$ 中，没有观察到 population requirement 随参数量系统恶化。它不能单独建立以下更强结论：

• best-of-$N$ 选出一个好 candidate，不等于 reward-weighted ES update 有足够 SNR，也不等于多步训练稳定；
• expected maximum 天然有 diminishing returns；$N\approx 30$ 的 flattening 不是 curvature dimension 的估计；
• 实验没有估计 $U$、$k$，也没有做 top eigenspace 与 orthogonal complement 的 structured-noise ablation，因而没有直接验证 degeneracy；
• winner 在同一个 320-prompt pool 上被选择和汇报，没有独立 holdout 重新评估；固定 pool 避免了在 max 内 bootstrap 的额外 inflation，但没有消除 selection bias；
• $u$ 未归一化，$\Vert \sigma u\Vert \approx \sigma \sqrt{D}$。跨规模固定 per-coordinate $\sigma$ 并不等于固定 parameter-space radius。
• Appendix 的 $N_{90}$ 只是达到有限 $N_{\max }=50$ 所得 improvement 的 90%，不是 infinite-population asymptote；Figure 16 还出现了 protocol grid 以外的 $N_{90}$，计算或插值方式未交代。

另一个实用边界是 scale sensitivity：较大的 $\sigma$ 会把整个 outcome distribution 推向负侧；论文确实展示了这类 failure regime。所谓 blessing 不是“任意 random search 都可行”，而是“存在一个足够 local 的尺度窗口”。

Appendix G.10：定义不完整的 curvature proxy

论文还在 GSM8K 的 100 个 train prompts 上，对 $J_{\sigma }$ 使用 perturbation-based HVP + SLQ，报告 $|{\lambda }_{\min }|$、negative spectral mass、participation ratio 与 effective rank。

Figure 17. participation ratio 与 effective rank 随模型规模下降，构成对 central hypothesis 的直接 proxy；但图中数值约为 $10^{-8}$，标准定义本应不小于 1，说明这里至少做了未披露的 normalization 或尺度变换。

Appendix 没有给 smoothing $\sigma$、perturbation HVP estimator、Monte Carlo sample 数、Lanczos steps/probes，也没有定义这两个 concentration metrics 及其 normalization。Figure 17 虽报告 5 seeds，caption 的 “seed variability” 也没有说明 error bar 是 SD、SE 还是其他统计量。若 metrics 按参数量 $D$ 归一化，图只说明 relative spectral concentration 增强；absolute active dimension 仍可能缓慢增长。官网把它概括成“larger models exhibit lower effective curvature dimension”，比当前证据更强。

Practical implications：目前只是待验预测

如果 curvature-variance mechanism 成立，几种干预自然出现：靠近 peak 时 early stop；随训练增大 $N$ 或降低 effective noise；使用 layerwise、low-rank 或 learned-covariance perturbations 对准 active subspace；把 perturbation exploration 与 gradient update 混合。

论文没有对这些 intervention 做 LLM ablation。尤其是“减小 $\sigma$ 可降低 ES update noise”受前述 noise-scaling gap 影响，不能直接从 toy model 搬到 Algorithm 1。下一步需要能推翻该机制的实验，而不只是更多 accessibility curves：

1. 在训练 trajectory 上同时估计 reward Hessian top subspace、update-noise covariance 与 mode-wise bias/variance；
2. 比较 top-subspace、orthogonal-complement 与 isotropic perturbations，检验 right tail 是否真的由前者控制；
3. 对 best candidate 使用独立 holdout，并跨 model family、checkpoint 与 reward 类型复现；
4. 用 fixed-${\ell }_2$、weight-relative 和 layer-normalized noise 排除 parameterization confound。

---

关联工作

基于

• Intrinsic Dimension: 定义随机子空间达到目标性能所需的最小维数。本文借用“高 ambient dimension 不代表高 effective dimension”的问题意识，但没有重测 $d_{90}$。
• SAID: 已观察到 LM fine-tuning intrinsic dimension 很低，且可能随 model size 下降。本文新增的是 reward-defined zeroth-order setting、rise-then-decay dynamics 与 local tail-accessibility probe。
• Evolution Strategies at Scale: 本文直接前作，提供 $N\approx 30$ 可进行 billion-scale LLM fine-tuning、并可与 RL baselines 比较的经验事实；本文没有重新完成 optimizer benchmark，而是在解释该现象。

对比与边界

• LoRA: low-rank update parameterization 不等于 low intrinsic dimension，也不等于 low curvature dimension。本文只把 LoRA 当作低维 adaptation 的旁证。
• RandOpt: 直接把 improving-tail accessibility 变成 sample-select-ensemble 算法，但没有测 Hessian 或 curvature-active subspace；它支持「tail 可被利用」，不独立支持本文的曲率机制。
• Hessian bulk + outliers / tiny sharp subspace: 近零 bulk、少数 outliers 与 GD 集中在小 sharp subspace 都是已有结果。本文的增量是把这条线接到 LLM task reward、ES population 与 non-monotonic dynamics。
• Constant-step OU analyses: stationary covariance 与 noise floor 已有成熟分析；本文的新组合是 mixed relaxation rates + mixed-sign amplitudes 对 rise-then-decay 的解释。
• 权重空间几何: 本文应放在“局部 curvature / optimization dynamics”分支，而不是 representation-space dimensionality 分支。

---

论文点评

Strengths

1. 问题选得好：它没有把“小 population ES 能 work”只当工程现象，而是追问哪类 geometry 会让 worst-case dimensionality intuition 失效。
2. 机制足够简单，可被推翻：quadratic mode decomposition 把 signal exhaustion 与 variance accumulation 写成闭式条件；即便 central hypothesis 最后不成立，这个 sufficient mechanism 仍是有用的 baseline explanation。
3. 主实验公开 failure window：论文同时报告 mean、$p(\Delta R>0)$、每个 condition 的 $M=240$ empirical histogram、best-of-$N$、$N_{90}$ 与 large-$\sigma$ failure，没有只展示有利尺度。

Weaknesses

1. 解释链缺少 alignment test：主实验测 tail mass，没有证明 improving perturbations 的投影落在 top-curvature subspace，更没有排除一阶 gradient alignment 本身即可产生 dimension-insensitive right tail。
2. ES-to-OU bridge 没有推导：$1/(N{\sigma }^2)$ 与 ${\sigma }^2/N$ 的差别使 noise scheduling 建议缺乏直接理论依据。
3. curvature proxy 定义不全：Figure 17 的 normalization、HVP 与 SLQ 配置均缺失，absolute curvature dimension 无法解释或复现。
4. 外部效度窄：单一 Qwen family、四个尺寸、三个标准任务、train-split binary reward、单步 local probe。它支持 0.5B 到 7B 内“未见恶化”，不支持 asymptotic 或 architecture-general claim。
5. 若干数学文字比公式更强：two-mode peak 少写 amplitude inequality；$d_{\mathrm{eff}}$ 更接近 rank 而非 stiff dimension；timescale separation 与 peak time 的单调关系也没有成立。

可信评估

Artifact 可获取性

• 代码: 未开源。arXiv、作者主页与 Cognizant 页面均未链接官方 repository。
• 模型权重: 使用公开 Qwen2.5-Instruct checkpoints；没有需要发布的新 checkpoint。
• 训练细节: reward-probe 的 models、tasks、$P$、$M$、$\sigma$ grid、generation seed 与 best-of-$N$ resampling 写得较清楚；独立 perturbation batch 数 $S$、2000-subset resampling seed、Figure 1/10 的完整训练超参、Figure 17 的 HVP/SLQ 配置未披露。
• 数据集: GSM8K、ARC-C、WinoGrande 均公开；论文称保存了 candidate bitstrings，但没有发布 numerical data。

Claim 可验证性

• ✅ 固定 $P=320$ train-prompt pool 上，所测 perturbation distribution 的 empirical upper tail 在 0.5B 到 7B 内没有系统消失：Figure 6 直接支持，且附录用 empirical histograms、$N_{90}$ 与 $q_{0.95}$ 补充；这不是 held-out improvement claim。
• ✅ quadratic additive-noise model 可以产生 rise-then-decay：Appendix A 的 AR(1) 分解给出充分机制，但需补上 positive peak-time 的 amplitude 条件。
• ⚠️ 真实 ES/GRPO 的 decay 来自同一 curvature-variance mechanism：未测 trajectory 上的 eigenspace、noise covariance 或 mode-wise dynamics，其他 nonstationarity 与 basin hopping 也可产生下降。
• ⚠️ best-of-$N$ accessibility 来自 low-dimensional curvature / degeneracy：没有直接测 $U$、$k$ 或 improving perturbations 的 projection equivalence。
• ⚠️ curvature-active dimension 随规模变得更小：Figure 17 只给单任务 qualitative proxy，且 normalization 未定义；最多支持 relative concentration 可能增强。
• ❌ high dimensionality 本身让优化更容易：当前数据只排除了所测范围内的明显恶化，没有建立维度增加的正因果效应。

Notes

• 沿着 Update-Anchored Post-Training 的一个直接问题是：能否从早期 update trajectory 估计 curvature-active subspace，再用它构造后期低噪声、structured perturbation？这会把本文的解释变成算法，也给出清楚的 falsification route。
• 与 Sparsity Curse 有一处表面张力：本文说少数 stiff modes 主导 improvement，Sparsity Curse 则强调 RLVR update 大量落在 off-principal directions。两篇的 objective、curvature 与观察尺度并不相同，不能直接当作矛盾；可区分两种解释的实验是同时测 task-reward Hessian、surrogate-loss Hessian 与实际 update decomposition。
• Cognizant 官网称 probe 包含 Llama 与 Qwen，但论文的 scaling experiment 只列 Qwen2.5-Instruct。笔记以论文正文为准。

Rating

Metrics (as of 2026-07-10): citation=5, influential=0 (0.0%), velocity=0.94/mo; HF upvotes=1; github N/A（未找到官方仓库）

分数：2 - Frontier（provisional） 理由：它提出了一个 simple、可证伪、直接关联 LLM post-training dynamics 的统一 lens，并用跨规模 reward probes 给出初步支持，因此暂列 Frontier 而非 Archived。它还不是 Foundation：核心构件大量继承 intrinsic-dimension、Hessian 与 OU 工作，curvature-to-accessibility 的机制链尚未被直接验证，Figure 17 又缺定义与 artifact。若后续没有跨 model family 的复现和 eigenspace ablation，应降为 1；若该 framework 被社区实质继承并发展成可靠 probe/optimizer，再考虑升为 3。