Jacobian、Hessian 与 SVD：神经网络训练中的敏感度、曲率与低秩结构

数学基础 ｜ Jacobian 是局部的「一个空间里的变化，怎样传到另一个空间」；SVD 找出这张线性映射最敏感的输入与输出方向；Hessian 描述 scalar objective 的 slope 怎样随参数继续变化。三者经常在同一篇论文里出现，但它们分析的未必是同一个矩阵，也未必活在同一个空间。｜ 2026-07

这篇教程面向一个很具体的阅读目标：看到论文里的 Jacobian spectrum、Hessian top eigenspace、low-rank update 或 directional curvature 时，能够先写出对象和 shape，再判断作者究竟测了什么。重点是 neural network、LLM training 与 post-training，不追求完整的 matrix calculus 推导。

0. 先把对象钉住

统一使用下面的记号：

$$\theta \in {\mathbb{R}}^D,z=f_{\theta }(x)\in {\mathbb{R}}^M,L(\theta )=\ell (z)\in \mathbb{R}.$$

这里 $\theta$ 是模型的全部独立 parameters，shape 为 $D$；$z$ 是选定的 vector output，shape 为 $M$；$L$ 是最后用于训练或评测的 scalar objective，shape 为 $1$。对 LLM，$z$ 可以是一个 token 的 vocabulary logits，也可以把多个 tokens、prompts 或 hidden states 摊成一个长向量。$M$ 取决于论文选择观察什么。

整篇可以先压成这张图：

$$\delta \theta \in {\mathbb{R}}^D\stackrel{J}{\to }\delta z\in {\mathbb{R}}^M\stackrel{({\nabla }_z\ell {)}^{\top }}{\to }\delta L\in \mathbb{R}.$$

$J$ 是 $M\times D$ 的 Jacobian。它把一个 parameter perturbation 映射成 output change；$({\nabla }_z\ell {)}^{\top }$ 再把 $M$ 维 output change 映射成一阶 scalar loss change。图里的 arrows 都是原函数在当前点的 local linearization，不是完整的 nonlinear forward pass。Hessian 最终描述这个 scalar signal 在 parameter space 中的二阶变化。

先记住四个对象：

对象	Shape	它回答的问题
Gradient $g={\nabla }_{\theta }L$	$D$	scalar objective 对每个 parameter 的局部 slope 是什么
Jacobian $J=\partial z/\partial \theta$	$M\times D$	parameter perturbation 会怎样改变 vector output
SVD $A=U\Sigma V^{\top }$	取决于 $A$	一个 linear map 最敏感、最不敏感的方向是什么
Hessian $H={\nabla }_{\theta }^{2}L$	$D\times D$	gradient 怎样随 parameters 改变

阅读这些公式时按一个固定顺序：先问谁对谁求导，再写 shape，最后谈 spectrum、rank 或 geometry。

1. Derivative、gradient 与三类容易混淆的导数

1.1 Derivative 的核心是局部线性近似

对 scalar function $f:\mathbb{R}\to \mathbb{R}$，如果当前点附近二阶可微，一元导数满足

$$f(t+ϵ)=f(t)+f^{\prime }(t)ϵ+O({ϵ}^2).$$

$t$、$ϵ$、$f(t)$ 和 $f^{\prime }(t)$ 都是 scalar；$O({ϵ}^2)$ 表示随 $ϵ$ 缩小得更快的二阶 remainder。这个式子不描述函数整体，只描述当前 $t$ 附近走一小步时的 output change。导数是 local quantity；换一个位置，slope 通常也会变。

参数变成 vector 后，同一个思想仍然成立。若 scalar loss $L:{\mathbb{R}}^D\to \mathbb{R}$ 在附近二阶可微：

$$L(\theta +\delta )=L(\theta )+{\nabla }_{\theta }{L}^{\top }\delta +O(\Vert \delta {\Vert }_2^2).$$

$\delta$ 与 gradient ${\nabla }_{\theta }L$ 的 shape 都是 $D$，内积 ${\nabla }_{\theta }{L}^{\top }\delta$ 是 scalar。Gradient 收集了 loss 对全部 parameter coordinates 的一阶偏导；它指向当前 Euclidean coordinates 中上升最快的方向。这里 Euclidean 指直接使用当前坐标下的 ${\ell }_2$ length 与 inner product。

若训练是在最小化 loss，gradient descent 使用

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }L({\theta }_t).$$

${\theta }_t$ 与 update $-\eta {\nabla }_{\theta }L$ 都是 $D$ 维 vector，$\eta$ 是 scalar learning rate。这个式子只用到一阶局部信息，并没有显式使用 Hessian。

Partial derivative $\partial L/\partial {\theta }_i\in \mathbb{R}$ 只问第 $i$ 个 coordinate 单独变化时的 slope。Directional derivative 则允许所有 coordinates 按一个联合方向 $v\in {\mathbb{R}}^D$ 一起变化：

$$D_{v}L=\underset{ϵ\to 0}{\lim }\frac{L(\theta +ϵv)-L(\theta )}{ϵ}={\nabla }_{\theta }{L}^{\top }v\in \mathbb{R}.$$

$ϵ$ 是 scalar step，$ϵv$ 是 $D$ 维 perturbation，结果是 scalar slope。Gradient 可以一次回答所有方向，因为给定任意 $v$ 后，只需做一次 inner product。

1.2 三类导数必须连同输入、输出一起说

神经网络论文中的「Jacobian」至少常指下面三种对象：

导数	Shape	常见用途
Input Jacobian $J_x=\partial z/\partial x$	$M\times d_x$	input sensitivity、robustness
Parameter Jacobian $J_{\theta }=\partial z/\partial \theta$	$M\times D$	training dynamics、function change
Activation Jacobian $J_h=\partial h_{l+1}/\partial h_l$	$d_{l+1}\times d_l$	gradient propagation、residual path

三者都叫 Jacobian，因为输出都是 vector；但它们的列分别对应 input coordinates、parameter coordinates 和 hidden-state coordinates。它们不是同一个矩阵，singular vectors 也不在同一个空间。

还有一个常被混进来的对象：

$$g={\nabla }_{\theta }L\in {\mathbb{R}}^D.$$

它是 scalar loss 对 parameters 的 gradient。把 scalar 看作一维 output 时，gradient 可以视为 Jacobian 的特殊写法；实践中通常把它写成 column vector，而 Jacobian 的每一行对应一个 output coordinate。

1.3 Backprop 不是把完整 Jacobian 存下来

设 $z=f_{\theta }(x)$，再令 $L=\ell (z)$。Chain rule 给出

$${\nabla }_{\theta }L=J_{\theta }^{\top }{\nabla }_z\ell .$$

Shape 可以直接检查：$J_{\theta }^{\top }$ 是 $D\times M$，${\nabla }_z\ell$ 是 $M$，结果 ${\nabla }_{\theta }L$ 是 $D$。自然语言是：loss 先在 output space 给出「哪些 output changes 会使 loss 增大」，再由 $J_{\theta }^{\top }$ 把这个 sensitivity 拉回 parameter space。

这个乘法叫 vector-Jacobian product（VJP）。Backprop 无需显式构造可能大得离谱的 $M\times D$ Jacobian；它沿 computation graph 反向计算 VJP：

u <- derivative of loss with respect to final output
for operation in reverse(computation_graph):
    u <- operation.VJP(u)
return u  # derivative of loss with respect to parameters

这里每次 u 的 shape 都与当前 operation 的 output shape 相同；经过 VJP 后，它变成对该 operation inputs 的 sensitivity。标准 gradient descent 与 Jacobian 的关系就在这里，但「Jacobian」不等于「gradient descent」。前者是 local linear map，后者是消费 gradient 的 optimization rule。

2. 复杂 computation graph 怎样进入 Jacobian

如果一个函数由两步组成：

$$y=h(g(x)),$$

$x\in {\mathbb{R}}^n$、$g(x)\in {\mathbb{R}}^p$、$y\in {\mathbb{R}}^m$。Chain rule 写成

$$J_{h\circ g}=J_h{J}_g.$$

$J_g$ 的 shape 是 $p\times n$，$J_h$ 是 $m\times p$，乘积是 $m\times n$。矩阵乘法的中间维度 $p$，正对应 computation graph 中两步连接的 activation space。

Transformer 的 residual block 可以抽象成

$$h_{l+1}=h_l+F_l(h_l;{\theta }_l),$$

其中 $h_l,h_{l+1}\in {\mathbb{R}}^d$，该 block 的 parameters 摊平后为 ${\theta }_l\in {\mathbb{R}}^{D_l}$。对输入 activation 求导：

$$\frac{\partial h_{l+1}}{\partial h_l}=I_d+\frac{\partial F_l}{\partial h_l}\in {\mathbb{R}}^{d\times d}.$$

$I_d$ 是 residual path 的 Jacobian，$\partial F_l/\partial h_l$ 是 attention、MLP、normalization 等变换共同产生的 Jacobian。Graph 中的分支没有因为参数被 flatten 而消失：串行路径对应 Jacobian multiplication，分支汇合对应 derivative addition，parameter sharing 则让同一 parameter coordinate 接收多个使用位置的贡献。

把所有 parameters 写成 $\theta \in {\mathbb{R}}^D$，只是给不同 tensors 里的 scalar entries 编号。计算图如何组合这些数字，仍由固定 architecture $G$ 决定。更完整的讨论见 参数空间与计算图。

3. SVD：一个 linear map 放大了哪些方向

3.1 SVD 不是另一种导数

SVD（Singular Value Decomposition）可以作用于任意 real matrix。对 $A\in {\mathbb{R}}^{m\times n}$，设它的 rank 为 $r$，compact SVD 写成

$$A=U\Sigma V^{\top }.$$

$U\in {\mathbb{R}}^{m\times r}$，$V\in {\mathbb{R}}^{n\times r}$，$\Sigma \in {\mathbb{R}}^{r\times r}$。这里 rank $r$ 是 non-zero singular values 的数量；orthonormal 表示每个 vector 长度为 1，且彼此正交。$U$ 和 $V$ 的 columns 分别是 left / right singular vectors，$\Sigma$ 的 diagonal entries 为 ${\sigma }_1\ge \cdots \ge {\sigma }_r>0$。

SVD 的方向含义集中在下面这个关系：

$$A{v}_i={\sigma }_i{u}_i.$$

$v_i\in {\mathbb{R}}^n$ 是输入侧方向，$u_i\in {\mathbb{R}}^m$ 是输出侧方向，${\sigma }_i$ 是 scalar amplification factor。沿 $v_i$ 输入一个单位变化，linear map $A$ 会把它变成沿 $u_i$、长度为 ${\sigma }_i$ 的输出变化。

因此

$$\underset{\Vert v{\Vert }_2=1}{\max }\Vert Av{\Vert }_2={\sigma }_1.$$

$v$ 的 shape 是 $n$，$Av$ 的 shape 是 $m$；top right singular vector $v_1$ 是在当前 Euclidean norm 下让 output change 最大的单位 input direction。

3.2 SVD 放到 Jacobian 上，方向才有具体含义

对 parameter Jacobian $J_{\theta }\in {\mathbb{R}}^{M\times D}$：

$$J_{\theta }=U\Sigma V^{\top },J_{\theta }{v}_i={\sigma }_i{u}_i.$$

这里 $v_i\in {\mathbb{R}}^D$ 是联合 parameter direction，可以同时在许多 layers 上有非零分量；$u_i\in {\mathbb{R}}^M$ 是 output change pattern。${\sigma }_i$ 大，表示沿 $v_i$ 的小幅 parameter move 会产生较大的一阶 output change。

这仍然不等于 loss 一定沿 $v_i$ 变化很大。令 output-space loss gradient 为

$$a={\nabla }_z\ell \in {\mathbb{R}}^M.$$

把 SVD 代入 backprop：

$$g={\nabla }_{\theta }L=J_{\theta }^{\top }a=V\Sigma U^{\top }a\in {\mathbb{R}}^D.$$

Gradient 在第 $i$ 个 parameter singular direction 上的分量为

$$v_i^{\top }g={\sigma }_i{u}_i^{\top }a\in \mathbb{R}.$$

所以 large ${\sigma }_i$ 只说明网络对这个方向敏感。要形成 large loss gradient，output loss signal $a$ 还要与 $u_i$ 对齐。Sensitivity 与 usefulness 不是同一件事。

若 $J_{\theta }v=0$，则 $v\in {\mathbb{R}}^D$ 位于这个 Jacobian 的 nullspace：在当前 checkpoint、当前 inputs 和当前 output definition 下，沿 $v$ 的一阶 output change 为零。它不保证 finite step 后仍不变，也不保证换一批 prompts 或换一种输出后仍然不敏感。

3.3 Truncated SVD 与 low rank

保留前 $k$ 个 singular components，可以得到 rank-$k$ approximation：

$$A_k=\sum _{i=1}^k{\sigma }_i{u}_i{v}_i^{\top }.$$

每个 outer product $u_i{v}_i^{\top }$ 的 shape 是 $m\times n$，所以 $A_k$ 与 $A$ shape 相同，但 rank 不超过 $k$。如果后面的 singular values 很小，$A_k$ 能保留 $A$ 的主要作用。

Outer product $u_i{v}_i^{\top }$ 把两个 vectors 组合成一个 $m\times n$ rank-one matrix。论文报告 effective rank 时，还会用 threshold 或 cumulative singular-value energy 决定「保留多少项」。这个数字依赖定义、normalization 与被分解的矩阵，不表示剩余 parameters 没用。

3.4 论文说「做了 SVD」时，先问做在谁身上

被分解的矩阵	Rows / columns 是什么	Singular directions 的含义
Weight matrix $W\in {\mathbb{R}}^{d_{out}\times d_{in}}$	output features / input features	单层线性变换的 feature directions
Weight update $\Delta W\in {\mathbb{R}}^{d_{out}\times d_{in}}$	output features / input features	该 layer 的 update 是否接近 low rank
Activation matrix $A\in {\mathbb{R}}^{N\times d}$	tokens or samples / features	数据变化和 feature variation
Parameter Jacobian $J\in {\mathbb{R}}^{M\times D}$	outputs / all parameters	全模型局部 function sensitivity

这些谱不能直接互换。某一层的 $\Delta W$ rank 很低，不推出 full parameter Jacobian 低秩；global Hessian 只有少数大 eigenvalues，也不推出每层 weight update 都低秩。

LoRA 是最常见的例子。它直接参数化

$$\Delta W=BA,$$

其中 $W,\Delta W\in {\mathbb{R}}^{d_{out}\times d_{in}}$，$B\in {\mathbb{R}}^{d_{out}\times r}$，$A\in {\mathbb{R}}^{r\times d_{in}}$，因此 $\mathrm{rank}(\Delta W)\le r$。标准 LoRA 不是先训练完整 $\Delta W$，再做 SVD 截断；它从一开始就只优化两个 low-rank factors。这里的 rank 是单个 weight matrix 的 matrix rank，不是整个 LLM 的 intrinsic dimension。

Low rank、sparse 与 low-dimensional subspace

Low rank 说一个 matrix 能由少量 outer products 表示；sparse 说很多 coordinates 为零；low-dimensional subspace 说允许的全局 update 只需少量 basis directions。三者都在表达「结构少」，但数学对象不同，不能相互代换。

4. Hessian：gradient 怎样继续变化

4.1 Hessian 是 gradient 的 Jacobian

对 scalar objective $L:{\mathbb{R}}^D\to \mathbb{R}$：

$$H(\theta )={\nabla }_{\theta }^{2}L(\theta )=\frac{\partial ({\nabla }_{\theta }L)}{\partial \theta }\in {\mathbb{R}}^{D\times D}.$$

Gradient 是 $D$ 维 vector；再看它对 $D$ 个 parameter coordinates 怎样变化，就得到 $D\times D$ Hessian。这里的 smooth 是指所需导数在局部存在且连续，不是视觉上「曲线很圆滑」。若 $L$ 二阶连续，mixed partial derivatives 相等，$H$ 是 symmetric matrix。

Hessian 最直接的用途是 local quadratic approximation：

$$L(\theta +\delta )\approx L(\theta )+g^{\top }\delta +\frac{1}{2}{\delta }^{\top }H\delta .$$

$g,\delta \in {\mathbb{R}}^D$，$H\delta \in {\mathbb{R}}^D$，而 $g^{\top }\delta$ 与 ${\delta }^{\top }H\delta$ 都是 scalar。第一项描述 slope，第二项描述 slope 在这一步内怎样弯曲。这个近似只在 $\delta$ 足够小时可信；走得太远，higher-order terms 会接管。

4.2 Directional curvature

对单位方向 $v\in {\mathbb{R}}^D$，$\Vert v{\Vert }_2=1$，定义

$$\kappa (v)=v^{\top }Hv\in \mathbb{R}.$$

$Hv$ 是 $D$ 维 vector，$v^{\top }Hv$ 才是 scalar directional curvature。它回答：沿 $v$ 这一条参数方向观察，objective 的 slope 改变得多快。

因为 $H$ 对称，可以做 eigendecomposition（EVD）；对 real symmetric matrix，这也叫 spectral decomposition：

$$H=Q\Lambda Q^{\top }.$$

$Q\in {\mathbb{R}}^{D\times D}$ 的 columns $q_i$ 是 orthonormal eigenvectors，$\Lambda \in {\mathbb{R}}^{D\times D}$ 的 diagonal entries ${\lambda }_i$ 是 signed eigenvalues。沿 eigenvector 方向：

$$q_i^{\top }H{q}_i={\lambda }_i.$$

$q_i\in {\mathbb{R}}^D$，结果 ${\lambda }_i$ 是 scalar。对正在最小化的 loss：

• ${\lambda }_i>0$：沿 $q_i$ 看起来像向上的碗；
• ${\lambda }_i<0$：沿 $q_i$ 存在向下弯的方向；
• ${\lambda }_i\approx 0$：二阶近似下较 flat，但 higher-order change 仍可能存在。

若不同 $|{\lambda }_i|$ 相差很大，local quadratic model 中的不同 directions 会表现出不同 time scales。High-curvature directions 对 step size 更敏感；weak directions 的 objective change 较慢。

4.3 Full Hessian 不是逐层 Hessian 的简单拼接

把 parameters 按 layers 或 tensors 分成 $\theta =({\theta }_1,\dots ,{\theta }_B)$，其中 ${\theta }_i\in {\mathbb{R}}^{D_i}$，则 Hessian 的 $(i,j)$ block 是

$$H_{ij}=\frac{\partial ({\nabla }_{{\theta }_i}L)}{\partial {\theta }_j^{\top }}\in {\mathbb{R}}^{D_i\times D_j}.$$

Diagonal block $H_{ii}$ 描述同一 parameter group 内 gradient 的变化；off-diagonal block $H_{ij}$ 描述改变 group $j$ 后，group $i$ 的 gradient 怎样变化。Full Hessian 包含这些 cross-layer couplings。丢掉 off-diagonal blocks 得到的是一种便宜的 block approximation，不是原矩阵的等价重排。

一个两层 linear network 已经会产生这种 coupling。令

$$f(x;W_1,w_2)=w_2^{\top }{W}_{1}x\in \mathbb{R},$$

其中 $x\in {\mathbb{R}}^d$、$W_1\in {\mathbb{R}}^{h\times d}$、$w_2\in {\mathbb{R}}^h$。同时扰动两层：

$$\begin{array}{rl}f(x;W_1+\Delta W_1,w_2+\Delta w_2)=f(x;W_1,w_2)& +w_2^{\top }\Delta W_{1}x\\ & +\Delta w_2^{\top }{W}_{1}x+\Delta w_2^{\top }\Delta W_{1}x.\end{array}$$

四项都是 scalar。最后一项同时含 $\Delta W_1$ 与 $\Delta w_2$，是二阶的 cross-layer term：两个 parameter blocks 的 coordinates 没有重叠，network function 却通过 matrix product 把它们耦合起来。

因此，global eigenvector $q\in {\mathbb{R}}^D$ 可以在许多 parameter blocks 上同时有非零分量。论文说「只有少量 stiff directions」时，不能自动翻译成「只有少数 layers 重要」。

4.4 Exact Hessian 不一定 PSD

若 ${\theta }^{\ast }$ 是一个二阶可微 loss 的 local minimum，则

$$H({\theta }^{\ast })⪰0$$

是必要条件。$H⪰0$ 表示任意 $v\in {\mathbb{R}}^D$ 都满足 $v^{\top }Hv\ge 0$。但普通 training checkpoint 未必是 gradient 为零的 stationary point，更未必是 local minimum；non-convex neural network 的 exact parameter Hessian 可以同时有 positive、negative 和 near-zero eigenvalues。

Reward maximization 还会反转符号。若 ${\theta }^{\ast }$ 是 reward $R$ 的 local maximum，则通常讨论

$$H_R({\theta }^{\ast })⪯0,A=-H_R({\theta }^{\ast })⪰0.$$

$H_R,A\in {\mathbb{R}}^{D\times D}$。很多论文用 PSD 的 $A$ 表示「curvature magnitude」，所以正文中出现 positive curvature eigenvalues，不代表 reward Hessian 本身是 PSD。读论文时要检查作者分析的是 $H_R$、$-H_R$，还是 $|\lambda (H_R)|$。

Hessian 不自动构成 distance metric

Hessian 描述 chosen objective 在当前 coordinates 中的二阶变化。它可能 indefinite，而且 parameter rescaling 会改变 eigenvalues；因此它不能不加条件地定义 distance，也不是 coordinate-free 的模型几何。详见 参数化与几何的边界。

4.5 Hessian 应用 EVD，Jacobian 通常应用 SVD

分解	适合的对象	谱值	保留什么信息
SVD $J=U\Sigma V^{\top }$	rectangular Jacobian、weight 或 activation matrix	${\sigma }_i\ge 0$	输入方向到输出方向的 amplification
EVD $H=Q\Lambda Q^{\top }$	symmetric Hessian	${\lambda }_i$ 可正可负	signed curvature

对 indefinite Hessian 做 SVD，会把 eigenvalue ${\lambda }_i$ 变成 singular value $|{\lambda }_i|$，从而丢掉向上弯还是向下弯的符号。只有当 $H⪰0$ 时，Hessian 的 singular values 才与 eigenvalues 一致。

5. Jacobian、SVD 与 Hessian 怎样接起来

考虑 squared error：

$$L(\theta )=\frac{1}{2}\Vert f_{\theta }(x)-y{\Vert }_2^2.$$

$f_{\theta }(x),y\in {\mathbb{R}}^M$，所以 $L$ 是 scalar。记 residual $r=f_{\theta }(x)-y\in {\mathbb{R}}^M$，parameter Jacobian $J=\partial f_{\theta }/\partial \theta \in {\mathbb{R}}^{M\times D}$。Exact Hessian 可以写成

$$H=J^{\top }J+\sum _{m=1}^M{r}_m{\nabla }_{\theta }^2{f}_m.$$

两项的 shape 都是 $D\times D$。第一项来自 output loss curvature，必然 PSD；第二项来自 network output 对 parameters 的非线性，可以带来 negative curvature。

如果 residual 为零，或者只保留 network 的 local linearization，第二项消失：

$$H\approx J^{\top }J.$$

若 $J=U\Sigma V^{\top }$，则

$$J^{\top }J=V{\Sigma }^2{V}^{\top }.$$

$J^{\top }J$ 的 shape 是 $D\times D$；它的 eigenvectors 是 $J$ 的 right singular vectors $v_i\in {\mathbb{R}}^D$，eigenvalues 是 ${\sigma }_i^2$。这给出 SVD 与 curvature 的直接联系。

但这不是一个可以无条件使用的恒等式。一般 loss 的 exact Hessian 还保留 model-curvature term。论文中常用的 Generalized Gauss-Newton（GGN）只保留 PSD 的第一部分：

$$G=J^{\top }{H}_z\ell J\in {\mathbb{R}}^{D\times D},$$

其中 $H_z\ell \in {\mathbb{R}}^{M\times M}$ 是 loss 对 model outputs 的 Hessian。若 $H_z\ell ⪰0$，则 $G⪰0$。

若定义 loss-weighted Jacobian $\bar{J}=(H_z\ell {)}^{1/2}J\in {\mathbb{R}}^{M\times D}$，则 $G={\bar{J}}^{\top }\bar{J}$。所以 GGN 的 eigendirections 是 $\bar{J}$ 的 right singular directions，eigenvalues 是相应 singular values 的平方。

Fisher 可以写成 per-sample score outer product 的 expectation：

$$s_{\theta }(x,y)={\nabla }_{\theta }\log p_{\theta }(y\mid x)\in {\mathbb{R}}^D,F=\mathbb{E}[s_{\theta }{s}_{\theta }^{\top }]\in {\mathbb{R}}^{D\times D}.$$

每个 $s_{\theta }{s}_{\theta }^{\top }$ 都是 PSD，因此 expectation 仍是 PSD，但可以 singular，也就是某些 directions 的 quadratic form 为零。Fisher 局部衡量 parameter change 对 predictive distribution 的 KL change；它对谁取 expectation、何时与 GGN 重合，需要额外条件。三类矩阵的边界如下：

矩阵	是否保证 PSD	它在描述什么
Exact Hessian $H$	否	chosen scalar objective 的真实二阶变化
GGN $G$	output loss convex 时是	local-linearized network 上的 loss curvature
Fisher $F$	是，但可 singular	predictive distribution 的局部 KL sensitivity

一些论文宽泛地把 GGN 或 Fisher 也叫 curvature matrix。这在语境明确时没有问题，但不能把它们与 exact Hessian 当成同一个对象。

6. 两个 LLM training cases

Case A：Next-token cross-entropy

对一个 token，令 logits $z_{\theta }(x)\in {\mathbb{R}}^V$，probability vector $p=\mathrm{softmax}(z)\in {\mathbb{R}}^V$，target token 的 one-hot vector 为 $e_y\in {\mathbb{R}}^V$。Cross-entropy 对 logits 的 gradient 是

$${\nabla }_z\ell =p-e_y\in {\mathbb{R}}^V.$$

设 logit parameter Jacobian 为 $J_z=\partial z/\partial \theta \in {\mathbb{R}}^{V\times D}$。Backprop 得到

$${\nabla }_{\theta }\ell =J_z^{\top }(p-e_y)\in {\mathbb{R}}^D.$$

$J_z^{\top }$ 是 $D\times V$，所以 vocabulary-space error signal 被拉回整个 parameter space。实际 LLM 不会存下 $V\times D$ Jacobian，只计算这个 VJP。

Cross-entropy 对 logits 的 Hessian 是

$$C_z=\mathrm{diag}(p)-p{p}^{\top }\in {\mathbb{R}}^{V\times V}.$$

$C_z$ 是 PSD；直觉上，它是 categorical distribution 的 covariance matrix。于是 GGN

$$G=J_z^{\top }{C}_z{J}_z\in {\mathbb{R}}^{D\times D}$$

也是 PSD。但 full parameter exact Hessian 还包含 logits 对 parameters 的二阶导数，因此一般仍不保证 PSD。如果只训练固定 features 上的 linear head，logits 对 head parameters 是 affine，也就是「linear map 加 bias」，额外的 model-curvature term 才会消失。

Case B：Reward Model / DPO 的 preference loss

先看 pairwise reward model。对同一个 prompt，preferred response 和 rejected response 的 reward margin 为

$$s_{\theta }=r_{\theta }(x,y_w)-r_{\theta }(x,y_l)\in \mathbb{R}.$$

Sigmoid 把 scalar margin 映射到 $(0,1)$，preference loss 取 logistic form：

$$\ell (\theta )=-\log \mathrm{sigmoid}(s_{\theta })\in \mathbb{R}.$$

记 margin gradient $j={\nabla }_{\theta }{s}_{\theta }\in {\mathbb{R}}^D$。它的 exact Hessian 可以分成

$${\nabla }_{\theta }^2\ell =\underset{\text{rank-one PSD term}}{\underbrace{\mathrm{sigmoid}(s)(1-\mathrm{sigmoid}(s))j{j}^{\top }}}+\underset{\text{model-curvature term}}{\underbrace{(\mathrm{sigmoid}(s)-1){\nabla }_{\theta }^{2}s}}.$$

两项都是 $D\times D$。第一项是一个 outer product，rank 至多为 1 且 PSD；第二项来自 reward margin 对 parameters 的非线性，可以使 exact Hessian indefinite。

这个例子解释了一个常见误判：loss 对 scalar margin 是 convex 的，不代表 loss 对 neural-network parameters 也是 convex 的。 对 batch size 为 $B$ 的 preference data，第一类 GGN terms 相加后的 rank 至多为 $B$；包含第二项的 exact Hessian 不受这个 rank 上界约束。因此 mini-batch GGN 看起来 low rank，部分原因可能只是 output dimension 与 batch size 有限，不能据此识别模型是否具有全局低维结构。

DPO 把 $s_{\theta }$ 换成 preferred / rejected responses 的 log-policy-ratio margin：

$$\begin{array}{rl}{s}_{\theta }=\beta [& \log {\pi }_{\theta }(y_w\mid x)-\log {\pi }_{\mathrm{ref}}(y_w\mid x)\\ & -\log {\pi }_{\theta }(y_l\mid x)+\log {\pi }_{\mathrm{ref}}(y_l\mid x)]\in \mathbb{R}.\end{array}$$

每个 sequence log-probability 都是 scalar，$\beta$ 也是 scalar，reference policy 固定不更新。DPO 的外层仍是 $-\log \mathrm{sigmoid}(s_{\theta })$，所以上面的 Jacobian/Hessian 分解保持一致。这里讨论的是数学结构，不等于声称所有 RLHF 或 preference optimization 方法拥有相同的 curvature spectrum。

7. 大模型里怎样使用这些巨大矩阵

对 billion-parameter model，显式 Jacobian 需要 $M\times D$ entries，显式 Hessian 需要 $D^2$ entries，通常都不可行。实际计算依赖 matrix-vector products：

运算	Input → output shape	直觉
JVP $Jv$	$D\to M$	沿 parameter direction $v$ 走一步，outputs 怎样变
VJP $J^{\top }u$	$M\to D$	把 output sensitivity $u$ 拉回 parameters；backprop 的核心
HVP $Hv$	$D\to D$	沿 $v$ 移动时，完整 gradient 怎样变化
Quadratic form $v^{\top }Hv$	$D\to 1$	沿 $v$ 的 signed directional curvature

HVP 可以写成

$$Hv={\nabla }_{\theta }\left({\nabla }_{\theta }{L}^{\top }v\right)\in {\mathbb{R}}^D.$$

这里把 $v$ 视为固定方向。括号内是 scalar directional derivative，再对 $\theta$ 求 gradient，得到 $D$ 维 HVP。伪代码只需要两次 derivative operations：

g  <- gradient(L(theta), theta)       # shape D
s  <- dot(g, v)                       # scalar
Hv <- gradient(s, theta)              # shape D

Power iteration、Lanczos 和 SLQ 是反复查询 HVP 的 numerical algorithms：前者可估计 dominant-magnitude eigenmode，后两者可估计 extreme eigenvalues 或 spectral density，而不实例化 $D\times D$ Hessian。类似地，若要估计 Jacobian 的 top singular values，可以交替计算 $Jv$ 与 $J^{\top }u$，相当于使用 $J^{\top }J$ 的 matrix-vector product。

还要区分

$$Hv\in {\mathbb{R}}^D\text{与}{v}^{\top }Hv\in \mathbb{R}.$$

前者是 HVP vector，后者是 directional-curvature scalar。用三个 function evaluations 的 finite difference 可以估计后者：

$$\frac{L(\theta +ϵv)-2L(\theta )+L(\theta -ϵv)}{{ϵ}^2}\approx v^{\top }Hv.$$

分子、分母和结果都是 scalar。这个 probe 没有直接恢复完整 $Hv$，更没有恢复 Hessian matrix。

8. 回到 weight-space search 与 BoD

对 scalar reward $R$，沿随机方向 $v\in {\mathbb{R}}^D$ 扰动：

$$R(\theta +\sigma v)-R(\theta )\approx \sigma g_R^{\top }v+\frac{{\sigma }^2}{2}{v}^{\top }{H}_{R}v.$$

$g_R^{\top }v$ 和 $v^{\top }{H}_{R}v$ 都是 scalar；前者是一阶 reward-gradient projection，后者是二阶 directional curvature。Positive reward tail 可能来自其中任一项，也可能受到 higher-order structure 与 evaluation noise 影响。

BoD 假设 reward geometry 只有少量 stiff directions，而大量 parameter directions 较 weak。在 local reward maximum 附近的 quadratic abstraction 中，对 PSD curvature matrix $A=-H_R$ 做谱分解：

$$A=Q\Lambda Q^{\top },$$

$A,Q,\Lambda$ 都是 $D\times D$；top eigenvectors $q_i\in {\mathbb{R}}^D$ 定义 curvature-active subspace。这些 projections 保留了主导 quadratic curvature 的 coordinates，却不单独决定 reward 是否改善。改进还取决于 $g_R^{\top }v$、当前位置相对 optimum 的方向、step size 和 higher-order terms；在 exact local maximum 上，任何非零 quadratic move 反而都会降低 reward。

这个解释还有四个限定：

1. $A$ 是 reward maximum 附近的 $-H_R$，不是 reward Hessian $H_R$ 本身。
2. 一个 top eigenvector 可以同时在所有 parameter tensors 上有分量；low active dimension 不等于只有少数 layers 有用。
3. Gaussian perturbation 能否命中 positive tail，还取决于 noise scale、normalization、checkpoint、task 和 evaluation noise。
4. Best-of-$N$ 能采到好模型，不单独证明 positive tail 是由 low-rank Hessian 造成的。

因此，BoD、ES、RandOpt 的结论只适用于指定的 checkpoint、parameterization、noise distribution、task 与 evaluation protocol。更完整的算法与证据边界见 无反向传播的权重空间后训练。

9. 阅读论文时怎样拆公式

看到 Jacobian，依次问：

1. 谁是 input，谁是 output？
2. 它是对 input、activation 还是 parameters 求导？
3. Rows 和 columns 分别对应什么，shape 是多少？
4. 是单个 prompt 的 Jacobian，还是把 batch、tokens、logits stack 起来？
5. 作者构造了完整矩阵，还是只用了 JVP / VJP？

看到 SVD，依次问：

1. 被分解的是 weight、weight update、activation 还是 Jacobian？
2. Left / right singular vectors 分别活在哪个空间？
3. Singular values 是否做过 normalization？
4. Effective rank 使用什么 threshold 或 energy definition？
5. Low rank 是否被误写成 sparse、few layers 或 global low dimension？

看到 Hessian，依次问：

1. Scalar objective 是 training loss、reward、KL，还是经过 sampling average 的 smoothed objective？
2. 矩阵是 exact Hessian、$-H$、GGN 还是 Fisher？
3. Spectrum 是否保留 eigenvalue 的正负号？
4. 对谁取 expectation：single example、mini-batch、dataset 还是 model distribution？
5. 作者使用 full parameters、LoRA parameters，还是 layerwise block approximation？
6. 结果依赖哪个 checkpoint、parameterization 与 perturbation scale？

10. 最后的 mental model

Jacobian 是局部 linear map；SVD 可以拆出它的 sensitivity directions；Hessian 则是 scalar objective 的二阶局部模型。Backprop 用 VJP 把 output-space signal 拉回 parameters，second-order analysis 用 HVP 探测 curvature，large-scale spectral methods 再利用这些 matrix-free products 估计重要 directions。

阅读相关工作时，始终记录 operator 的 input space、output space、shape、metric 与 objective。对 weight matrix 做 SVD、对 parameter Jacobian 做 SVD、对 full-objective Hessian 做 eigendecomposition，得到的是三套不同的方向；它们之间的关系需要公式或实验建立，不能仅凭「都是低维结构」相互替代。

延伸阅读

• Deep Learning Book：Linear Algebra：eigendecomposition、SVD 与 pseudoinverse。
• Deep Learning Book：Numerical Computation：gradient、Jacobian、Hessian 与 optimization 的基础关系。
• Practical Gauss-Newton：exact Hessian 与 GGN 的分解及 PSD 边界。
• Hessian Eigenvalue Density：不用构造完整 Hessian，估计 neural-network Hessian spectrum。
• LoRA：逐层 weight update 的 low-rank parameterization。
• InstructGPT：pairwise reward-model loss 与 RLHF training pipeline。
• DPO：preference loss 在 LLM post-training 中的具体形式。
• 参数空间与计算图：为什么复杂 graph 仍能坐标化为一个 parameter vector，以及这种坐标化省略了什么。
• 有限学习率的隐式梯度正则：Hessian 怎样进入离散 gradient descent 的 modified dynamics。