切面

“切面”（slice / cross-section）就是用一个低维的子空间去切一个高维空间，看切到了什么。这是理解 内在维度 随机投影方法的关键直觉。

1. 几何直觉

想象一个 3 维空间里漂着一团点（比如所有”能解决某任务”的参数解，叫解集 solution set）。

• 拿一个 2 维平面去切这个空间，平面和解集相交的部分，就是这一刀的切面。
• 平面是 1 维（一条直线）就更难切中，是 2 维（一个面）就更容易撞上那团解。

维度越高的切面，越容易和解集相交。

2. 在内在维度里的用法

随机子空间投影（2018）测内在维度,做的正是”切”这件事:

$${\theta }^{(D)}={\theta }_0^{(D)}+P{\theta }^{(d)}$$

• 原始参数空间是 $D$ 维（很大，比如百万维）。
• ${\theta }_0^{(D)}+P(\cdot )$ 定义了一个随机定向的 $d$ 维仿射子空间——这就是那把”刀”，一个 $d$ 维切面。
• 只在这个切面里训练（调 ${\theta }^{(d)}$），看能不能撞上解集（达到 90% 性能）。

内在维度 = 让这个随机切面”刚好能撞上解集”所需的最小维度 $d$。

• 解集越”胖”/越容易撞 → 小 $d$ 的切面就够 → 内在维度低。
• 解集越”瘦”/越难撞 → 需要很大的 $d$ → 内在维度高。

3. 一句话记住

切面 = 用一个 $d$ 维子空间去”切”高维参数空间。
内在维度问的是：随便切一刀，这刀至少要多少维才能切中解？

4. 一个重要的坑

切面测的是”存在一个低维子空间能撞上解”，这是静态的几何性质——它不等于 SGD 真正走过的那条低维路径（那是动力学性质）。两者都”低维”，但不是一回事。详见 批判（Read Critically）。