几何直觉与优化理论：从普通梯度下降到李群流形优化

核心认知重构：两个世界的彻底分离

在理解任何优化算法之前，必须首先建立“双重空间”视角。绝大多数概念混淆，均源于将这两个空间融为一体：

空间	描述	特征	作用
1. 代价景观 / 误差山坡 (Cost Landscape)	误差/损失函数 $f(x)$ 的取值高低	通常弯曲、起伏不平（如山谷、抛物面）	决定我们“往哪里走”（找到谷底/最小值点）
2. 参数空间 / 变量舞台 (Parameter Space)	自变量 $x$（参数、状态量）所在的空间	天然平坦的欧氏空间，或弯曲的李群流形	决定我们“怎么迈步”（加减法则与更新机制）

代价景观负责评估误差、提供方向，参数空间决定具体的迈步方式。

---

一、 梯度的本质与数学来源

1.1 什么是梯度？

在 $n$ 维参数空间中，函数 $f(\mathbf{x})$ 的梯度是一个由各偏导数构成的向量：

$$\nabla f(\mathbf{x}) = \begin{bmatrix} \frac{\partial f}{\partial x_1} & \frac{\partial f}{\partial x_2} & \dots & \frac{\partial f}{\partial x_n} \end{bmatrix}^T$$

• 几何意义：它是一个“灵敏度指示器”，指向函数值增长最快（上坡最陡）的方向。
• 模长意义：表示该方向上坡度的陡峭程度。

---

1.2 为什么梯度下降能保证“参数更新后误差变小”？

梯度下降的根基建立在一阶泰勒展开（Taylor Expansion）的数学担保上。

假设当前位置为 $\mathbf{x}$，迈出微小步长 $\Delta \mathbf{x}$ 到达新位置 $\mathbf{x} + \Delta \mathbf{x}$：

$$f(\mathbf{x} + \Delta\mathbf{x}) \approx f(\mathbf{x}) + \nabla f(\mathbf{x})^T \Delta\mathbf{x}$$

为了让新位置的误差比原来小，即 $f(\mathbf{x} + \Delta\mathbf{x}) - f(\mathbf{x}) < 0$，我们需要使：

$$\nabla f(\mathbf{x})^T \Delta\mathbf{x} < 0$$

黄金方向的选择：

令更新量 $\Delta \mathbf{x}$ 正比于梯度的反方向（其中步长 $\alpha > 0$）：

$$\Delta\mathbf{x} = -\alpha \nabla f(\mathbf{x})$$

代入泰勒展开近似表达式中：

$$\nabla f(\mathbf{x})^T \big(-\alpha \nabla f(\mathbf{x})\big) = -\alpha \|\nabla f(\mathbf{x})\|^2 \le 0$$

• 结论：只要向量模长 $|\nabla f(\mathbf{x})| \neq 0$，该值必然恒小于 0。这证明了：只要步长在泰勒展开有效的局部范围内，沿梯度反方向迈步，误差必降。

---

二、 平坦空间 vs. 弯曲流形

决定参数更新机制的，不是“代价景观”，而是“参数舞台”的几何性质。

维度	普通梯度下降 (欧氏空间 $\mathbb{R}^n$)	流形优化 / SLAM (弯曲流形如 $SO(3)$)
参数舞台	天然平坦（欧几里得空间）	弯曲且闭合（如三维旋转李群）
坐标关系	整个空间本身就是它自己的切平面	全局无平直坐标系，仅局部可近似平坦
合法性约束	无约束，任意加减得到的依然是有效点	有严格几何约束（如 $R^{\top}R=I,\ \det(R)=1$）
更新动作	直接做向量加减法	不能直接加减（相加会破坏矩阵正交性）
更新机制	借由全域坐标网格直接迈步	必须借助局部切面（李代数）与指数映射

即普通梯度下降（欧氏空间 $\mathbb{R}^n$）的更新规则为：

$$\mathbf{x}_{\text{new}} = \mathbf{x}_{\text{old}} - \alpha \nabla f$$

---

三、 李群与李代数：流形优化的闭环几何逻辑

以 SLAM 中三维旋转矩阵 $R \in SO(3)$ 的优化为例：

      【宏观大曲面：李群 SO(3)】 (永恒存在，合法矩阵的栖息地)
           /                   \
          /                     \   指数映射 exp(δφ^)
A点 (当前状态 R_k)          B点 (更新后的状态 R_{k+1})
        │                        ▲
        │ 建立局部切空间         │
        ▼                        │
 【局部平整切面：李代数 so(3)】 ────┴── 在切平面解出微小量 δφ

3.1 核心迭代五步法：

1. 站稳大状态：当前位于宏观大曲面（李群 $SO(3)$）上的节点 $R_k$。大曲面客观存在且固定不变。
2. 就地切面（线性化）：在 $R_k$ 的“脚底板”建立局部的平整切空间（李代数 $\mathfrak{so}(3)$）。相当于在 $R_k$ 处重新做一阶泰勒展开。
3. 计算微小量：在平整的切空间内部，把复杂的非线性优化转化为局部线性最小二乘问题，求解出切空间内的三维微小扰动向量 $\delta\phi$。
4. 投影回曲面（指数映射）：通过指数映射 $\exp(\delta\phi^\wedge)$，将切平面上的平直微小向量“包装”为合法的旋转矩阵，并以左乘方式更新大状态： $$R_{k+1} = \exp(\delta\phi^\wedge) R_k$$ 更新后的 $R_{k+1}$ 严丝合缝地重新落回宏观大曲面上。
5. 扔掉旧切面，重复迭代：旧的切面完成使命后立刻废弃。算法在全新的落脚点 $R_{k+1}$ 重新建立新的切平面，直至收敛到山谷底。

---

四、 核心直觉总结

1. 梯度的本质：梯度下降不是瞎猜，而是微积分通过泰勒展开在局部给出的“稳降不升”的黄金保证。
2. 欧氏梯度下降：在无限光滑平坦的球场地板上行走，直接加减向量，永远不会出界。
3. 流形优化：“穿着芭蕾舞鞋、戴着镣铐的梯度下降”。因舞台是弯曲的，只能“走到哪、在哪切”，利用“用完即弃”的局部切平面解出微小量，再用指数映射安全地拉回曲面上。

赏

谢谢你请我吃糖果

支付宝

微信