一阶梯度$二阶梯度$高斯牛顿算法

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

梯度, 一阶梯度,二阶梯度,高斯牛顿优化. 后三者与前面可能没有太大关系.

---

提示：以下是本篇文章正文内容，下面内容可供参考

一、梯度

1.1丶方向

1.1.1丶平面上的方向$$平面向量u\ne 0$$

1.2梯度的几何意义

命题1.1: $$曲面F(x,y,z)=0在其上任意一点的法向量为N=(F_x,F_y,F_z).$$

例如:$$x^2+y^2-Z^2-1=0在点(1,1,1)处的法向量$$
计算出来的法向量为(2,2,-2) 起点为(1,1,1) 终点为(3,3,-1)

命题1.2
$$二元函数z=f(x,y)的图像上的法向量为N=(f_x,f_y,-1)$$

命题1.3
$$\begin{gathered} 设e,x_2是两个线性无关(不共线)的向量,e是单位向量,则 \\ (1)x_2\cdot e是向量x_2在向量e上的投影(射影); \\ (2)(x_2\cdot e)e是向量x_2在向量e上的投影向量(射影向量); \\ (3)x_2-(x_2\cdot e)e与向量e正交,从而它是x_2向e的正交补空间上的投影向量 \end{gathered}$$

命題1.4：
$$二元函数z=f(x,z)在任意一点(x_0,y_0)的梯度gradf等于此二元函数图像上点(x_0,y_0,f(x_0,y_0))的法向量N在xOy平面上的投影向量.$$


黑色向量就是在点B上的法向量,红色向量为梯度向量.就是法向量在xOy面上的投影

梯度
定义:设函数f(x,y)在平面区域D内有一阶连续偏导数,对于每一点P(x0,y0)∈D,都可得出向量:
$$\begin{gathered} f_x^{\prime }(x_0,y_0)i+f_y^{\prime }(x_0,y_0)j.称该向量为函数f(x,y)在点P_0(x_0,y_0)的梯度,记做gradf(x_0,y_0)或\nabla f(x_0,y_0), \\ 即gradf(x_0,y_0)=f_x^{\prime }(x_0,y_0)i+f_y^{\prime }(x_0,y_0)j. \end{gathered}$$

1.2 方向导数

命题1.5
$$\begin{gathered} 设z=f(x,y)是一个二元函数,l=(a,b)为一个方向,则函数z沿方向l的方向导数: \\ \frac{\delta z}{\delta l}=\frac{\delta f}{\delta x}cos\alpha +\frac{\delta f}{\delta y}cos\beta , \\ 这里cos\alpha =\frac{a}{\sqrt{a^2+b^2}},cos\beta =\frac{b}{\sqrt{a^2+b^2}} \end{gathered}$$

推论1.1
$$二元函数z=f(x,y)在点(x_0,y_0)沿单位方向l_0的方向导数\frac{\delta z}{\delta l_0}就是f(x,y)在点(x_0,y_0)的梯度gradf(x_0,y_0)在单位向量l_0上的投影.(方向导数的绝对值就是梯度在单位向量上的投影向量的模长)$$

推论1.2
$$\begin{gathered} 设二元函数z=f(x,y)在点(x_0,y_0)可微,j=(0,1)是x轴y轴的单位方向,则: \\ \frac{\delta f}{\delta x}{|}_{(x_0,y_0)}=\frac{\delta z}{\delta i}{|}_{(x_0,y_0)},\frac{\delta f}{\delta y}{|}_{(x_0,y_0)}=\frac{\delta z}{\delta j}{|}_{(x_0,y_0)}. \end{gathered}$$

结论:偏导数一定是方向导数,方向导数不一定是偏导数

u的模长就是方向导数, l1=(1,0)的方向投影向量的模长. 其中l1就是单位方向向量

二、求解非线性最小二乘

在SLAM中由于早生的存在,当我们把估计轨迹和地图带入SLAM的运动,观测方程时,等号并不会成立. 此时就要调整状态估计,是的误差最小化.
先考虑简单情况的问题:
$$\underset{x}{\min }F(x)=\frac{1}{2}||f(x)|{|}_2^{2}x\in R^n.f是任意标量非线性函数f(x).{\mathbb{R}}^2\to \mathbb{R}.$$
当f很简单时, 令目标函数的导数为零,然后求解最优值.
$$\frac{\delta F}{\delta x}=0导数为零的极值,可能是极大值,极小值或鞍点处的值,.则只需比较这些函数值大小即可.$$
当f复杂时:$$\frac{\delta F}{\delta x}=0难求或者\frac{\delta F}{\delta x}=0难解$$
则需要使用迭代的方式求解:(从一个初始值出发,不断优化当前的优化变量,使得目标函数下降)

$$\begin{gathered} 1丶给定某个初始值x_0 \\ 2丶对于第k次迭代寻找一个增量\Delta x_k,使得||f(x_k+\Delta x_k)|{|}_2^2达到最小值.其中\Delta x_k如何寻找是重点 \\ 3丶若\Delta x_k足够小,则停止 \\ 4丶否则,令x_{k+1}=x_k+\Delta x_k,返回2. \end{gathered}$$
让求解导数为零的问题,变成了一个不断寻找增量使函数不断下降的过程。直到某个时刻增量非常小,无法使得函数下降,则算法收敛.目标函数达到了极小,也就完成了寻找极小值的过程。

2.1 一阶梯度

将目标函数在x附近进行泰勒展开:

$$\begin{gathered} 对于目标函数做了一阶近似,把一个非线性函数f线性成了一次函数,这种近似自然是极其不准确的 \\ 最速下降法基本思想:最速下降方向:负梯度方向;步长:精确搜索. \end{gathered}$$

局部最优点为x^*,当前位置为x^k. 圆圈是目标函数的等高线.
x垂直于等高线的方向是目前所处位置的最速下降方向,这也是函数在该点出的梯度或者导数方向(其实是梯度的反方向),每次迭代都沿着梯度方向前进.

优点:最速下降求解简单,只需求解一阶导数
缺点: 但是梯度方向一开始并不一定指向全局最小值,如图所示.因此在实际中,最速下降法很可能走出一条及其曲折的路线,导致其收敛速度很慢,不实用.

2.2 二阶梯度

将目标函数F在x附近进行泰勒展开,并保留二阶梯度.
$$F(x_k+\Delta x_k)\approx F(x_k)+J(x_k{)}^T\Delta x_k+\frac{1}{2}\Delta x_k^{T}H(x_k)\Delta x_k.$$
增量的解(求上式关于Δx的导数并令其为零):
$$J+H\Delta x=0\to H\Delta x=-J$$
求解增量时只需解线性方程组:$$d=H^{-1}\nabla f(x)牛顿法仅依赖于目标函数的二阶导,在很多情况下是不现实的$$

考虑得到的牛顿方向一定是下降方向吗?
$$如果H不是正定矩阵\{\begin{array}{ll}H的逆矩阵求不出来& 存在特征值为0\\ -\nabla f(x_k{)}^T\cdot d_k=& \\ -\nabla f(x_k{)}^T{H}^{-1}\nabla f(x_k)无法判断是否小于0& 存在特征值为负\end{array}$$
当H满足较好的性质时(正定矩阵),牛顿法是可行的。
$$\frac{d{X}^{T}AX}{dX}=(A+A^T)X其中A为n\times n的矩阵,x为n\times 1的列向量$$

2.3 高斯牛顿算法

最速下降法和牛顿法虽然直观,但使用中存在一些缺点.
—最速下降法过于贪婪,容易走出锯齿线路,增加迭代次数.
—牛顿法迭代次数少,但需要计算复杂的H矩阵.并且H不一定是正定矩阵.

一阶泰勒展开:$$f(x+\nabla x)\approx f(x)+J^T\nabla x.其中J(x{)}^T是f(x)关于x的导数.$$
需要解这个最小二乘问题:
$$\Delta x^{\ast }=arg\underset{\Delta x}{\min }\frac{1}{2}||f(x)+J(x{)}^T\Delta x|{|}^2$$
$$\begin{gathered} \frac{1}{2}||f(x)+J(x{)}^T\Delta x|{|}^2=\frac{1}{3}(||f(x)|{|}_2^2+2f(x)J(x{)}^T\Delta x+\Delta x^{T}J(x)J(x{)}^T\Delta x) \\ 上式关于\Delta x求导,并令其为0 \\ J(x)f(x)+J(x)J^T(x)\Delta x=0; \end{gathered}$$
$$\begin{gathered} \underset{H(x)}{J(x)J^T(x)\Delta x}=\underset{g(x)}{-J(x)f(x)}\to H\Delta x=g \\ 用J^{T}J作为牛顿法中二阶H矩阵的近似. \end{gathered}$$
高斯牛顿法用J的表达式近似了H

步骤:
$$\begin{gathered} 1.给定初始值x_0 \\ 2.对于第K次迭代,求出当前的雅可比矩阵J(x_k)和误差f(x_k) \\ 3.求解增量方程:H\Delta x_k=g.\to \Delta x_k=H^{-1}g. \\ 4.若\Delta x_k足够小,则停止,否则令H_{k+1}=x_k+\Delta x_k,返回2 \end{gathered}$$

优点:不用求海森矩阵
缺点;H半正定,也无法保证H可逆.

---

总结

参考:梯度的几何意义
SLAM 非线性优化