SLAM从入门到放弃：SLAM十四讲第六章习题

以下均为简单笔记，如有错误，请多多指教。

1. 证明线性方程$Ax=b$当系数矩阵$A$超定时，最小二乘解为$x=(A^{T}A{)}^{-1}{A}^{T}b$。
   解：首先声明是最小二乘解是使得$||Ax-b|{|}^2$得到最小值的解，假设记$x_a=x+x_{△}$是$Ax=b$的一个解，则：
   $||Ax-b|{|}^2=||A(x+x_{△})-b|{|}^2=||Ax+A{x}_{△}-b|{|}^2=|(Ax-b+A{x}_{△}{)}^T(Ax-b+A{x}_{△})|$
   $=|(Ax-b{)}^T(Ax-b)+(Ax-b{)}^{T}A{x}_{△}+(A{x}_{△}{)}^T(Ax-b)+(A{x}_{△}{)}^{T}A{x}_{△}$
   $=||Ax-b|{|}^2+|x^T{A}^{T}A{x}_{△}-b^{T}A{x}_{△}+x_{△}^T{A}^{T}Ax-x_{△}^T{A}^{T}b|+||A{x}_{△}|{|}^2$
   $\ge ||Ax-b|{|}^2+||A{x}_{△}|{|}^2+|((A^{T}A{)}^{-1}{A}^{T}b{)}^T{A}^{T}A{x}_{△}-b^{T}A{x}_{△}+x_{△}^T{A}^{T}A(A^{T}A{)}^{-1}{A}^{T}b|$
   $=||Ax-b|{|}^2+||A{x}_{△}|{|}^2+|b^T(A^{T}A{)}^{-1}{A}^{T}A{x}_{△}-x_{△}^{T}b|$
   $=||Ax-b|{|}^2+||A{x}_{△}|{|}^2+|b^T{x}_{△}-x_{△}^{T}b|$
   $=||Ax-b|{|}^2+||A{x}_{△}|{|}^2$
   故$||Ax-b|{|}^2\ge ||Ax-b|{|}^2+||A{x}_{△}|{|}^2$
   即如果要最优解只需要$x_{△}=0$，因此$x=(A^{T}A{)}^{-1}{A}^{T}b$即为超定$Ax=b$的最小二乘解。
   

2. 调研最速下降法、牛顿法、高斯牛顿法和列文伯格-马夸尔特（LM算法）方法各有什么优缺点。除了我们举的Ceres库和g2o库，还有那些常用的优化库？
   答：此处的答案直接来自课本。最速下降法：直观上将本算法十分简单，直接按照梯度的反方向下降即可；缺点是过于贪心，容易呈锯齿状下降，从而增加迭代次数。牛顿法：相对而言也非常直观，同时由于引入了二阶导数，可以处理一阶导为0的情况；但缺点是二阶导数具有非常大的计算量。高斯牛顿法：在牛顿法的基础上进行了一定程度的简化，使用$J^{T}J$代替海塞矩阵，避免了二阶导数的计算；缺点在于$J^{T}J$很容易病态，导致无法得到正确的结果。LM算法：通过引入阻尼项使得$J^{T}J$不那么容易病态，并且可以通过调整阻尼完成在梯度法和牛顿法之间切换；缺点我不太清楚。
   除了Ceres和g2o，我还用过levmar，sparseLM，另外听说过bundler_sfm。
   

3. 为什么高斯牛顿法的增量方程系数矩阵可能不正定？不正定有什么几何含义？为什么在这种情况下解就不稳定了？
   答：本人对数值优化不是完全懂，所以此处的理解可能非常简单，甚至可能是错误的。首先对于方程$f(x)$进行泰勒展开得到$f(x)=f(x)+\Delta x{J}^T+1/2\Delta xH\Delta x^T$，然而在高斯牛顿法中$H$被近似为$J^{T}J$，上述方程可以写成$f(x)=f(x)+\Delta x{J}^T+1/2\Delta x{J}^{T}J\Delta x^T$。
   接下来叙述一些与最优化相关的问题，首先要求解最小值，必须要保证以下两个条件。第一个条件是说明取最优解的时候当前值的导数必须为0，第二个条件是说明取最优解的时候当前的二阶导必须大于0。
   $$J^T=0；J^{T}J>0$$
   下图充分说明了此情况，明显在低点时一阶导为0，二阶导大于0。
   
   因此$x{J}^{T}J{x}^T=(x{J}^T)(x{J}^T{)}^T$，考虑到存在$x{J}^T=0$（我的想象是垂直于$J^T$的向量，或者说与一阶导数所构成的超平面垂直的向量），因此$x{J}^{T}J{x}^T\ge 0$，故可以认为高斯牛顿的Hessian矩阵是半正定的。
   关于不正定的几何意义，此处应用要从导数的角度来进行理解。当$J^{T}J$是不正定的，则意味着二阶导数在0附近波动或者小于0。当小于0时，则意味一阶导数逐渐变小，则此时应该得到极大值。
   当二阶导数大于0且在0附近波动时，即$J^{T}J$不稳定，此时意味着一阶导数的变化非常小，则整个求解域附近非常平滑（如下图所示）。由于计算机精度问题，此时的解就会非常不稳定。
   
   当二阶导数在0附近波动时，即$J^{T}J$一会大于0，一会小于0，此时意味着该解附近会有许多局部最优解，求解区域附近凹凸不平，如下图所示。明显此时很容易陷入局部最优解，解的精度也不是非常高。
   
   

4. Dogleg是什么？它与高斯牛顿法和列文伯特-马夸尔特方法有何异同？请搜索相关的资料。
   与LM算法使用阻尼项不同，Dogleg算法使用了置信域来完成最速下降法和高斯牛顿法之间的切换。简单来说，Dogleg算法就是分别计算了高斯牛顿法和最速下降法的下降方向和大小，然后将两个方向融合成一个置信域内的变化量。如下图所示，其中$h_{sd}$是最速下降法求出的方向，$h_{GN}$是高斯牛顿法的方向，$h_{dl}$是融合后得到的方向，$\Delta$是置信域的半径。更详细的介绍请看：http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3215/pdf/imm3215.pdf