最小二乘

最小二乘问题可以分为线性和非线性：
参考https://blog.csdn.net/zhubaohua_bupt/article/details/74973347
线性：两种求解办法，可以参考上述文章求解，也可以进行SVD分解

非线性：因为不能直接对目标函数求导得到结果，因此就对目标函数进行泰勒展开线性化，并通过迭代不断的逼近最有值。泰勒展开分为一阶和二阶：保留一阶项就是最速下降法，往梯度相反的方向运动；保留二阶项就是牛顿法，但是Hessian矩阵求解复杂，实用性不高。所以就对代价函数/残差 - f(x)进行泰勒展开，也就是高斯-牛顿法，进而有LM法。

对于线性问题，使用非线性的解法进行求解时，会在第一次迭代就达到最终结果，后续迭代基本不会变化。因为这次迭代就是线性求解过程。

ceres中进行pose优化时，构建残差和变量都是李代数的形式，这样进行数值求导也可以吗