非线性最小二乘问题及其求解方法：最速下降、牛顿、高斯牛顿、LM算法

1.问题

  非线性最小二乘问题:

2.求解方法

  由于f(x)是非线性函数，不能直接进行求导，可以用迭代寻优的方法求解。
  迭代寻优：
  这让求解导函数为零的问题，变成了一个不断寻找梯度并下降的过程。直到某个时刻增量非常小，无法再使函数下降。此时算法收敛，目标达到了一个极小，我们完成了寻找极小值的过程。在这个过程中，我们只要找到迭代点的梯度方向即可，而无需寻找全局导函数为零的情况。这个过程的关键是：

，即迭代的方向和步长。
  为了求解 ，我们借助泰勒展开求 ：
注： J 是 ∥f(x)∥2 关于 x 的导数（雅可比矩阵），而 H 则是二阶导数（海塞（Hessian）矩阵）
根据对上式的处理方式（保留到几阶导），分为最速下降法和牛顿法。

2.1最速下降法

2.2牛顿法

2.3 高斯牛顿

2.4 LM算法