[置顶] 回归--非线性最小二乘-高斯牛顿法

我们经常遇到的问题是非线性最小二乘，下面说一下非线性最小二乘问题。

其中，

。

最小化上式。

我们通过泰勒展式在处展开，得：

，

然后带入，得到：

，

然后，对上式进行求导并令导数等于零，即：

，

那么通过上式，我们可以令：

。

L-M算法就是：

。

加上步长后更一般的迭代：

。