高斯牛顿法解非线性最小二乘问题推导

应用领域

解决非线性最小二乘问题，描述如下：

其中：

• 自变量 ， 维向量
• 为非线性函数，向量函数，， 输出为 维向量

推导

1. 一阶泰勒展开近似

对 f(x) 在 处泰勒展开：

其中：

• 为函数 在 处的 雅克比矩阵

注意：是展开 而不是 。
对于单一输出的函数，一阶导数的位置上应为 梯度向量，对于输出为向量的函数，这个位置上为 雅克比矩阵。

将问题转化为：对于每次迭代，求最优的 。表达如下：

展开：

2. 求极值

令关于 的导数=0 ：

得到结果：

有的文章还会再做一些符号的简化表示：

则得到结果：

3. 总结

高斯牛顿法迭代需要计算的量有：

• 当前位置的函数值
• 当前位置的雅克比矩阵