4.高斯牛顿方程

相较于第2节的直接对函数进行二阶泰勒展开,然后求函数一阶导为零来进行迭代求极小值的方法

高斯牛顿法采用的是,只对函数进行一阶泰勒展开,然后对一阶泰勒展开进行平方,求其平方的一阶导为0来进行迭代

上面这段话翻译成公式就是
写出函数的一阶泰勒展开式

求其最小二乘

求全微分


习惯上会让

于是

我们比较一下第二节的二阶泰勒法计算极小值

这里相当于用一阶的雅可比矩阵对海瑟矩阵进行了近似,相对于使用来说,减少了计算量

你可能感兴趣的:(4.高斯牛顿方程)