3.最速下降法

根据第1节的课程我们知道多元函数的一阶泰勒展开式如下


牛顿迭代的话是让左端为,然后根据上式求出每次的

而最速下降法不一样,它是拿到某个,之后直接计算该点的梯度,然后就顺着梯度的反方向开始下降,所以有很有可能走出一个锯齿形状
根据上面的表述,我们知道
这个每次迭代的增量为

你可能感兴趣的:(3.最速下降法)