【深度学习】负梯度方向函数下降最快

$ \bigtriangledown f$ 指向函数增长速度最快的方向(梯度)
− ▽ f - \bigtriangledown f f 指向函数下降速度最快的方向(负梯度)

导数 $ \Rightarrow $ 变化率
方向导数 $ \Rightarrow $ 在某个方向上的导数 $ \Rightarrow $ 变化率
方向导数最大,则变化率最大,变化速度最快

【深度学习】负梯度方向函数下降最快_第1张图片
( α f α l \frac{\alpha f}{\alpha l} αlαf是函数在P点处的方向导数)

梯度是一个向量(矢量),函数在该点处的方向导数沿梯度方向取得最大值,即函数在该点处沿着梯度方向变化率最大,变化速度最快。

你可能感兴趣的:(【深度学习】负梯度方向函数下降最快)