Pycharm(三):梯度下降法

梯度下降算法(Gradient Descent Algorithm)是深度学习中常用的更新权重的方法,它采用的贪心法的思想,每次都往函数值下降最快的方向去更新,梯度方向是增长最快的方向,负梯度方向是下降最快的方向。

一、梯度的概念

1.方向导数

若函数f(x,y,z)在点P(x,y,z)处的沿方向l(方向角为α,β,γ)

Pycharm(三):梯度下降法_第1张图片

你可能感兴趣的:(pycharm)