深度学习记录--梯度下降法

什么是梯度下降法?

梯度下降法是用来求解成本函数cost函数中使得J(w,b)函数值最小的参数(w,b)

深度学习记录--梯度下降法_第1张图片

梯度下降法的实现

通过对参数w,b的不断更新迭代,使J(w,b)的值趋于局部最小值或者全局最小值

如何进行更新?

以w为例:迭代公式 w:=w-\alpha\frac{\mathrm{d} J(w) }{\mathrm{d} w},其中\alpha表示学习速率(learning rate)

当导数为负值时,w不断增大;当导数为正值时,w不断减小,最终都会趋于凹点(满足条件)

实际上\frac{\mathrm{d} J(w) }{\mathrm{d} w}只是适用于一个变量,当有多个变量时,应该写为\frac{\partial J( w,b) }{\partial w}

深度学习记录--梯度下降法_第2张图片

从低维到高维

当每个变量都进行迭代,则会在每个维度都趋近凹点,最终实现全局或局部最小cost值

深度学习记录--梯度下降法_第3张图片

你可能感兴趣的:(深度学习记录,深度学习,人工智能)