神经网络与深度学习——神经网络基础——梯度下降法

梯度下降法是我们训练参数的途径,这里还是以logistic回归函数为例

首先回顾一下logistic回归函数,其中J(w,b)表示成本函数
在这里插入图片描述

我们的目的是要找到使成本函数尽可能小的参数w和b

梯度下降法:从初始点开始,向最陡的下坡走一步,使参数尽可能快的接近最优点
神经网络与深度学习——神经网络基础——梯度下降法_第1张图片
神经网络与深度学习——神经网络基础——梯度下降法_第2张图片

参数沿导数方向下降最快

一个参数时我们得到下面的公式
在这里插入图片描述

其中

Ø 导数之后写代码的时候用dw变量声明

Ø α是学习率,表示每次迭代的步长

两个参数时我们得到
神经网络与深度学习——神经网络基础——梯度下降法_第3张图片

你可能感兴趣的:(深度学习)