深度学习基础知识（七）:神经网络基础之梯度下降法

4. 梯度下降法

4.1 定义

​ 通过对参数（如w，b）进行求导，用于训练模型中的各种参数（如线性回归的w和b参数），从而达到成本函数值的最低点（也就是函数图像的最低点）。

4.2 函数图像

​ 在图中，x和y轴分别为需要训练的参数w和b（参数越多时维数越高），z轴为J（w，b）的值

4.3 具体操作方式

  在logistic回归当中参数进行任意初始化后，进行一次logistic回归计算，并且计算出当前J（w，b）的公式和值，并且分别对公式进行关于不同参数的导数，进而求出斜率最低的方向，即再图像中为当前点最陡的方向，再向这个方向移动一定的距离（这个距离按照学习率，也就是步长决定），具体的移动方法就是使用变化函数改变参数的值，也就是对参数进行优化，并且不断重复上述过程，从而达到最优点（损失函数最低点）。

4.4 变化函数：(以参数w为例)

​ $w:=w-\alpha \frac{dJ(w)}{dw}$

​ $w:=$ 为更新w的值

​ $\alpha$ 为学习率，代表着步长，控制着每次迭代的移动长度，学习率越大，步长越大

​ $\frac{dJ(w)}{dw}$ ：为J进行关于w的导数，后面常用$d(w)$直接表示

4.5 过程图示