Pytorch ——基础指北_贰 [反向传播和梯度下降]

Pytorch ——基础指北_贰

系列文章目录

Pytorch ——基础指北_零
Pytorch ——基础指北_壹
Pytorch ——基础指北_贰
Pytorch ——基础指北_叁

软件环境：

- pytorch 1.10
- pycharm

配套代码下载地址：

gitee-pytorch

基础知识：

要想训练一个网络，对于梯度的理解是必不可少的，下面首先介绍梯度的一些基础概念。

1、多元函数求偏导

一元函数，即有一个自变量。类似$f(x)$

多元函数，即有多个自变量。类似$f(x,y,z),三个自变量x,y,z$

多元函数求偏导过程中：对某一个自变量求导，其他自变量当做常量即可

例1：
$$\begin{gathered} f(x,y,z)=ax+by+cz \\ ans: \\ \frac{df(x,y,z)}{dx}=a \\ \frac{df(x,y,z)}{dy}=b \\ \frac{df(x,y,z)}{dz}=c \end{gathered}$$

例2：
$$\begin{gathered} f(x,y)=xy \\ ans: \\ \frac{df(x,y)}{dx}=y \\ \frac{df(x,y)}{dy}=x \end{gathered}$$

练习：

已知$J(a,b,c)=3(a+bc),令u=a+v,v=bc$,求a，b，c各自的偏导数。
$$\begin{gathered} 令:J(a,b,c)=3u \\ \frac{dJ}{da}=\frac{dJ}{du}\times \frac{du}{da}=3\times 1 \\ \frac{dJ}{db}=\frac{dJ}{du}\times \frac{du}{dv}\times \frac{dv}{db}=3\times 1\times c \\ \frac{dJ}{dc}=\frac{dJ}{du}\times \frac{du}{dv}\times \frac{dv}{dc}=3\times 1\times b \end{gathered}$$

2、方向导数：

  简单地说方向导数形容的是满足某个关系下(Y=KX+B)，对于各个方向上本关系数值变化率（Y的变化率）的量化表达式。

数学推导：

可参考：

方向导数1 第一章

方向导数2

设 L 是 $XOY$ 平面（笛卡尔坐标系）上以 $P(X_0,Y_0)$为始点的一条射线,$e_l=(\cos \alpha ,\cos \beta )$ 是与 L 同方向的单位向量。

射线 L 的参数方程为
$$\{\begin{array}{l}x=x_0+t\cos \alpha \\ y=y_0+t\cos \beta (t\ge 0)\end{array}$$
假设沿$l$方向增加 $t$,则函数增量为
$$\begin{gathered} \Delta z=f\left(x_0+t\cos \alpha ,y_0+t\cos \beta \right)-f\left(x_0,y_0\right) \\ (\Delta x=t\cos \alpha ,\Delta y=t\cos \beta ) \end{gathered}$$
所以方向导数就有了如下定义:
$${\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}=\underset{t\to 0^{+}}{\lim }\frac{f\left(x_0+t\cos \alpha ,y_0+t\cos \beta \right)-f\left(x_0,y_0\right)}{t}$$

$$\text{ 从方向导数的定义可知,方向导数 }{\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}\text{ 就是函数 }f(x,y)\text{ 在点 }{P}_0\left(x_0,y_0\right)\text{ 处沿方向 }l\text{ 的变化率. }$$

定理：

$$\text{ 如果函数 }f(x,y)\text{ 在点 }{P}_0\left(x_0,y_0\right)\text{ 可微分,那么函数在该点沿任一方向 }l\text{ 的方向导数存在,且有 :}$$

$$\begin{gathered} {\frac{\partial f}{\partial l}|}_{\left(x_0,y_0\right)}=f_x\left(x_0,y_0\right)\cos \alpha +f_y\left(x_0,y_0\right)\cos \beta \\ 注意里面为偏导实际上就分解成了XY轴上函数变化率 \end{gathered}$$

其中, $\cos \alpha \text{ 和 }\cos \beta$是方向$I$ 的方向余弦。

3、梯度：

梯度是方向导数的特例：
$$\mathrm{gradf}(x,y)=\frac{\partial f}{\partial x}\dot{i}+\frac{\partial f}{\partial y}\dot{j}$$
已知在某个点有方向导数存在下列关系：
$$\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}\cos \phi +\frac{\partial f}{\partial y}\sin \phi =\left\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right\}\cdot \{\cos \phi ,\sin \phi \}$$

在方向 L上满足如下单位向量：
$$\mathbf{e}=\cos \phi \mathbf{i}+\sin \phi j$$

则方向导数可转化成如下：
$$\frac{\partial f}{\partial l}=\mathrm{gradf}(x,y)$$
  点积就相当于做一个投影，方向导数 和 梯度 之间保持一定的夹角（做点积）来构成各个方向上的方向导数。什么时候方向向量最大呢？很容易想到不存在夹角的时候就可以满足，因为此时点积最大即满足下列条件：
$$\text{ 只有当 }\cos (\mathrm{grad}f(x,y),e)=1，\frac{\partial f}{\partial l}\text{ 才有最大值。 }$$
函数在某点的梯度是个向量，他的方向与方向导数最大值取值的方向一致，其大小正好是最大的方向导数。

  梯度概念理解：如下图所示，在P点放一个热源的等温线，则热源的辐射从里到外为10°、20°、30°、40°，若一个小蚂蚁在o点，要最快逃离热源，应该往OJ方向逃离，若往OM方向逃离则热源的变化率为0，即一直都是20°，也就是说蚂蚁一旦确定了某个逃离方向(0°,90°）方向角逃离，只要一直沿着该方向一直走，就是最快的热源降低的方向

对于一维线性函数其导数就是梯度。

各种函数的梯度与导数的关系：

函数梯度

更详细的解释可以参考参考文献链接。

Tensor的梯度与反向传播

回顾机器学习

收集数据$x$ ，构建机器学习模型$f$，得到$f(x,w)=Y_{predict}$

如何判断模型的好坏？判断模型好坏的方法:
$$\begin{array}{ll}\mathrm{loss}={\left(Y_{predict}-Y_{\text{true }}\right)}^2& \text{ (回归损失) }\\ \mathrm{loss}=Y_{\text{true }}\cdot \log \left(Y_{\text{predict }}\right)& \text{ (分类损失) }\end{array}$$
通过最终 $loss$ 的输出，来反向传播计算梯度大小进而调整参数的大小实现最优解。

当 $loss$ 满足如图时候

计算出来梯度以后：朝着梯度变化的方向运算，随机选择一个起始点$w_0$,通过调整$w_0$，让 $loss$ 函数取到最小值。

$w$的更新方法：

1. 计算$w$的梯度（导数）

$$\nabla w=\frac{f(w+0.000001)-f(w-0.000001)}{2\ast 0.000001}$$

2. 更新$w$
   $$w=w-\alpha \nabla w$$

其中：

1. $w<0$ ,意味着w将增大
2. $w>0$ ,意味着w将减小

总结：梯度就是多元函数参数的变化趋势（参数学习的方向），只有一个自变量时称为导数，拥有多个时称为偏导数。

反向传播？

计算图

为了方便描述，通过图的方式来描述函数。

$J(a,b,c)=3(a+bc),令u=a+v,v=bc$,把它绘制成计算图可以表示为：

对每个节点求偏导可有：

反向传播的过程就是一个上图的从右往左的过程，自变量$a,b,c$各自的偏导就是连线上的梯度的乘积：

$$\begin{gathered} \frac{dJ}{da}=3\times 1 \\ \frac{dJ}{db}=3\times 1\times c \\ \frac{dJ}{dc}=3\times 1\times b \end{gathered}$$

为什么要算反向传播？

因为要计算梯度。

实战演示：

接下来尝试计算一个简单结构的梯度，问题描述如下：

假设我们的基础模型就是y = wx+b，其中w和b均为参数，我们使用y = 3x+0.8来构造数据x、y，所以最后通过模型应该能够得出w和b应该分别接近3和0.8。

简单的来说就是拟合出满足y = 3x+0.8这个曲线。

步骤分为四步：

# 1 构造数据
# 2 设计正向传播 和 反向传播函数 来训练网络
# 3 训练
# 4 画图画出拟合出来的曲线

过程如下图：

从左向右是正向传播部分

从右向左是反向传播部分

对于W和B其计算类似,这里单独说B即可

对于B的梯度满足下式，值得注意的是这里的Loos求取的是平均值实际上出来的是一个标量，对于标量的梯度计算实际上也是一个平均值（这里值得思考一下）。

$$\frac{\partial Loss}{\partial B}=\sum _{i=0}^{N}2\ast (y_i-y_{pi})/N$$
反向传播后对B进行梯度下降：

$$B=B-rate\ast \frac{\partial Loss}{\partial B}$$
梯度下降以后再次进行正向传播即可，计算出来Y_p，最后计算出来Loss。

正向传播满足下式：
$$Y_{predict(0...N)}=X_{predict(0...N)}\ast W+B$$
代码如下：

import torch
import numpy as np
import matplotlib.pyplot as plt

# 1 构造数据
x_number = 50
x = torch.rand([x_number, 1])
y = 3 * x + 0.8
rate = 0.01
study_time = 3000

# 2 正向传播 和 反向传播
w = torch.rand([1, 1], requires_grad=True, dtype=torch.float32)
b = torch.rand(1, requires_grad=True, dtype=torch.float32)
y_preidct = torch.matmul(x, w) + b


def forward_propagation():
    global x, w, b, y_preidct
    y_preidct = torch.matmul(x, w) + b
    # 计算 loss
    loss = (y - y_preidct).pow(2).mean()
    return loss


def back_propagation():
    global x, w, b, loss, rate, y_preidct
    test = 0.0
    if w.grad is not None:
        w.grad.data.zero_()
    if b.grad is not None:
        b.grad.data.zero_()
    # 反向传播
    loss.backward()
    w.data -= w.grad * rate
    b.data -= b.grad * rate
    #此处为了验证b的梯度进行计算
    # for j in range(x_number):
    #   test += ((y[j] -y_preidct[j].item()) * 2) 
    # print("b:", b.grad)
    # print("b_t:", test/x_number)


# 3 训练部分
for i in range(study_time):
    loss = forward_propagation()
    back_propagation()
    if i % 10 == 0:
        print("w,b,loss", w.item(), b.item(), loss.item())

# 4 画图部分
predict = x * w + b  # 使用训练后的w和b计算预测值
plt.scatter(x.data, y.data, c="r")
plt.plot(x.data.numpy(), predict.data.numpy())
plt.show()

红色的是数据集结果蓝色是训练出来的结果：

当训练次数比较少的时候拟合曲线不正确：

当把学习率降低（变化范围减小），增加学习次数就可以得到很好的结果：

参考文献：

国内教程 偏理论 （10 -13 节）

youtobe教程 （第三节）（需要科学上网）有需要搬运联系我

方向导数1

方向导数2