【PyTorch深度学习实践】03_反向传播

对于简单的模型，梯度变换可以用解析式表达进行手算，但是复杂模型（很多w，b）的损失函数需要挨个写解析式，非常不好计算（主要是求导）。因此，可以考虑使用某种算法，把整个网络看做一个计算图，在图上传播整个梯度。这种算法，就称为反向传播算法。

转载：梯度下降法是通用的优化算法，反向传播法是梯度下降法在深度神经网络上的具体实现方式。

1.计算图

单层

需要注意的是，神经网络的训练本质，就是对每层的w和b进行训练。

每一层的结束都需要引入非线性的激活函数。
如果不加入激活函数，那么无论多少层，得到的结果都是线性的。

2.反向传播

2.1 链式求导法则

进行反向传播的关键就是链式求导。反向传播其实就是计算图中的梯度求解，通过链式求导得到L对x和w的导数（梯度），再根据更新规则进行更新。

链式求导的规则，非常形象的图：

2.2 反向传播过程

1.构建计算图（前馈）

2. 求输出关于x和w的梯度

3. 损失L关于输出z的偏导

4. 运用链式求导法则，求L关于x和w的偏导（反馈）

一个简单线性模型（仿射模型）的前馈+反馈过程

3.Pytorch中前馈和反馈的计算

3.1 Tensor

参考博客
Tensor本身是一个类，里面包含两个比较重要的成员data（比如权重值）和grad（损失函数对权重的导数）

3.2 代码演示

import torch
import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = torch.Tensor([1.0])
w.requires_grad = True

def forward(x):      # 前馈过程
    return x * w            # 因为w是tensor，因此x会自动类型转换变成tensor，输出的结果也变为tensor

def loss(x, y):             # 损失函数
    y_pred = forward(x)
    return (y_pred - y) ** 2

loss_list = []
epoch_list = []

print("predict(before training)",4, forward(4).item())   # 因为数值是一维标量，所以可以直接用item取，不是标量（如向量，矩阵）得用data

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)  # 前馈：前馈并计算损失函数
        l.backward()  # 反馈：张量自带的成员函数，会自动反向传播算梯度，把计算连路上所有需要的梯度都求出来，算完会释放这个计算图,每次都会创建新的计算图
        print('\tgrad:', x, y, w.grad.item())
        w.data = w.data - 0.03 * w.grad.data   # 更新：.data得到的也是张量，但是只是数值改变的运算。不取data会构建计算图，占用内存
        
        w.grad.data.zero_()  # 把权重的梯度数据清零，不然后面几轮会累加计算

    epoch_list.append(epoch)
    loss_list.append(l.item())
    print("progress:", epoch, l.item())

print("predict(after training)", 4, forward(4).item())

plt.plot(epoch_list, loss_list)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()

得到的图像如下：