刘二大人《Pytorch深度学习与实践》04反向传播

根据最基本的BP神经网络，我把反向传播的过程进行了演算，其中包括正向传播和反向传播，下面以一个例子来解释。

 

 

 

 

 

 

 

 

 具体的代码实现如下

import torch
import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [4.0, 8.0, 12.0]
# 设置初始权重值，要加小括号
w1 = torch.tensor([1.0])
w2 = torch.tensor([1.0])
b = torch.tensor([2.0])
# 设置为需要计算梯度,因为默认的权重不计算梯度
w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True
epoch_list = []
l_list = []


# 定义前项传播
def forward(x):
    # Tensor 是一个张量，x*w则变成了数乘
    return w1 * x * x + w2 * x + b


# 定义损失函数
def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


# item 将数据直接以张量数值的形式取出来
print('predict before training', 4, forward(4).item)
# 开始设置迭代次数
for epoch in range(500):
    for x, y in zip(x_data, y_data):
        # 将每一次的数据误差存到 l 中
        l = loss(x, y)
        # 利用反向传播，将误差值传播回去
        l.backward()
        print('\tgrad:', x, y, w1.grad.item(), w2.grad.item(),b.grad.item(),l.item())
        # 以学习率为0.01乘以梯度信息，以此来更新权重信息
        w1.data = w1.data - 0.03 * w1.grad.data
        w2.data = w2.data - 0.03 * w2.grad.data
        b.data = b.data - 0.05 * b.grad.data
        # 将第一次产生的梯度进行清零，否则第二次的梯度就会变成两个梯度之和的导数
        w1.grad.data.zero_()
        w2.grad.data.zero_()
        b.grad.data.zero_()
        l_list.append(l.item())
        epoch_list.append(epoch)
    # 输出迭代次数和损失值l的具体数值
    print('progress', epoch, l.item())
# 将forward(4)的结果以张量的具体数值输出出来
print('predict（after training)', 4, forward(4).item())
plt.plot(epoch_list, l_list)
plt.ylabel('epoch')
plt.xlabel('loss')
plt.show()