PyTorch深度学习实践--P4BP算法反向传播

2021.10.20

BP算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行.

线性模型 y=w*x

机器学习中最重要的是让损失函数最小，求损失函数对于w的导数来更新权重

 pytorch中，tensor是用来存数据的，可以存标量、向量、矩阵、高阶tensor

tensor中包含data和grad，分别保存权重值和损失函数对权重的导数，data和grad也是tensor

 建立了tensor就可以去建立计算图

用tensor需要import torch

反向传播体现在l.backward

w.item

w.data只取数值，不产生计算图

data也是tensor，但是不建立计算图，只是拿出数值，。item就是把数值转换成标量

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = torch.Tensor([1.0])  # 设权重为1.0
w.requires_grad = True  # 需要计算梯度


def forward(x):
    return x*w #w是tensor，乘法运算重载了，需要进行tensor与tensor之间的数乘，x自动类型转换为tensor

#每调用loss函数一次，就把计算图动态的构建出来了
def loss(x,y):
    y_pred=forward(x)
    return (y_pred-y)**2

print("predict (before training)",4,forward(4).item())
#训练过程
for epoch in range(100):
    for x,y in zip(x_data,y_data):
        l=loss(x,y)#forward，compute the loss
        l.backward()#backward，compute the grad for Tensor whose requires_grad set to True.将grad存在ww里，只要一做backward，计算图就被释放了
        print("\tgrad:",x,y,w.grad.item())#item产生标量，也是为了防止产生计算图
        w.data=w.data-0.01*w.grad.data#全中更新时使用data。grad也是一个tensor，所以需要取data来读取值，否则会建立计算图。我们只需要对数值修改，不用求梯度

        w.grad.data.zero_()#权重里梯度数据清零

    print('progress:',epoch,l.item())

print("predict(after training)",4,forward(4).item())

作业：

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w1 = torch.Tensor([1.0])
w2 = torch.Tensor([1.0])
b = torch.Tensor([1.0])# 设权重为1.0
w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True# 需要计算梯度


def forward(x):
    return x*x*w1+x*w2-b #w是tensor，乘法运算重载了，需要进行tensor与tensor之间的数乘，x自动类型转换为tensor

#每调用loss函数一次，就把计算图动态的构建出来了
def loss(x,y):
    y_pred=forward(x)
    return (y_pred-y)**2

print("predict (before training)",4,forward(4).item())
#训练过程
for epoch in range(100):
    for x,y in zip(x_data,y_data):
        l=loss(x,y)#forward，compute the loss
        l.backward()#backward，compute the grad for Tensor whose requires_grad set to True.将grad存在ww里，只要一做backward，计算图就被释放了
        print("\tgrad:",x,y,w1.grad.item(),w2.grad.item(),b.grad.item())#item产生标量，也是为了防止产生计算图
        w1.data=w1.data-0.01*w1.grad.data
        w2.data=w2.data-0.01*w2.grad.data
        b.data=b.data-0.01*b.grad.data#全中更新时使用data。grad也是一个tensor，所以需要取data来读取值，否则会建立计算图。我们只需要对数值修改，不用求梯度

        w1.grad.data.zero_()#权重里梯度数据清零
        w2.grad.data.zero_()
        b.grad.data.zero_()

    print('progress:',epoch,l.item())

print("predict(after training)",4,forward(4).item())