Pytorch深度学习实践（b站刘二大人）P4讲（反向传播）

课堂代码：

#反向传播课上代码

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = torch.tensor([1.0])  # w的初值为1.0
w.requires_grad = True  # 默认为False，True表示需要计算梯度


def forward(x):
    return x * w
#其中 w 是tensor,乘法运算符被重载，tensor 与 tensor 的乘法，所以 x 会自动进行类型转换，转换为 tensor

def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2
#代码在构建计算图

print("predict (before training)", 4, forward(4).item())

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)  # l是一个张量，tensor主要是在建立计算图
        l.backward()    #把计算图上所有需要梯度的地方，把梯度计算出来，把梯度存放给 w
        print('\tgrad:', x, y, w.grad.item())   #.item() 用来把梯度里的数值直接拿出来，变成python中的一个标量，也为了防止产生计算图
        w.data = w.data - 0.01 * w.grad.data  # 权重更新时，需要用到标量，注意grad也是一个tensor，其中w.grad.data中用data避免产生计算图

        w.grad.data.zero_()  # w.grad.data 清0

        # 不可以 sum = 0
        #  ......
        #sum += l  l是张量，tensor 在加法运算中会构建计算图，这样会建立许多计算图，吃内存，
        #用 sum += l.item() 把损失值取出来

    print('progress:', epoch, l.item())  # 取出loss使用l.item()，直接使用l会构建计算图

print("predict (after training)", 4, forward(4).item())

运行结果：

 

课后作业：

import torch

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

w1 = torch.tensor([1.0])
w2 = torch.tensor([2.0])
b = torch.tensor([1.0])

w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True

def forward(x):
    return x * x * w1 + x * w2 +b

def loss(x,y):
    y_pred = forward(x)
    return (y_pred - y) ** 2

print('predict (before training)',4,forward(4).item())


for epoch in range(100):
    for x,y in zip(x_data,y_data):
        l = loss(x,y)
        l.backward()
        print('\tgrad',x,y,w1.grad.item(),w2.grad.item(),b.grad.item())

        w1.data = w1.data - 0.01 * w1.grad.data
        w2.data = w2.data - 0.01 * w2.grad.data
        b.data = b.data - 0.01 * b.grad.data

        w1.grad.data.zero_()  # 清0
        w2.grad.data.zero_()
        b.grad.data.zero_()

    print('progress:',epoch,l.item())  # 每个epoch的Loss
print("predict (after training)", 4, forward(4).item())

运行结果：