pytorch学习--第一个模型（线性模型）

目标

我们想通过随机初始化的参数$\omega ,b$能在迭代过程中使预测值和目标值能无限接近
$$y=\omega x+b$$

定义数据

x = torch.rand([60, 1])*10
y = x*2 + torch.randn(60,1)

构建模型

利用pytorch中的nn.Module
想要构建模型时，继承这个类即可
一些重写nn.Module类时的注意事项
（1）一般把网络中具有可学习参数的层（如全连接层、卷积层等）放在构造函数__init__()中；
（2）一般把不具有可学习参数的层(如ReLU、dropout、BatchNormanation层)可放在构造函数中，也可不放在构造函数中，如果不放在构造函数__init__里面，则在forward方法里面可以使用nn.functional来代替
（3）forward方法是必须要重写的，它是实现模型的功能，实现各个层之间的连接关系的核心。

from torch import nn
class Lr(nn.Module):
    def __init__(self):
        super(Lr, self).__init__()  #继承父类init的参数
        self.linear = nn.Linear(1, 1) #只有线性层（全链接层）
 
    def forward(self, x):
        out = self.linear(x)#输出
        return out

输出的数量nn.Linear(in_features, out_features)；nn.Linear(1, 1)这里的参数易知我们通过方程得到的最终是一列数

# 实例化模型
model = Lr()
# 传入数据，计算结果
predict = model(x)

优化器

1、优化器主要是在模型训练阶段对模型可学习参数进行更新, 常用优化器有 SGD，RMSprop，Adam等
2、优化器初始化时传入传入模型的可学习参数，以及其他超参数如 lr，momentum等
3、在训练过程中先调用 optimizer.zero_grad() 清空梯度，再调用 loss.backward() 反向传播，最后调用 optimizer.step()更新模型参数
4、参数可以使用model.parameters()来获取，获取模型中所有requires_grad=True的参数

optimizer = optim.SGD(model.parameters(), lr=1e-3) #1. 实例化，1e-3也可以写成0.001
optimizer.zero_grad() #2. 梯度置为0
loss.backward() #3. 计算梯度
optimizer.step()  #4. 更新参数的值

损失函数

torch中有很多损失函数

1、均方误差：nn.MSELoss(),常用于回归问题

2、交叉熵损失：nn.CrossEntropyLoss()，常用于分类问题

criterion = nn.MSELoss() # 实例化损失函数

训练模型

1、定义一个epoch，代表需要将所有数据训练epoch个轮次
2、数据传入模型，获取预测值
3、将预测值和目标值传入损失函数，计算损失
4、优化器的梯度归零，在每次更新参数中必须进行此步骤，否则梯度会一直累加
5、计算梯度，此步骤在4之后进行
6、更新梯度，参数随之更新
7、（可选）在训练过程中每隔一段时间打印下损失，观察收敛速度

#训练模型
for i in range(30000):
    out = model(x)  # 3.1 获取预测值
    loss = criterion(y, out)  # 3.2 计算损失
    optimizer.zero_grad()  # 3.3 梯度归零
    loss.backward()  # 3.4 计算梯度
    optimizer.step()  # 3.5 更新梯度
    if i % 300 == 0:
        print('Epoch[{}/{}], loss: {:.6f}'.format(i, 30000, loss.data))

模型测试

在模型的测试中，我们一般会使用测试集来评估训练得到的模型，这时候我们不需要梯度相关的操作，只需要将数据通过模型，得到损失、精确率等即可。测试中有以下需要注意：

model.eval()  # 设置模型为评估模式，即预测模式
predict = model(x)

绘图

predict = predict.data.numpy()
plt.scatter(x.data.numpy(), y.data.numpy(), c="r")
plt.plot(x.data.numpy(), predict)
plt.show()

在GPU上运行

判断GPU是否可用torch.cuda.is_available()

1、torch.device(“cuda:0” if torch.cuda.is_available() else “cpu”)

device(type=‘cuda’, index=0) #使用gpu
device(type=‘cpu’) #使用cpu

2、把模型参数和input数据转化为cuda的支持类型

model.to(device)
x_true.to(device)

3、在GPU上计算结果也为cuda的数据类型，需要转化为numpy或者torch的cpu的tensor类型

predict = predict.cpu().detach().numpy()
detach()的效果和data的相似，但是detach()是深拷贝，data是取值，是浅拷贝

完整代码

import torch
from torch import nn
from torch import optim
import numpy as np
from matplotlib import pyplot as plt

# 1. 定义数据
x = torch.rand([60, 1])*10
y = x*2 + torch.randn(60,1)


# 2 .定义模型
class Lr(nn.Module):
    def __init__(self):
        super(Lr, self).__init__()
        self.linear = nn.Linear(1, 1)

    def forward(self, x):
        out = self.linear(x)
        return out


# 2. 实例化模型，loss，和优化器
model = Lr()
# 损失函数
criterion = nn.MSELoss()
# 优化器
optimizer = optim.SGD(model.parameters(), lr=1e-3)
# 3. 训练模型
for i in range(30000):
    out = model(x)  # 3.1 获取预测值
    loss = criterion(y, out)  # 3.2 计算损失
    optimizer.zero_grad()  # 3.3 梯度归零
    loss.backward()  # 3.4 计算梯度
    optimizer.step()  # 3.5 更新梯度
    if i % 300 == 0:
        print('Epoch[{}/{}], loss: {:.6f}'.format(i, 30000, loss.data))

# 4. 模型评估
model.eval()  # 设置模型为评估模式，即预测模式
predict = model(x)
predict = predict.data.numpy()
plt.scatter(x.data.numpy(), y.data.numpy(), c="r")
plt.plot(x.data.numpy(), predict)
plt.show()