[Pytorch] 学习记录(四)使用Pytorch实现线性回归

在之前的几节里涉及到过简单的线性模型,本章将利用pytorch提供的工具来实现线性回归。我们会介绍诸如Module、构造Loss函数、构造随机梯度下降优化器等。这些东西pytorch都会提供,因此本章的主要作用就是如何利用pytorch提供的工具来帮助我们更方便的实现构建线性模型

 

首先回顾一下前面讲过的,第一步是要确定Linear Model,再定义损失函数进行优化。在pytorch中进行优化的时候,要用到的是sgd(随机梯度下降),而用sgd核心的步骤是要求出每一个损失函数关于权重的偏导(梯度),这就是在优化这一步我们要做的工作。接下来我们就开始利用pytorch提供的工具来实现线性模型,虽然下面的代码可能会更加麻烦,但它具有更好的可扩展性,换句话说就是能用他干很多事情。

  1. 准备数据集
  2. 用class构建模型(继承自nn.Moudle),用来计算y_hat
  3. 构造损失函数 和 优化器(使用pytorch的API)
  4. 写训练周期(forward, backward, update;前馈算损失,反馈算梯度,随机梯度下降更新权重)

这里我们准备的数据集样例很简单,如下所示,x和y都是3×1的矩阵。

x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[2.0], [4.0], [6.0]])

我们在前面进行训练的时候是要人工求导的,在pytorch里我们就不再人工求导。我们的重心要转移到构建计算图,只要计算图能够成功地构建出来,梯度一类的就会自动求出来,然后我们就可以去做优化了。一个简单的计算图如图1所示。

[Pytorch] 学习记录(四)使用Pytorch实现线性回归_第1张图片 图1 简单的计算图

 x被输入后,经过一个线性单元的运算得到y_hat,再进入loss函数求出loss值。求出loss值后就可以在loss这里调用backward,之后对整个计算图进行反向传播。下面是模型构建的代码部分:

class LinearModel (torch.nn.Module) :        # 必须继承自 torch.nn.Module
    def __init__(self) :                     # 所有的模型至少都要实现 init 和 forward
        super(LinearModel, self).__init__()  # 这行不用管他为什么,直接写上就对了
        self.linear = torch.nn.Linear(1, 1)  # 构造对象,linear 中已经包含了 ω 和 b,两个参数分别为输入输出的 size
                                             # 用 module 构造出来的对象,会自动帮助实现 backward 的过程

    def forward (self, X) :                  # forward 是前馈的过程中所要进行的计算
        y_pred = self.linear (x)
        return y_pred

model = LinearModel()

# 优化器
criterion = torch.nn.MSELoss(size_average = False)
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)

下面是训练的过程:这一套过程都是在框架中进行的,其原理与之前讲的手工训练完全一样。显然,采用框架可以大大的减少代码量。

for epoch in range(100) :
    y_pred = model(x_data)            # 先在前馈中算y_hat
    loss = criterion(y_pred, y_data)  # 计算损失
    print(epoch, loss)

    optimizer.zero_grad ()            # 一定注意--梯度清零--
    loss.backward()                   # 反向传播
    optimizer.step ()                 # 进行更新


# 训练情况的输出
print('W = ',model.linear.weight.item())
print('b = ',model.linear.bias.item())

# Test Model
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred =',y_test.data)

以上就是模型训练的一个完整套路。

[Pytorch] 学习记录(四)使用Pytorch实现线性回归_第2张图片

完整的可复制代码如下:

import torch

x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[2.0], [4.0], [6.0]])


class LinearModel(torch.nn.Module):          # 必须继承自 torch.nn.Module
    def __init__(self):                      # 所有的模型至少都要实现 init 和 forward
        super(LinearModel, self).__init__()  # 这行不用管他为什么,直接写上就对了
        self.linear = torch.nn.Linear(1, 1)  # 构造对象,linear 中已经包含了 ω 和 b,两个参数分别为输入输出的 size
        # 用 module 构造出来的对象,会自动帮助实现 backward 的过程

    def forward(self, X):                    # forward 是前馈的过程中所要进行的计算
        y_pred = self.linear(x)
        return y_pred


model = LinearModel()

# 优化器
criterion = torch.nn.MSELoss(size_average = False)
optimizer = torch.optim.SGD(model.parameters(), lr = 0.01)

for epoch in range(100):
    y_pred = model(x_data)                   # 先在前馈中算y_hat
    loss = criterion(y_pred, y_data)         # 计算损失
    print(epoch, loss)

    optimizer.zero_grad()                    # 一定注意--梯度清零--
    loss.backward()                          # 反向传播
    optimizer.step()                         # 进行更新

# 训练情况的输出
print('W = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())

# Test Model
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred =', y_test.data)

你可能感兴趣的:(机器学习,pytorch,线性回归,深度学习,神经网络)