PytTorch实现线性回归
1、线性模型可以直接通过 torch 中的模块 torch.nn.Module 来继承获得,线性模型是所有神经网络模块最基本的类。
- 把线性模型构造一个类(常见的方法),构造的LinearModel模型类继承自torch.nn.Module(因为 Module 里面有很多方法,在模型训练中用到)。
- 这个类至少有下面两个def定义的函数 。第1个函数(构造函数)的作用:初始化对象,默认调用的函数;第2个函数的作用:进行前馈的过程中所要进行的计算。
- 没有写 backward函数,是因为使用了 torch.nn.Module 构造出来的对象会自动的根据
计算模型(函数模型)自动完成了backward操作了。
- 但是如果我们想要模型由基本的PyTorch支持的运算,可以封装成Module,然后实例化调用,自动反向传播。但有时候PyTorch计算图效率不高,如果你有更加快的方法求导,可以从 function 来继承(也是PyTorch里面的一个类)。
# 设计模型
class LinearModel(torch.nn.Module): # 定义类LinearModel,继承torch.nn.Module
def __init__(self): # 构造函数(初始化时候默认调用的函数)
super(LinearModel, self).__init__()
self.linear = torch.nn.Linear(1, 1) # 构造函数,(1,1)表示输入输出的维数。自动加权重w、偏置b,即y=wx+b
def forward(self, x): # 调用前馈时所要执行计算
y_pred = self.linear(x)
return y_pred
# 想使用模型,就实例化即可,可以直接调用
model = LinearModel()
2、MSE损失函数:
size_average=False(不需要将加起来的损失求均值)
criterion = torch.nn.MSELoss(size_average=False)
3、优化器:
optimizer = torch.optim.SGD(model.parameters(), lr=0.01) # model.parameters(),检查model所有的权重;lr:学习率
第一个参数:model.parameters()。在我们线性模型(LinearmModel)里面,没有定义相对应的权重,只有一个Linear成员(但是Linear里面有两个权重参数)。参数:model.parameters(),会检查model里面的所有成员(w,b),加到需要训练的对应参数上。
第二个参数:lr,学习率
4、训练过程:
# 循环训练
for epoch in range(1000):
y_pred = model(x_data) # x数据经过模型得到的预测值y_pred
loss = criterion(y_pred, y_data) # 算损失值
print(epoch, loss.item())
optimizer.zero_grad() # 梯度归零
loss.backward() # 反向传播
optimizer.step() # 参数优化更新(根据学习率lv:0.01更新)
5、完整代码:
import torch
# 简单 数据集
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[2.0], [4.0], [6.0]])
# 设计模型
class LinearModel(torch.nn.Module): # 定义类LinearModel,继承torch.nn.Module
def __init__(self): # 构造函数(初始化时候默认调用的函数)
super(LinearModel, self).__init__()
self.linear = torch.nn.Linear(1, 1) # 构造函数,(1,1)表示输入输出的维数。线性模型已包含权重w、偏置b,及对输入自动乘以权重w、加上偏置b,即y=wx+b
def forward(self, x): # 调用前馈时所要执行计算
y_pred = self.linear(x)
return y_pred
# 想使用模型,就实例化即可,可以直接调用
model = LinearModel()
# MSE损失、SGD优化器
criterion = torch.nn.MSELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01) # model.parameters(),检查model所有的权重;lr:学习率
# 循环训练
for epoch in range(1000):
y_pred = model(x_data) # x数据经过线性模型(自动乘以权重w和加上偏置b)得到的预测值y_pred
loss = criterion(y_pred, y_data) # 算损失值
print(epoch, loss.item())
optimizer.zero_grad() # 梯度归零
loss.backward() # 反向传播
optimizer.step() # 参数(权重w)优化更新(根据学习率lv:0.01更新)
print('w = ',model.linear.weight.item())
print('b = ', model.linear.bias.item())
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.data)