PyTorch深度学习入门 || 系列(三)——人工神经元

文章目录

  • 0 写在前面
  • 1 数据处理
  • 2 模型定义
    • 2.1 完整的模型定义
  • 3 设置Loss函数
  • 4 优化——梯度下降和随机梯度下降
  • 5 完整代码

0 写在前面

这一篇文章介绍人工神经元、人工神经网络。

1 数据处理

  1. linspace()函数产生[-3,3)区间内的100 000个点,并使用unsqueeze()函数在第一维处增加一个维度!
  2. 展示一下unsqueeze()函数的前后对比:
    PyTorch深度学习入门 || 系列(三)——人工神经元_第1张图片

2 模型定义

  1. 定义一个线性模型LR,它继承PyTorch中的nn.Module,nn就是Neural Network的缩写。
	class LR(nn.Module):
  1. 在初始化时,首先执行父类的初始化函数
    def __init__(self):
        super(LR, self).__init__()
  1. 接着用nn中预设好的线性神经网络模块nn.Linear()来构造线性模型。
    注意:名字可以自定义,例如self.linear 或者是self.l 或者是 self.A

  2. nn.Linear()的第一个参数代表输入数据的维度,第二个参数代表输出数据的维度。由于题目要求,这里的输入输出都是一维的。

        self.linear = nn.Linear(1, 1)
  1. 定义forward()函数,就是从输入求出输出的过程:
    def forward(self, x):
        out = self.linear(x)
        return out

2.1 完整的模型定义

class LR(nn.Module):
    def __init__(self):
        super(LR, self).__init__()
        self.linear = nn.Linear(1, 1)

    def forward(self, x):
        out = self.linear(x)
        return out

3 设置Loss函数

  1. nn模块中有均方差函数MSE()
	criterion = nn.MSELoss()

4 优化——梯度下降和随机梯度下降

  • “随机梯度下降”是“梯度下降”方法的改良版。
  • 梯度下降:把全部数据一次性喂给模型,然后权值更新。好处:效率高
  • 随机梯度下降:每次把1个数据喂给模型,进行权值更新。好处:防止梯度下降导致的内存溢出;防止优化过程陷入局部最小值。

随机梯度下降函数:SGD(), 第一个参数是需要优化的神经网络模型的参数,第二个参数是学习率。

	optimizer = optim.SGD(LR_model.parameters(), lr=1e-4)

5 完整代码

  • 此段代码可以直接运行
  • 需要注意,如果采用了CUDA计算,那么draw函数的output一定要记得还原成CPU数据类型才能进行绘图!!! 否则如下图报错
import torch
import matplotlib.pyplot as plt
from torch import nn, optim
from time import perf_counter

x = torch.unsqueeze((torch.linspace(-3, 3, 100000)), dim=1)
y = x + 1.2 * torch.rand(x.size())


class LR(nn.Module):
    def __init__(self):
        super(LR, self).__init__()
        self.linear = nn.Linear(1, 1)

    def forward(self, x):
        out = self.linear(x)
        return out


LR_model = LR().cuda()
inputs = x.cuda()
target = y.cuda()


criterion = nn.MSELoss()
optimizer = optim.SGD(LR_model.parameters(), lr=1e-4)


def train(model, criterion, optimizer, epochs):
    for epoch in range(epochs):

        output = model(inputs)
        loss = criterion(output, target)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        if epoch % 80 == 0:
            draw(output, loss)
	return model, loss

def draw(output, loss):
    output = output.cpu()  # 如果删掉这行就会报错,下面的红色
    plt.cla()
    plt.scatter(x.numpy(), y.numpy())
    plt.plot(x.numpy(), output.data.numpy(), 'r-', lw=5)
    plt.text(0.5, 0, 'loss=%s' % (loss.item()), fontdict={'size':20, 'color':'red'})

    plt.show()
    plt.pause(0.005)


start = perf_counter()
LR_model, loss = train(LR_model, criterion, optimizer, 10000)
finish = perf_counter()
time = finish - start
print("计算时间 : %s" % time)
print("final loss;", loss.item())
print("weights: ", list(LR_model.parameters()))
  • 报错了!
  • 如果你觉得本篇文章对你有帮助的话,感谢收藏点赞关注 我 哟!!

PyTorch深度学习入门 || 系列(三)——人工神经元_第2张图片

  • 这个是截取的靠后的一张图片
    PyTorch深度学习入门 || 系列(三)——人工神经元_第3张图片

  • 使用CUDA加速计算:
    PyTorch深度学习入门 || 系列(三)——人工神经元_第4张图片

你可能感兴趣的:(PyTorch深度学习,pytorch,深度学习,机器学习,python)