极简pytorch-深层神经网络正向传播

前面章节我们讲解了单层神经网络的正向传播,今天讲讲深层神经网络的正向传播。

通过前面的例子我们可以看到所谓单层神经网络正向传播就是通过torch.nn.Linear把输入转输出,那多层也很简单,就是把第一层的输出作为第二层的输入,以此传播下去。而中间的那些层统称为隐藏层。

极简pytorch-深层神经网络正向传播_第1张图片

但是如果简单的用torch.nn.Linear来处理输入输出,那深层神经网络就跟单层的没啥区别了,只能处理线性问题,这时就要轮到激活函数登场了。激活函数就是前面章节提到的分类函数,它在隐藏层每次输入前处理下数据,会有神奇的功效。

假设我们有500条数据,20个特征,标签为3分类。我们现在要实现一个三层神经网络,这个神经网络的架构如下:第一层有13个神经元,第二层有8个神经元,第三层是输出层。其中,第一层的激活函数是第二层是sigmoid。我们要如何实现它呢?来看代码:

import torch
import torch.nn as nn

torch.manual_seed(420)
x = torch.rand((500,20),dtype=torch.float32) #定义数据,500条数据20个特征

class Model(nn.Module):
    def __init__(self, in_features, out_features):  #初始化方法
        super(Model, self).__init__()  #调用父类初始化方法,固定写法
        #定义模型
        self.liner1 = nn.Linear(in_features, 13, bias=True) #输入层不用写,隐藏层第一层
        self.liner2 = nn.Linear(13, 8, bias=True)           #隐藏层第二层
        self.output = nn.Linear(8, out_features, bias=True) #输出层
        
    def forward(self, x):
        #输入数据,向前传播
        z1 = self.liner1(x)
        sigma1 = torch.relu(z1)
        z2 = self.liner2(sigma1)
        sigma2 = torch.sigmoid(z2)
        z3 = self.output(sigma2)
        sigma3 = torch.softmax(z3, dim=1)
        return sigma3

我们自定义了一个类,继承自nn.Module,在初始化方法中定义网络层级,我们定义了两个隐藏层liner1和liner2,一个输出层output

在forward方法中定义正向传播过程,同时指定激活函数

最后看下调用结果

net = Model(in_features=20, out_features=3)
net(x)
sigma = net.forward(x)
print(sigma)

你可能感兴趣的:(机器学习,pytorch,神经网络,深度学习)