卷积神经网络4——NiN

LeNet、AlexNet和VGG都有一个共同的设计模式:通过一系列的卷积层与汇聚层来提取空间结构特征;然后通过全连接层对特征的表征进行处理。 AlexNet和VGG对LeNet的改进主要在于如何扩大和加深这两个模块。

然而这种形式的网络也存在一个问题:全连接层的参数太多,一条样本有多个分量(特征)进入全连接层。这极大地占用了内存与计算带宽,我们在训练中也可以感受到,除此以外还容易导致过拟合。

网络中的网络(NiN)提供了一个非常简单的解决方案:在每个像素的通道上分别使用多层感知机, 不再使用全连接层,使用卷积层代替。

创新点:完全取消全连接层

卷积层的输入和输出由四维张量组成,张量的每个轴分别对应样本、通道、高度和宽度。 另外,全连接层的输入和输出通常是分别对应于样本和特征的二维张量。

NiN的想法是在每个像素位置(针对每个高度和宽度)应用一个全连接层。 具体做法是:在一个卷积层后跟两个1X1的卷积层,步幅为1,且无填充,这样使得输出形状与输入形状一样,起到全连接层的作用。
卷积神经网络4——NiN_第1张图片
下图说明了VGG和NiN及它们的块之间主要架构差异。 NiN块以一个普通卷积层开始,后面是两个1×1的卷积层。这两个1×1卷积层充当带有ReLU激活函数的逐像素全连接层。 第一层的卷积窗口形状通常由用户设置。 随后的卷积窗口形状固定为1×1。
卷积神经网络4——NiN_第2张图片

NiN设计的一个优点是,它显著减少了模型所需参数的数量。交替使用的NiN块和步幅为2的池化,达到了逐步减小高宽和增大通道数的目的。 然而,在实践中,这种设计有时会增加训练模型的时间。

  • NiN使用由一个卷积层和多个1×1卷积层组成的块。该块可以在卷积神经网络中使用,以允许更多的每像素非线性。
  • NiN去除了容易造成过拟合的全连接层,将它们替换为全局平均汇聚层(即在所有位置上进行求和)。该汇聚层通道数量为所需的输出数量。
  • 移除全连接层可减少过拟合,同时显著减少NiN的参数。
  • NiN的设计影响了许多后续卷积神经网络的设计。

你可能感兴趣的:(深度学习,cnn,深度学习,计算机视觉)