深度学习之NIN模型结构全解析

CNN发展历程：VGG--》NIN--》inception--》ResNet

参考：卷积神经网络CNN经典模型整理1
参考：卷积神经网络CNN经典模型整理2

一、NIN是什么

GoogLeNet的Inception模型提出之时，其实idea是来自NIN，NIN就是Network in Network，NIN有两个特性

• MLP代替GLM
• Global Average Pooling
  转载：Network In Network 网络解析及论文解析

MLP代替GLM

GLM就是广义线性模型。那么MLP是指，在做卷积操作的时候，把线性操作变为多层感知机。
左图为普通的卷积，右图为mlpconv，Mlpconv相当于在正常的卷积层后面，再添加一个1×1的卷积层。
转载：Network in Network中的1*1卷积核

Global Average Pooling

Global Average Pooling主要为了解决全连接层参数过多的问题，早期对于分类问题，最后一个卷积层的 Feature Map 通常与全连接层连接，最后通过 softmax 逻辑回归分类。全连接层带来的问题就是参数空间过大，容易过拟合。早期 Alex 采用了Dropout 的方法，来减轻过拟合，提高网络的泛化能力，但依旧无法解决参数过多问题。
全连接层的存在有以下缺点：

• 全连接层是传统的神经网络形式，使用了全连接层以为着卷积层只是作为特征提取器来提取图像的特征，而全连接层是不可解释的，从而CNN也不可解释了全连接层中的参数往往占据CNN整个网络参数的一大部分，从而使用全连接层容易导致过拟合。

而Global Average Pooling的做法是将全连接层去掉，在最后一层，将卷积层设为与类别数目一致，然后全局pooling，从而直接输出各个类别结果。

使用全局平均 pooling 代替全连接层，使得最后一个多层感知卷积层获得的每一个特征图能够对应于一个输出类别，优点如下：

• 全局平均池化更原生的支持于卷积结构，通过加强特征映射与相应分（种）类的对应关系，特征映射可以很容易地解释为分类映射；
• 全局平均池化一层没有需要优化的参数，减少大量的训练参数有效避免过拟合；
• 全局平均池化汇总（求和）空间信息，因此其对空间变换是健壮的。

二、总结

NIN网络是inception的前身，总结来说就是在卷积层后面增加$1\ast 1$卷积核，然后将全连接层换成平均全局池化层（Global Average Pooling），可以减少大量的训练参数有效避免过拟合