Network In Network 网络解析

Network In Network

原文：https://arxiv.org/abs/1312.4400

Abstract：

We propose a novel deep network structure called “Network In Network”(NIN) to enhance model discriminability for local patches within the receptive field. The conventional convolutional layer uses linear filters followed by a nonlinear activation function to scan the input. Instead, we build micro neural networks with more complex structures to abstract the data within the receptive field. We instantiate the micro neural network with a multilayer perceptron, which is a potent function approximator. The feature maps are obtained by sliding the micro networks over the input in a similar manner as CNN; they are then fed into the next layer. Deep NIN can be implemented by stacking mutiple of the above described structure. With enhanced local modeling via the micro network, we are able to utilize global average pooling over feature maps in the classification layer, which is easier to interpret and less prone to overfitting than traditional fully connected layers. We demonstrated the state-of-the-art classification performances with NIN on CIFAR-10 and CIFAR-100, and reasonable performances on SVHN and MNIST datasets.

摘要：

我们提出了一种称为“网络中的网络”（NIN）的新型深度网络结构，以增强感受野内局部补丁的模型可区分性。传统的卷积层使用线性滤波器，然后是非线性激活函数来扫描输入。相反，我们构建具有更复杂结构的微神经网络来抽象感受野内的数据。我们用多层感知器来实现微神经网络，这是一种有效的函数逼近器。通过以与CNN类似的方式在输入上滑动微网络来获得特征图；然后将它们送入下一层。深度NIN可以通过堆叠多个上述结构来实现。通过微网络增强的本地建模，我们能够在分类层的特征图中利用全局平均池，这比传统的全连接层更容易解释并且更不容易过拟合。我们用CIFAR-10和CIFAR-100上的NIN展示了最先进的分类性能，并在SVHN和MNIST数据集上展示了合理的性能。

论文的摘要已经很明确的提出了该论文的两个创新点：
1.Instead, we build micro neural networks with more complex structures to abstract the data within the receptive field.（构建具有更复杂结构的微神经网络来抽象感受野内的数据。）
2.With enhanced local modeling via the micro network, we are able to utilize global average pooling over feature maps in the classification layer, which is easier to interpret and less prone to overfitting than traditional fully connected layers.（通过微网络增强的本地建模，我们能够在分类层的特征图中利用全局平均池，这比传统的全连接层更容易解释并且更不容易过拟合。）

1.MLP Convolution Layers

传统的卷积层使用线性滤波器，然后是非线性激活函数来扫描输入。这样可以实现提取非线性特征。当我们提取某些特征的时候，传统的卷积层是可以实现这个功能的，但是，我们提取某些高维非线性特征的时候，可能就需要更多或者更深的这样的卷积层，这样做带来的弊端很明显，网络参数巨大，网络模型复杂。
为了解决这个问题，则提出了MLP Convolution Layers，即构建具有更复杂结构的微神经网络来抽象感受野内的数据，这也就是我理解的Network In Network这个名字的由来，在CNN的卷积层中还有一个微神经网络。也就是网络中的网络。

上图是NIN的网络结构，它包括三个mlpconv层和一个全局平均池化层。

2.Global Average Pooling

如果做分类任务的话，一般网络的最后一层都是全连接层，然后接一个softmax分类器进行分类。如果分类任务很多的话，例如需要分类1000类，这样的网络的全连接层参数会非常巨大，导致网络容易达到过拟合，最终的分类效果很不好。

该想法是为最后一个mlpconv层中的分类任务的每个对应类别生成一个特征图。 我们不是在特征图顶部添加全连接层，而是对每个特征图进行全局均值池化，并将得到的向量直接输入到softmax层。 全局平均池化的一个优点是，通过强制使用特征图和类别之间的对应关系，它对卷积结构更为原生。 因此，特征图可以容易地解释为类别置信度图。 另一个优点是在全局平均池中没有优化参数，因此在该层可以避免过度拟合。此外，全局平均汇总对空间信息进行求和，因此对输入的空间转换更加鲁棒。

3.和AlexNet对比

AlexNet网络结构和NIN imagenet网络结构对比如下图所示：

AlexNet网络结构和NIN imagenet网络结构很像。可以看出来NIN imagenet利用四个AlexNet替换了AlexNet的前边的卷积池化和全连接，NIN imagenet利用池化层替换了AlexNet最后一层的全连接层。

作者：GL3_24
来源：CSDN
著作权归作者所有。转载请联系作者获得授权。