如何理解NIN网络中的mlpconv层

【时间】2018.10.03

【题目】如何理解NIN网络中的mlpconv层

概述

在Network in Network结构（NIN结构），mlpconv层相当于先进行一次普通的卷积（比如3x3），紧跟再进行一次1x1的卷积。

一、原论文描述

在原论文中，对于mlpconv层是这样描述的：

图1说明了线性卷积层和mlpconv层之间的区别。由mlpconv层执行的计算如下：

Here n is the number of layers in the multilayer perceptron. Rectified linear unit is used as the activation function in the multilayer perceptron.

这里n是多层感知器中的层数。在多层感知器中，采用整流线性单元作为激活函数。

 

图1、线性卷积层与mlpconv层的比较。线性卷积层包括线性滤波器，而mlpconv层包含微网络(本文选择了多层感知器)。这两层都将局部接受域映射为隐性概念的置信度值。

      From cross channel (cross feature map) pooling point of view, Equation 2 is equivalent to cascaded cross channel parametric pooling on a normal convolution layer. Each pooling layer performs weighted linear recombination on the input feature maps, which then go through a rectifier linear unit. The cross channel pooled feature maps are cross channel pooled again and again in the next layers. This cascaded cross channel parameteric pooling structure allows complex and learnable interactions of cross channel information.

  从跨信道(跨特征图--cross feature map)池的角度看，方程2等价于正规卷积层上的级联跨信道参数池( cascaded cross channel parametric pooling)。每个池层对输入特征映射执行加权线性重组，然后通过整流线性单元。跨通道池功能映射在下一层中一次又一次地跨通道池。这种级联的跨信道参数池结构允许复杂且可学习的交叉信道信息交互。

【补充】cascaded cross channel parameteric pooling structure其实就是多个卷积核的卷积？？

   

  The cross channel parametric pooling layer is also equivalent to a convolution layer with 1x1 convolution kernel. This interpretation makes it straightforawrd to understand the structure of NIN.

  跨信道参数池层也等价于具有1x1卷积核的卷积层。这一解释使得理解nin的结构更为直观。

二、对mlpconv层的理解

mlpconv层相当于先进行一次普通的卷积（比如3x3），紧跟再进行一次1x1的卷积。

（1）所谓的先进行一次普通的卷积,指的是上图中红框的部分，其实图中只是画了卷积中一个局部块的结果，从上到下的每一个圆圈代表的是每一个特征层中的一个元素

（2）所谓再进行一次1x1的卷积指的是上图中蓝色框的部分，这是一个2层（输入层+1个隐藏层）的感知机，它其实是对每一个特征层中的同一个位置的一个元素进行加权线性重组，这就相当于1X1卷积中对一个局部块的操作结果，然后对特征图中的每一个元素都进行这样的操作，这就相当于1X1卷积了。

 

2018.10.18补充

（3）个人理解，（2）中的蓝色框后面并不是全连接层，只是将前面蓝色框中的1*1卷积结果进行了重排，使得它看起来是长方体的特征图的样子，也就是说1*1卷积的结果实际上包含了蓝框后面的部分（你也可以理解成它就是1*1卷积后的非线性激活函数运算）。总之，mlpconv等价于卷积层+1×1卷积层（包含后面的激活函数部分）。

（4）为了更好地理解mlpconv的结构，下面是一张带参数的结构图：

（来源：https://blog.csdn.net/hjimce/article/details/50458190）