CNN结构演变的亮点

LeNet和AlexNet就不再赘述了

NIN

网络中的feature map之间包含一个MLP网络，故名之。
mlpconv
传统卷积之后加一个MLP非线性结构，为线性卷积增加了非线性。另外也减少了参数量，利于网络深化。跨通道下，mlpconv相当于conv+1*1conv,文章中叫做cccp:cascaded cross channel parametric pooling.论文中图示如下

传统3*3卷积，input通道数为C，卷积核数为D，参数量为3*3C*D，mlpconv中，3*3*D的参数量是一致的，到1*1卷积部分，参数为共享的，只有输出的参数不共享，为1*1*D的参数量，故mlpconv参数量为3*3*C+1*1*D.
全局平均池化
Fc把feature map 拉伸为向量之后进行分类的过程合二为一，基本上就是GAP了。Fc起到分类作用，把学习表达映射嵌入类别特征空间。先将feature map个数设为类别数，然后对每一个map像素取平均为一个值（平均池化），将100维结果向量送入softmax，其实向量最大元素就是对应类别，送入softmax为了取得loss，获得梯度。

Google系列的网络

InceptionV1

Inception block也是耳熟能详，属于混合模型同一层有1*1,3*3,5*5conv和pool，可以获得不同层次的特征，为了减少3*3和5*5conv的计算量，前面加入1*1卷积是为了降维，进行空间汇聚。这里解释一下，1*1卷积其实在一个通道上获得与输出同样大小的输出，但是跨通道的情况下，将不同通道输出相加，起到了降维作用。最后把不用size卷积结果depthconcat，不同size卷积padding之后输出结果除depth外size是一样的，和输入是一致的。

InceptionV2

用两个3*3conv代替5*5conv，实验表明不会降低表达能力而且两卷积层之间加入非线性，可以涨点。

InceptionV3

用n*1,1*n的conv分解n*n的conv。参数量减少。如原来参数量为5*5*c*d,如今变成2*3*3*c*d.

InceptionV4

Inception+ResNet.

ResNet

有空再写

DenseNet

有空再写