人工智能系列 之常见的深度学习模型

*LeNet：
Yann LeCun的mnist手写体识别任务。

*AlexNet：
Alex Krizhevsky发表，在2012年ImageNet ILSVRC比赛中夺冠，使用ReLU作为激活函数，使用Dropout避免过拟合。

*CaffeNet：
由Zeiler和Fergus于2013年提出，在2013年的ILSVR中夺冠，是AlexNet的变体，主要改进是：减少第一层卷积的size和stride(11–>7,4–>2)，提取更多的底层特征；增加第二层卷积的步长stride(1–>2)，从而获得和AlexNet基本相同的感受野。

*GooleNet：
Szegedy提出，他开始追求减少DNN的计算量，在2014年的ILSVR中夺冠，是第一个Inception架构，Inception思路是减少每一层特征滤波器的数目，使网络更宽，它会并行的计算同一输入映射下的多个不同变换，并将结果连接到单一个输出，如在V3中5×5的卷积被替换成两个连续的3×3的卷积。

*VGGNet：
牛津视觉几何组开发的CNN，在2014年的ILSVR中夺得亚军，其特点是网络更深，channel数目更大，重复使用3x3卷积和2x2池化增加网络深度，采用多个3×3的卷积核，模仿出更大的感受野效果。

*ResNet：
作者是何恺明，在2015年的ILSVR中夺冠，他发现直接映射难以学习，利用公式F(x)=H(x)-x让网络变得更深，防止梯度弥散等问题的发生。

*SENet：
在2017年的ILSVR中夺冠，卷积操作融合了空间和特征通道信息，是SE block和Residual block的应用。

补充：
ILSVRC（ImageNet Large Scale Visual Recognition Challenge）是近年来机器视觉领域最受追捧也是最具权威的学术竞赛之一，代表了图像领域的最高水平。

参考
[1]LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
[2]Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
[3]Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European conference on computer vision. springer, Cham, 2014: 818-833.
[4]Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.
[5]He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.
[6]Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7132-7141.