几个经典卷积神经网络

从AlexNet论文说起，ImageNet Classification with Deep Convolutional Neural Networks。

在ImageNet LSVRC-2010 2012表现突出

top-1误差率37.5%，以及top-5误差率17.0%

网络有6000万个参数和650,000个神经元

网络结构五个卷积层，以及某些卷积层后的池化层，以及最后的三个全连接层

引入正则化方法dropout

ReLU修正线性单元的引入，比tanh等要快的多

论文地址：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

接下来的NIN论文，Network In Network

NIN利用Global average pooling去掉了FC layer, 大大减少了模型大小

利用网络中的网络思想

论文地址：https://arxiv.org/pdf/1312.4400v3.pdf

VGG模型论文，VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

可以看成是加深版本的AlexNet. 都是conv layer + FC layer

论文地址：https://arxiv.org/pdf/1409.1556.pdf

GoogLeNet模型，也称inceptionV1 Going Deeper with Convolutions

受NIN启发，各种sub-network和inception结构的设计，通过精心设计的设计实现的，允许增加网络的深度和宽度，提高了网络内部计算资源的利用率。

将1x1，3x3，5x5的conv和3x3的pooling，stack在一起，一方面增加了网络的width，另一方面增加了网络对尺度的适应性。

论文地址：http://arxiv.org/abs/1409.4842

InceptionV2论文 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

改进V1，加入了BN层，减少了内部neuron的数据分布发生变化也就是文中说的Internal Covariate Shift，每一层的输入都服从N(0, 1)的高斯分布。

同是受到VGG启发用2个3x3的conv替代inception模块中的5x5，既降低了参数数量，提高训练速度。

论文地址： http://arxiv.org/abs/1502.03167

inceptionV3论文 Rethinking the Inception Architecture for Computer Vision

在v2的基础上改进是使用了分解（Factorization），将7x7分解成两个一维的卷积（1x7,7x1），将3x3分解成两个一维的卷积（1x3,3x1），加速计算的同时使得网络深度增加和网络的非线性更强。

网络输入从224x224变为了299x299，还设计了35x35/17x17/8x8等模块。

论文地址：http://arxiv.org/abs/1512.00567

inceptionV4论文 Inception-ResNet and the Impact of Residual Connections on Learning

Inception模块结合Residual Connection可以极大地加速训练，同时性能也有提升。

开源了Inception-ResNet v2网络模型后，经过优化精简Inception v4模型，相比Inception-ResNet v2网络模型性能差不多，但是网络复杂程度降低。

论文地址：http://arxiv.org/abs/1602.07261

Resnet模型论文，Deep Residual Learning for Image Recognition

引入残差，解决深层次的网络带来acc下降问题

论文地址：https://arxiv.org/pdf/1512.03385v1.pdf