CNN系列学习（六）：GoogleNet

论文参考：https://blog.csdn.net/u011534057/article/details/54847992
在AlexNet之后，为了使网络性能提升，除了像VGG一样增加网络的深度，用3x3的卷积层数组合增加感受野，类似替代5x5或者7x7的卷积之外，还有一类思路通过增加宽度，直接连接不同的卷积尺度后的特征图，达到特征学习的目的，即是GoogleNet做的事情。

GoogleNet目前一共有四个版本，每个版本网络结构大体思路如下：
Inception v1的网络，将1x1，3x3，5x5的conv和3x3的pooling，stack在一起，一方面增加了网络的width，另一方面增加了网络对尺度的适应性；

v2的网络在v1的基础上，进行了改进，一方面了加入了BN层，减少了Internal Covariate Shift（内部neuron的数据分布发生变化），使每一层的输出都规范化到一个N(0, 1)的高斯（关于这部分可以参考之前对BN的介绍）。另外一方面，学习VGG用2个3x3的conv替代inception模块中的5x5，既降低了参数数量，5x5卷积核参数是3x3卷积核的25/9=2.78倍，同时还加速计算；

v3一个最重要的改进是分解（Factorization），将7x7分解成两个一维的卷积（1x7,7x1），3x3也是一样（1x3,3x1），这样的好处，既可以加速计算（多余的计算能力可以用来加深网络），又可以将1个conv拆成2个conv，使得网络深度进一步增加，增加了网络的非线性，还有值得注意的地方是网络输入从224x224变为了299x299，更加精细设计了35x35/17x17/8x8的模块；


v4研究了Inception模块结合Residual Connection能不能有改进，发现ResNet的结构可以极大地加速训练，同时性能也有提升，得到一个Inception-ResNet v2网络，同时还设计了一个更深更优化的Inception v4模型，能达到与Inception-ResNet v2相媲美的性能。
显然在高层数数量级下，残差网络才是真爸爸，很有效的解决梯度的问题，更有效的学习到特征。