ResNet，GoogleNet的基本架构，与VGGNet，AlexNet等网络的对比和创新点。

结构：

      

GoogleNet提出了一种Inception结构，如上右图，从上一层到下一层的时候，分出四块，每块具有不同的卷积核，然后汇合在下面，使用了一个concrete层。好处在于，采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合。之所以卷积核大小采用1、3、5，主要是为了方便对齐。设定卷积步长stride=1之后，只要分别设定pad=0、1、2，那么卷积之后便可以得到相同维度的特征，然后这些特征就可以直接拼接在一起了。网络越到后面，特征越抽象，而且每个特征所涉及的感受野也更大了，因此随着层数的增加，3x3和5x5卷积的比例也要增加。另外Inception结构中也使用了pooling层。但是，使用5x5的卷积核仍然会带来巨大的计算量。 为此，采用1x1卷积核来进行降维。

          

                    残差网络原理                                           shortcut结构

ResNet作者提出了一种新的网络结构，以应对在随着网络的深度增加的时候，网络的退化（不是过拟合）问题，这种退化是由于在反向传播的过程中，由于网络太深，误差传到前面的时候，梯度逐渐消失的问题。特别是随着网络的加深，网络效果反而越来越差。因此作者引入了一种残差单元，将前面一层的输出直接连到后面的第二层，进而使得退化问题得到了抑制。后面作者又对shortcut做了一些改进。