【论文阅读】Deep Residual Learning

1.研究背景

在深度学习中，随着网络层数的增加，模型一般会出现过拟合、梯度消失或爆炸的问题，分别可以通过正则化、Batch Normalization来解决。那么，是否只要不断地增加网络的层数，就能获得更好的结果呢？实验数据表明网络会出现退化(degradation)的现象：随着网络层数的增加，训练集loss逐渐下降并趋于饱和，当网络层数继续增加时，训练集loss反而会增大。这时，浅层网络反而比深层网络有更好的训练效果。

2.相关工作

Highway Networks

所谓Highway Networks，就是输入某一层网络的数据一部分经过非线性变换，另一部分直接从该网络跨过去不做任何转换，就想在高速公路上行驶一样，而多少的数据需要非线性变换，多少的数据可以直接跨过去，是由一个权值矩阵和输入数据共同决定的。下面是Highway Networks的构造公式：

3.残差网络

(1)残差单元

(2)残差结构对梯度的影响

虽然残差网络提出的初衷并不是为了解决梯度消失的问题，但作者发现确实可以比普通网络更有效地消除梯度消失。

(3)恒等映射的必要性

(4)Shortcut Connections

实线：identity shortcut ，

虚线：projection shortcut ，，表示1*1卷积

(5)1*1卷积

• 改变维度

输入图片：

卷积核： 个 ,

输出图片：

inputpicture:Rlayer,Glayer,Blayer

purplelayer=α1×Rlayer+α2×Glayer+α3×Blayer

yellowlayer=β1×Rlayer+β2×Glayer+β3×Blayer

outputpicture:purplelayer,yellowlayer

可以看出，1*1卷积类似于神经网络的全连接层。新的层就是输入feature map的线性组合，从而实现通道数的增加或减少。

• 减少参数

图a该层的参数为(1x1x192x64)+(3x3x192x128)+(5x5x192x32) =387072
图b该层的参数为(1x1x192x64)+(1x1x192x96)+(1x1x192x16)+(3x3x96x128)+(5x5x16x32)+(1x1x192x32)=163328

(6)Bottleneck结构

256维的bottleneck结构和原来64维的block的时间复杂度(FLOP=Floating point operations per second)一样，缩短了训练时间。152层的ResNet的复杂度比VGG-16/19还要低。

4.网络架构

每层都用‘0’填充(即padding=‘SAME’)，因此每层输出的特征图尺寸只和步长有关，与卷积核大小无关。每层中有一个残差块的步长为2(即stride=2)，其他都为1。

ResNet-34