Deep Residual Learning for Image Recognition(ResNet)残差网络解读

Kaiming 的ResNet在2015年横扫各大视觉主流比赛榜单，对工业界和学术界都产生了巨大而深远的影响，论文拿下了CVPR2016的best paper award。首先来看看ResNet的威力：

不仅拿了第一，还超过第二一大截。我们就来看看ResNet的神奇之处。

Is learning better networks as easy as stacking more layers

近些年来，有句口号叫“We need go deeper”，所以问题来了，“Is learning better networks as easy as stacking more layers?” ，当然不是，就单纯的go deeper并没有用，因为更深的网络意味着更多的参数，更大的计算量，需要更多的计算资源，还需要防止过拟合的风险，网络越深，越难训练。除此之外，有研究发现，随着网络深度的增加，准确率会趋于饱和，并且快快速下降，可能很多人会以为这是onverfitting，模型太复杂了，但是出人意料的是并不是这样，因为加深某些模型反而会增加训练误差！如图是一个典型的例子：

所以这告诉我们，简单的go deeper是行不通的。所以需要找到一种合适的go deeper的方式，至少deeper的网络不要比shallower的网络表现更差吧，于是ResNet就横空出世了。

Deep Residual Learning

ResNet的核心思想是计算层到层的residual,也就是F(x)，然后F(x)再加上原来的输入x作为输出，最极端的情况是，当某些层学习得不如之前好的时候，F(x)为0，这些曾就直接跳过了，之前的输入直接mapping到下一个block，如图其中的一个building block:

可以看到，ResNet并没有增加额外的参数或者计算复杂性，可以直接用SGD训练，ResNet的结构如图：

实验结果显示，非ResNet出现的问题并没有在RetNet上出现，随着深度的增加，准确率也不断在上升。如图是在CIFAR10的实验结果：

ResNet在ImageNet上，用了152层的网络，但是复杂度却比VGG低，拿下了ILSVRC2015 classification competition的第一名，在别的比赛中ResNet也展现出了通用性。

ResNet的输出和输入公式变成了这样：

这也暗含了X和F的维度必须是相同的，如果不同，作者在论文中通过一个线性投影来解决，

论文采用的F是两层或者三层，但是很显然，多层也是OK的，如果是一层，作者说没有看到这个的用处。

Implementation

Scale anumentation [256,480]

crop [224,224]

mean substracted

standard color augmentation

batch normalization

initialize weights from scratch

SGD with a min-batch 256

learning rate from 0.1 and divided by 10 when error plateaus

weight decay 0.0001

momentum 0.9

no dropout

no dropout原因：

来自（Batch normalization: Accelerating deep network training by reducing internal covariate shift）

ImageNet Classification Results

单模型：

模型融合：