Deep Residual Learning for Image Recognition(ResNet)残差网络解读

Kaiming 的ResNet在2015年横扫各大视觉主流比赛榜单,对工业界和学术界都产生了巨大而深远的影响,论文拿下了CVPR2016的best paper award。首先来看看ResNet的威力:

Deep Residual Learning for Image Recognition(ResNet)残差网络解读_第1张图片

不仅拿了第一,还超过第二一大截。我们就来看看ResNet的神奇之处。


Is learning better networks as easy as stacking more layers

近些年来,有句口号叫“We need go deeper”,所以问题来了,“Is learning better networks as easy as stacking more layers?” ,当然不是,就单纯的go deeper并没有用,因为更深的网络意味着更多的参数,更大的计算量,需要更多的计算资源,还需要防止过拟合的风险,网络越深,越难训练。除此之外,有研究发现,随着网络深度的增加,准确率会趋于饱和,并且快快速下降,可能很多人会以为这是onverfitting,模型太复杂了,但是出人意料的是并不是这样,因为加深某些模型反而会增加训练误差!如图是一个典型的例子:

Deep Residual Learning for Image Recognition(ResNet)残差网络解读_第2张图片

所以这告诉我们,简单的go deeper是行不通的。所以需要找到一种合适的go deeper的方式,至少deeper的网络不要比shallower的网络表现更差吧,于是ResNet就横空出世了。

Deep Residual Learning

ResNet的核心思想是计算层到层的residual,也就是F(x),然后F(x)再加上原来的输入x作为输出,最极端的情况是,当某些层学习得不如之前好的时候,F(x)为0,这些曾就直接跳过了,之前的输入直接mapping到下一个block,如图其中的一个building block:

Deep Residual Learning for Image Recognition(ResNet)残差网络解读_第3张图片



可以看到,ResNet并没有增加额外的参数或者计算复杂性,可以直接用SGD训练,ResNet的结构如图:

Deep Residual Learning for Image Recognition(ResNet)残差网络解读_第4张图片


实验结果显示,非ResNet出现的问题并没有在RetNet上出现,随着深度的增加,准确率也不断在上升。如图是在CIFAR10的实验结果:

Deep Residual Learning for Image Recognition(ResNet)残差网络解读_第5张图片

ResNet在ImageNet上,用了152层的网络,但是复杂度却比VGG低,拿下了ILSVRC2015 classification competition的第一名,在别的比赛中ResNet也展现出了通用性。


ResNet的输出和输入公式变成了这样:


这也暗含了X和F的维度必须是相同的,如果不同,作者在论文中通过一个线性投影来解决,


论文采用的F是两层或者三层,但是很显然,多层也是OK的,如果是一层,作者说没有看到这个的用处。Deep Residual Learning for Image Recognition(ResNet)残差网络解读_第6张图片


Implementation

Scale anumentation [256,480]

crop [224,224]

mean substracted

standard color augmentation

batch normalization

initialize weights from scratch

SGD with a min-batch 256

learning rate from 0.1 and divided by 10 when error plateaus

weight decay 0.0001

momentum 0.9

no dropout


no dropout原因:

来自(Batch normalization: Accelerating deep network training by reducing internal covariate shift)

Deep Residual Learning for Image Recognition(ResNet)残差网络解读_第7张图片


ImageNet Classification Results

单模型:

Deep Residual Learning for Image Recognition(ResNet)残差网络解读_第8张图片

模型融合:

Deep Residual Learning for Image Recognition(ResNet)残差网络解读_第9张图片


你可能感兴趣的:(deep,learning,ResNet,ComputerVision,DeepLearning)