ResNet采用残差模块

ResNet论文是里程碑级的basemodel,因此获得了 CVPR 2016 Best Paper,并统领江湖至今:
这里写图片描述

文章受Highway Networks启发,通过在不相邻的feature map间添加“跨越式”的identity mapping通道,设计出了如下的residual module:
这里写图片描述

该设计的作用就是让网络的学习目标变成了“残差”:
这里写图片描述

学习“残差”明显比学习原来的对象要容易:
这里写图片描述

作者还给出了该module的两种常用型号。左边是适用小网络的residual module,右边是适用大网络的residual module(其中conv1×1用于降维):
这里写图片描述

并给出了ResNet系列的各型号说明书:
这里写图片描述

经过试验,ResNet可以有效避免之前plain network在加深网络层后,因为梯度消失问题所导致的训练误差不降反升的问题:
这里写图片描述

ResNet于2015年横空出世,获得ImageNet 2015的冠军。此后一直独领风骚至今,成为各network的首选basemodel,影响极其深远。

Innovation

ResNet受了 Highway Networks 的启发。Highway Networks第一个设计了不同层feature map之间的identity mapping。ResNet极大地简化了Highway Networks的大量mapping设计,只在相邻module之间进行identity mapping。不仅极大地缓解了梯度问题,打破了网络深度的天花板,同时该设计也使得训练早期可以极快地收敛。

但其本质就是“隔桌传小抄”。所以尽管ResNet-101看起来有那么多层,其实本身结构比ResNet-18复杂不了不少。

Result

贵为ImageNet 2015冠军,ResNet吊打其他network:
这里写图片描述

Thinking

  • 为什么加上identity mapping后的效果会变好,一种说法是这样的:
    要学得的模型中,有一些部分是identity mapping。而原始的“串行式”网络很难学得这种identity mapping。那么ResNet就给模型学习增加了约束,帮模型轻松学得了identity mapping。

  • ResNet很简单,但非常强大。ResNet与其加强版的ResNeXt、DPN互为补充。前者因为结构简单、效果好,成为了日常做研究时的首选basemodel。后两者结构复杂,在大数据集和更深的网络上效果略优于ResNet,因此成为论文刷AP值、比赛打榜的首选basemodel。

  • Zhang xiangyu等大神先是研究了一整年的Inception,才灵感大发而设计出残差结构。说明ResNet不仅有Highway Networks的影子,也有Inception的影子。

  • 一般先用ResNet-50进行试验,验证方法的有效性;如果该方法有效,再用ResNet-101/ResNeXt/DPN/Deformable R-FCN来刷点,以便汇报最好精度结果。


[1] Deep Residual Learning for Image Recognition

你可能感兴趣的:(分类网络)