图像分类/识别 ResNet

ResNet残差网络,最早的 ResNet 是由 MSRA团队提出的一个 152 层的网络，在2015年的 ILSVRC2015 取得了冠军,比14年的 VGG 和 GoogLeNet 好了不少

随着网络越来越深，大家发现，仅仅靠 BN、ReLU、DropOut 等 Trick无法解决收敛问题，相反，网络的加深带来参数的增加。
网络并不是越深越好，一方面过多的参数容易导致过拟合（当然样本足够多可以一定程度上解决这个问题）；另一方面，训练结果会在真值周围变化，导致网络震荡。
在训练分类器的时候，用到的 GBDT 和 xgBoost 的思维，借助残差来解决 震荡问题。

 
每一个节点学到的不再是参数本身，而是残差，这就决定了网络有可能无限加深，基线不变，后面的节点学到的是对前面节点的补充，虽然有震荡，但震荡范围越来越小，直到趋于0。
ResNet 的网络结构借鉴了 HighWay，添加一条从 input到output的路径，也就是shortcut连接，这是关键之处。

 

 

目前几种常用的ResNet网络包括：ResNet-50/101/152，当然层数越多计算量越大，基于ResNet的改进我们也提前了解下，包括 Google的 Inception-ResNet-V2， Kaiming 的 ResNeXt等。
https://blog.csdn.net/linolzhang/article/details/71380668

跨层连接(skip connection)，跨连模型允许每层可以与非相邻层相连：快道网络、残差网络、密连网络和拼接网络。

ResNet特点：残差学习、跳跃连接(恒等映射)

pytorch代码
BasicBlock和BottleNeck
https://www.cnblogs.com/wzyuan/p/9880342.html