Resnet系列及其变体(三)—ResNetv2

本篇主要介绍ResNetv2，其他ResNet系列及其变体介绍 见如下blog目录：

ResNet系列及其变体目录

---

ResNetv2

Identity Mappings in Deep Residual Networks

实验证明，ResNet在极深情况下也会遇到优化问题。为了解决问题。ResNet-v2重新设计了一种残差网络基本单元，PreAct的残差结构。

把ResNet分成三个部分

• h(skip connection)
• f(after-addition activation)
• F(residual function)

ResNetv1对F进行研究，如下a
ResNetv2对h与f进行分析讨论，分析bcde

• 如果ReLU作为F分支的结尾，F分支的结果永远非负，这样前向的时候输入会单调递增，从而会影响特征的表达能力。但希望F分支的结果应该在（-∞,+∞）----relu位置change
• ResNet要尽量保证两点：1）不轻易改变h分支的值，也就是输入与输出一致；2）addition之后不再接改变信息分布的层；
  
  full pre-activation 效果nice

ResNetv1采用post-activation
ResNetv2采用pre-activation，先BN再ReLU再权重层。如b，这使得网络更易于训练并且泛化性能也得到提升。

在网络极深情况下,PreAct单元比普通的残差单元要更加有效，可以很好的收敛。