【BasicNet系列：三】PreAct ResNet 论文阅读翻译笔记

⭐PreAct ResNet

2016
Identity Mappings in Deep Residual Networks

• Identity mapping

提出了一种基于残差块的identity mapping，通过学习残差的方式，而非直接去学习直接的映射关系。

• Original ResNet
  

对上面进行整合 ：

h(xl) 为一个恒等映射identity mapping，f(yl)代表ReLU激活函数，在训练的前向和反向传播阶段，信号可以直接从一个单元传递到另外一个单元，训练变得更加简单。

• 由来

作者发现，如果h(x)和f(y)都是identity mapping的话，那么在forward或者backward的时候，信号都能直接propagate from 一个unit to other unit。

因此为了构造identity mapping f(y) = y，因此作者对activation functions（BN和reLU）进行更改，因此也就有了modified的ResNet.

• PreAct ResNet

  • h(x)和f(y)都是恒等映射，h(xl)=xl、f(yl)=yl
    
  • 任意深层单元L特征的表达：
    

  

  • 反向传播链式法则：

  

  可以发现residualNet在backward的时候，可以将梯度完全的往回传。

  • 好处

  1） feature XL可以表示为浅层的xl + 残差累计，真正的实现了残差网络
  2）目前的输出可以看做所有preceding residual functions （plus x0），跟VGG这类plain Network不同的是，instead matrix-vector products，目前的算法相当于summation

• 激活函数

(在超分辨率领域中，SRResNet直接利用了本文的结构。)

将激活函数(ReLU 和 BN) 看作是权重层的 “pre-activation”，而不是传统的“post-activation”

• 1001层的ResNet上也克服了过拟合的原因
  • f也是恒等映射，优化变得更加简单(与原始ResNet相比)。
  • 在预激活中使用BN能够提高模型的正则化，从而减少了过拟合的影响。

Inference

解密ResNet：Identity Mappings in Deep Residual Networks论文笔记

Identity Mappings in Deep Residual Networks