《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》论文阅读笔记

论文原文：http://arxiv.org/abs/1502.01852

论文主要讨论了以ReLU为激活函数的网络的缺陷并提出了改进的激活函数PReLU与新的Kaiming初始化方法

1. PReLU

1. 前向传播

   • 通道独立：$f\left(y_i\right)=\max \left(0,y_i\right)+a_i\min \left(0,y_i\right)$
   • 通道共享：$f\left(y_i\right)=\max \left(0,y_i\right)+a\min \left(0,y_i\right)$

   区别在于通道共享的PReLU对于每个通道都使用相同的$a$，而通道独立的PReLU对于每个通道$i$都使用不同的$a_i$，这些参数都是与网络同时训练得到的

2. 反向传播
   $$\frac{\partial \mathcal{E}}{\partial a_i}=\sum _{y_i}\frac{\partial \mathcal{E}}{\partial f\left(y_i\right)}\frac{\partial f\left(y_i\right)}{\partial a_i}$$

$$\frac{\partial f\left(y_i\right)}{\partial a_i}=\{\begin{array}{ll}0,& \text{ if }{y}_i>0\\ y_i,& \text{ if }{y}_i\le 0\end{array}$$

3. 实验结果

   

   • 在ImageNet上仅改变激活函数能得到1.2的提升

   • 越低层的a越远离0而越高层的a越接近0，说明模型在低层时保留了更多的信息，而在高层时提取更多非线性特征

     

2. Kaiming初始化

1. 使用ReLU的网络相比使用sigmoid的网络能更快的收敛，但不良的初始化会导致模型难以训练。

2. 传统的网络使用高斯分布进行初始化，在训练深层网络时难以收敛（需要使用预训练模型或辅助分类器），Xavier初始化基于激活函数是线性的这一假设，不适用于ReLU及其变体

3. kaiming初始化过程

   • 对于前向传播：${\mathbf{y}}_l={\mathbf{W}}_l{\mathbf{x}}_l+{\mathbf{b}}_l$

     • $x_l$：$k^{2}c\times 1$
     • $W_l$：$d\times k^{2}c$
     • $b_l$：$d\times 1$

     其中$k$为输入图像大小，$c$为通道数，$d$为核个数

   • 初始化$w_l$与$x_l$都是独立同分布的，则有
     $$\mathrm{Var}\left[y_l\right]=n_l\mathrm{Var}\left[w_l{x}_l\right]=n_l\mathrm{Var}\left[w_l\right]E\left[x_l^2\right]$$
     只有在$x_l$是0均值的情况下才有$E\left[x_l^2\right]=\mathrm{Var}\left[x_l\right]$，而ReLU激活后$x_l=\max \left(0,y_{l-1}\right)$不满足0均值，因此将与Xavier中的情况不符

   • 如果$w_{l-1}$是关于0的对称分布，$b_{l-1}=0$，那么**$y_{l-1}$是在0附近的均值为0的对称分布**，当激活函数为ReLU时，有$E\left[x_l^2\right]=\frac{1}{2}\mathrm{Var}\left[y_{l-1}\right]$，带入上式得到
     $$\mathrm{Var}\left[y_l\right]=\frac{1}{2}{n}_l\mathrm{Var}\left[w_l\right]\mathrm{Var}\left[y_{l-1}\right]$$

   • 若有多层网络，则公式变为
     $$\mathrm{Var}\left[y_L\right]=\mathrm{Var}\left[y_1\right]\left(\prod _{l=2}^L\frac{1}{2}{n}_l\mathrm{Var}\left[w_l\right]\right)$$

   • 要使输入输出的方差不变，就需要对于每一层都有
     $$\frac{1}{2}{n}_l\mathrm{Var}\left[w_l\right]=1,\forall l$$

   • 这就能得出对于每一层只要设置$w_l$方差为$\sqrt{2/n_l}$的高斯分布即可

4. 讨论

   • 使用高斯分布时训练深层网络会出现梯度消失现象

   • 变量的方差会从头到尾保持，如果输入没有标准化，方差的量级将会变得很大导致softmax overflow

   • 使用PReLU后，初始化公式变为$\frac{1}{2}\left(1+a^2\right)n_l\mathrm{Var}\left[w_l\right]=1$

   • 与Xavier初始化的比较

     • Xavier只考虑$n_l\mathrm{Var}\left[w_l\right]=1$，设置方差为$\sqrt{1/n_l}$

     • Kaiming考虑$\frac{1}{2}{n}_l\mathrm{Var}\left[w_l\right]=1$，设置方差为$\sqrt{2/n_l}$

     • 两种初始化都能使浅层网络收敛，但Kaiming能使深层网络收敛并且速度更快