[Kaiming]Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

He K, Zhang X, Ren S, et al. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification[C]. international conference on computer vision, 2015: 1026-1034.

@article{he2015delving,
title={Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification},
author={He, Kaiming and Zhang, Xiangyu and Ren, Shaoqing and Sun, Jian},
pages={1026–1034},
year={2015}}

概

本文介绍了一种PReLU的激活函数和Kaiming的参数初始化方法.

主要内容

PReLU

$$f(y_i)=\{\begin{array}{ll}{y}_i,& y_i>0,\\ a_i{y}_i,& y_i\le 0.\end{array}$$
其中$a_i$是作为网络的参数进行训练的.
等价于
$$f(y_i)=\max (0,y_i)+a_i\min (0,y_i).$$
特别的, 可以一层的节点都用同一个$a$.

Kaiming 初始化

Forward case

$${\mathbf{y}}_l=W_l{\mathbf{x}}_l+{\mathbf{b}}_l,$$
在卷积层中时, ${\mathbf{x}}_l$是$k\times k\times c$的展开, 故${\mathrm{x}}_l\in {\mathbb{R}}^{k^{2}c}$, 而${\mathbf{y}}_l\in {\mathbb{R}}^d$, $W_l\in {\mathbb{R}}^{d\times {\mathbb{k}}^{2}c}$(每一行都可以视作一个kernel), 并记$n=k^{2}c$.

$${\mathbf{x}}_l=f({\mathbf{y}}_{l-1}),$$
则
$$c_l=d_{l-1}.$$

假设$w_l$与$x_l$(注意没粗体, 表示${\mathbf{w}}_l,{\mathbf{x}}_l$中的某个元素)相互独立, 且$w_l$采样自一个均值为0的对称分布之中.

则
$$Var[y_l]=n_{l}Var[w_l{x}_l]=n_{l}Var[w_l]E[x_l^2],$$
除非$E[x_l]=0$, $Var[y_l]=n_{l}Var[w_l]Var[x_l]$, 但对于ReLu, 或者 PReLU来说这个性质是不成立的.

如果我们令$b_{l-1}=0$, 易证
$$E[x_l^2]=\frac{1}{2}Var[y_{l-1}],$$
其中$f$是ReLU, 若$f$是PReLU,
$$E[x_l^2]=\frac{1+a^2}{2}Var[y_{l-1}].$$
下面用ReLU分析, PReLU是类似的.

故
$$Var[y_l]=\frac{1}{2}{n}_{l}ar[w_l]Var[y_{l-1}],$$
自然我们希望
$$Var[y_i]=Var[y_j]\Rightarrow \frac{1}{2}{n}_{l}Var[w_l]=1,\forall l.$$

Backward case

$$\Delta {\mathbf{x}}_l={\hat{W}}_l\Delta {\mathbf{y}}_l,\text{\hspace{1em}(13)}$$
$\Delta {\mathbf{x}}_l$表示损失函数观念与${\mathbf{x}}_l$的导数, 这里的${\mathbf{y}}_l$与之前提到的${\mathbf{y}}_l$有出入, 这里需要用到卷积的梯度回传, 三言两语讲不清, ${\hat{W}}_l$是$W_l$的一个重排.

因为${\mathbf{x}}_l=f({\mathbf{y}}_{l-1})$, 所以
$$\Delta y_l=f^{\prime }(y_l)\Delta x_{l+1}.$$

假设$f^{\prime }(y_l)$与$\Delta x_{l+1}$相互独立, 所以
$$E[\Delta y_l]=E[f^{\prime }(y_l)]E[\Delta x_{l+1}]=0,$$
若$f$为ReLU:
$$E[(\Delta y_l{)}^2]=Var[\Delta y_l]=\frac{1}{2}Var[\Delta x_{l+1}].$$
若$f$为PReLU:
$$E[(\Delta y_l{)}^2]=Var[\Delta y_l]=\frac{1+a^2}{2}Var[\Delta x_{l+1}].$$

下面以$f$为ReLU为例, PReLU类似

$$Var[\Delta x_l]={\hat{n}}_{l}Var[w_l]Var[\Delta y_l]=\frac{1}{2}{\hat{n}}_{l}Var[w_l]Var[\Delta x_{l+1}],$$
这里${\hat{n}}_l=k^{2}d$为${\mathbf{y}}_l$的长度.

和前向的一样, 我们希望$Var[\Delta x_l]$一样, 需要
$$\frac{1}{2}{\hat{n}}_{l}Var[w_l]=1,\forall l.$$

是实际中，我们前向后向可以任选一个(因为误差不会累积).