权重初始化方式

常见的四种初始化方式

• 初始化为常数或者0
• 初始化
• Xavier初始化
• Kaiming初始化

 相同点：四种更新方式的权重均值都为0

后三种初始化的目的是，设计初始化权重的方差，使得每层的输出值 的方差与输入值的方差是一样的。

----- 输入输出方差一致性

初始化方式	特点	前向方差一致性	反向方差一致性	激活函数
初始化为常数或者0	同层神经元的输入输出完全相同且更新相同
初始化	不考虑激活函数，只利用状态值，只考虑了正向传播，得到	√
Xavier初始化	不考虑激活函数，只利用状态值，既考虑正向传播又考虑反向传播，使用调和平均数，得到	√	√
Kaiming初始化	考虑激活函数(ReLu)，既考虑正向又考虑反向传播，但是只任取其一即可，得到	√	√	√

注：后三种方式网络的权重初始化，是指对每一层分别按照0均值，不同方差(与和有关)的正态分布进行初始化。

正向传播过程

本文以全连接网络为例

1. 初始化化为常数(或者0)

(1)分析对 的导数

可以看出，如果将权重初始化为常数，那么网络同一层神经元的输出值都是一样的，从而导致梯度也相同，权重的更新也相同，那么同一层的神经元都完全相同，显然是不合理的。

更特殊的是如果权重和偏置都设置为0，那么梯度也为0，整个网络将不能更新

(2)分析对的导数

可以看出每层bias的更新都是相同的

 

2.  初始化

一些假设：

由于前两个假设条件，我们可以将激活函数看做是恒等映射，也就是相当于没有激活函数。

那么要解决的问题就是将权重W初始化成什么值可以使得输入 输出 的方差保持不变。

下面将通过 、 与  之间的关系推导得出：想要保证输入输出方差不变时， 需要满足的条件。

正向传播过程中，只考虑状态值(激活函数之前)：

...

输出值 、 与  之间的关系推导：

为什么要保证输入输出方差的一致性？

对于L层神经网络有：

...

所以可以得到：

由上式可知，由于连乘的存在，如果 ，其太大或者太小都会导致随着网络的加深出现问题，所以需要保证输入输出方差的一致性。

 

3. Xavier初始化

Xvaier在  初始化⽅法的基础上考虑了反向传播的梯度输⼊输出的⽅差⼀致性。

由于正向的推导和 初始化⽅法⼀样，并且得出的结论也⼀样，所以下⾯只推导反向传播。

反向传播过程中，只考虑状态值(激活函数之前)：

...

则反向传播有：

            

那么对于第一层的第j个神经元求偏导有：

输出值 、 与  之间的关系推导：

(推导过程同正向传播一样，只不过换成偏导数，即通过偏导数的等式建立 和之间的关系)

将上述式子两边取方差：

 

那么前向推导和后向推导就得到的两个约束条件：

一般情况下，网络的和是不相同的，所以前向后向这两个约束无法同时满足。论文作者采用了调和平均数得到了如下的约束条件：

Xavier所适合的激活函数有限：
1. 关于0对称
2. 线性，也就是没有考虑激活函数，或者初始状态在激活函数的线性部分
ReLU并不满足这些条件，实验也验证了Xavier初始化确实不适用ReLU激活函数。

4. Kaiming初始化

Kaiming初始化是针对ReLU激活函数设计的初始化方式

之前的正向和反向传播推导中均忽略了激活函数，所以下面在推导中加入激活函数：

正向传播推导：

根据前面正向传播推导的结果：

引入激活函数后，同理可得（只要将换成即可）：

同理经过化简可得出、的方差之间的关系：

其中是经过激活函数（ReLU）得到的，所以需要计算，如下：

将 

带入到 ,得：

为了保证正向传播时状态值的方差不变，权重的方差需要满足；

反向传播推导：

            

对于第一层的第j个神经元的激活值的偏导数为：

等式两边取方差：

为了简洁省略上标：

由E(W)=0，得：

由于激活函数是ReLU，所以=0或1 ===》 取值也为0或1 ，所以有：

，所以有：

由于，由于权重的期望为0，所以 ，可得：

得到权重的方差需要满足的约束条件：

综上，得到两个约束条件：

但是Kaiming初始化没有想Xavier初始化那样取两者的调和平均数。这两个约束条件根据是想保证前向传播还是反向传播输入输出方差的一致性来选择。

为什么可以只满足前向反向传播中的任意一个呢？

由：

有：

需要注意的是，我们有：

【

由正向和反向推导中间过程得到的：

正向： 

反向： 

和是通过 和 得到的，所以二者相等。

】

如果保证前向传播的方差一致性，即取 ，那么反向传播的方差为：

                       

                       

可以看到反向传播到最前面一层的时候，前后两层的方差只相差 , 这个是可以接受的。

同理，如果只让反向传播的方差不变，那么我们可以得到：

结论

如果神经网络的激活函数为ReLU，那么一定要用Kaiming初始化方法，效果显著。

如果激活函数是tanh可以使用另外两种方法，但是Kaiming初始化也可以取到比较好的效果。