权值初始化方法之Xavier与MSRA

首先介绍一下Xavier等初始化方法比直接用高斯分布进行初始化W的优势所在： 
一般的神经网络在前向传播时神经元输出值的方差会不断增大,而使用Xavier等方法理论上可以保证每层神经元输入输出方差一致。 
这里先介绍一个方差相乘的公式，以便理解Xavier：

Xavier

现在我们先来分析一层卷积： 
 
其中ni表示输入个数。

根据概率统计知识我们有下面的方差公式： 

特别的，当我们假设输入和权重都是0均值时（目前有了BN之后，这一点也较容易满足），上式可以简化为： 

进一步假设输入x和权重w独立同分布，则有： 

于是，为了保证输入与输出方差一致，则应该有： 

为什么要保证输入和输出的方差一致：如果不一致，则会造成方差越来越大（vary(y)>var(x)），或是越来越小(var(y)

为了保证前向传播和反向传播时每一层的方差一致，应

但是，实际当中输入与输出的个数往往不相等，于是为了均衡考量，最终我们的权重方差应满足：

——————————————————————————————————————— 
 
———————————————————————————————————————

学过概率统计的都知道 [a,b] 间的均匀分布的方差为： 

因此，Xavier初始化的实现就是下面的均匀分布

—————————————————————————————————————————— 

MSRA

方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》 
主要想要解决的问题是由于经过relu后，方差会发生变化，因此我们初始化权值的方法也应该变化

只考虑输入个数时，MSRA初始化是一个均值为0方差为2/n的高斯分布： 
 
推导证明

推导过程与Xavier类似。

首先，用下式表示第L层卷积： 
 
则其方差为：（假设x和w独立，且各自的每一个元素都同分布，即下式中的n_l表示输入元素个数，x_l和w_l都表示单个元素） 
 
当权重W满足0均值时，上述方差可以进一步写为： 
——————————————————（1） 
对于ReLU激活函数，我们有：（其中f是激活函数） 
—————————————————————（2） 
带入之前的方差公式则有： 
 
由上式易知，为了使每一层数据的方差保持一致，则权重应满足： 
 
的不同，就是它是只考虑前向传播或者只考虑反向传播的，然后使用高斯分布，而没有综合考虑

补充说明

（1） 对于第一层数据，由于其之前没有经过ReLU，因此理论上这一层的初始化方差应为1/n。但是，因为只有一层，系数差一点影响不大，因此为了简化操作整体都采用2/n的方差；

（2） 反向传播需要考虑的情况完全类似于“Xavier”。对于反向传播，可以同样进行上面的推导，最后的结论依然是方差应为2/n，只不过因为是反向，这里的n不再是输入个数，而是输出个数。文章中说，这两种方法都可以帮助模型收敛。

Xavier与MSRA比较

目前在各种深度学习领域的论文中，使用Xavier初始化方法的比MSRA要多。 
虽然MSRA试图去适应relu这一出发点感觉更好，但是博主个人认为其推导过程是存在弊端的:

一、公式一计算var(x)=E(x2)−E(x)2var(x)=E(x2)−E(x)2时默认把第二项视为零，但是从公式二中我们知道x是前一层输出经过激活函数得到的值，而relu将x中原本的负项都置零了，因此实际上并不能认为公式一成立。

二、MSRA方法只考虑一个方向，无法使得正向反向传播时方差变化都很小。

可能是因为以上原因，通常深度学习实践中都是使用Xavier。

以上介绍MSRA部分转载自 blog.csdn.net/shuzfan/article/details/51347572