深度神经网络的权重初始化

为何需要初始化权重：

当x越大或者越小，对应的sigmod激活函数的梯度越小，收敛速度越慢。而我们目的是需要较大的梯度，最好x落入sigmod函数的近似线性区间，以提高训练速度，所以权重的初始化将决定收敛的速度。

 

几种权重初始化方法：

 

1、随机高斯分布，均值通常设为0，方差0.01或者其他。

 

2、xavier：其实是一定区间内的均匀分布。

推倒的基础知识：

1.符合均匀分布U（a,b）的随机变量数学期望和方差分别是——数学期望：E(X)=(a+b)/2，方差：D(X)=(b-a)²/12

2.如果随机变量X,Y是相互独立的，那么Var(X+Y) = Var(X)+Var(Y)，如果X,Y是相互独立的且均值为0，那么Var(X*Y) = Var(X)*Var(Y)