Xavier初始化方法

Xavier是一种神经网络初始化方法，源自2010年的《Understanding the difficulty of training deep feedforward neural networks》
换句话说使用该方法就是为了使样本空间与类别空间的分布差异（密度差异）不要太大，即使其方差尽可能相等。
得到公式：$w\sim U[-\frac{\sqrt{6}}{\sqrt{n_{in}+n_{out}}},\frac{\sqrt{6}}{\sqrt{n_{in}+n_{out}}}]$，让$w$在这个区间均匀采样即可。
使用该方法能够让model的训练速度和分类性能取得大幅提高。
Xavier适用线性激活函数。
如今常用Relu激活函数。

• 深度前馈网络与Xavier初始化原理
• 一文搞懂深度网络初始化（Xavier and Kaiming initialization）