神经网络权重的初始化

当你训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为 0，当然也是可以的。

但是对于一个神经网络，如果你把权重或者参数都初始化为 0，那么梯度下降将不会起作用。

1.权重初始化的重要性

神经网络的训练过程中的参数学习时基于梯度下降算法进行优化的。梯度下降法需要在开始训练时给每个参数赋予一个初始值。这个初始值的选取十分重要。在神经网络的训练中如果将权重全部初始化为0，则第一遍前向传播过程中，所有隐藏层神经元的激活函数值都相同，导致深层神经元可有可无，这一现象称为对称权重现象。

为了打破这个平衡，比较好的方法是对每层的权重都进行随机初始化，这样使得不同层的神经元之间有很好的区分性。但是，随机初始化参数的一个问题是如何选择随机初始化的区间。

• 如果权重初始化太小，会导致神经元的输入过小，随着层数的不断增加，会出现信号消失的问题；也会导致sigmoid激活函数丢失非线性的能力，因为在 0 附近sigmoid函数近似是线性的。
• 如果参数初始化太大，会导致输入状态太大，对sigmoid激活函数来说，激活函数的值会变得饱和，从而出现梯度消失的问题。

2.常用的参数初始化方法

• 高斯分布 初始化：参数从一个固定均值(比如0)和固定方差(比如0.01)的高斯分布进行随机初始化。

正态分布又名高斯分布，

• 均匀分布 初始化：在一个给定的区间[-r,r]内采用均匀分布来初始化参数。超参数 r 的设置可以按照神经元的连接数量进行自适应的调整。

         x~            

• 初始化一个深层神经网络时，一个比较好的初始化策略是保持每个神经元输入和输出的方差一致。

3.Xavier初始化

• 当网络使用logistic激活函数（sigmoid激活函数）时，xavier初始化可以根据每层的神经元数量来自动计算初始化参数的方差。假设第 l 层神经元的激活函数是logistic函数，对第 l-1 层到第 l 层的权重区间r可以设置为：

• 当网络使用tanh激活函数时，r 可以设置为：

4.He初始化

5.参考书籍

• 邱锡鹏：《神经网络与深度学习》

reference：

https://www.jianshu.com/p/cb065e4cce3f