【3】参数初始化

1、参数初始化

对于某一个神经元来说，需要初始化的参数有两个类：权重和偏置，偏置b初始化为0即可，而权重的初始化比较重要。以下是常见的几种权重初始化方式。

1.1、 随机初始化

随机初始化从均值为0，标准差为1的高斯分布中取样，使用一些很小的值对参数初始化。

1.2、标准初始化

1.3、Xavier初始化

该方法基本思想是各层的激活值和梯度的方差在传播过程中保持一致，也叫Glorot初始化。使用比较多。分为正态化的Xavier初始化和标准化的Xavier初始化。

 

1.4、He初始化

思想是在正向传播时，激活值的方差保持不变；反向传播时，关于状态值得梯度的方差保持不变。分为正态化的he初始化和标准化的he初始化。使用的比较多