权重初始化方法

常用的初始化方法:全0初始化、随机初始化

全0初始化

在线性回归、逻辑回归这类简单模型中全0初始化一般是work的;但在深度模型中全0初始化会导致每层的参数都一样,反向传播梯度也一样,没有意义。

随机初始化

深度模型中一般都能用,但有缺陷:随机数生成其实也是在均值为0、方差为1的高斯分布中采样,当神经网络的层数增多,激活函数(tanh)的输出值越接近0,会导致梯度非常接近0,然后梯度消失

pre-train

用相似场景pretrain的模型,加载参数信息到需要训练的新模型中

Xavier初始化

基本思想:保持输入和输出的方差一致,避免所有输出值都趋向于0(var=1/n)

He initialization

针对Xavier在ReLU的后面层仍然无法避免输出值趋近于0的情况提出的初始化方法(var=2/n)

你可能感兴趣的:(权重初始化方法)