优化篇-【参数初始化】

【参数初始化】

1. 参数初始化的重要性

1.1.初始化与深度学习的起源

1.2.什么是好的初始化

• 各层激活值不能为0；
• 各层激活值不会出现饱和

2. 常用参数初始化方法

2.1 全零与随机初始化

1-全零初始化：对称的网络，误差反向传播时，更新后的网络参数将会相同，无法学习

2-随机初始化：用随机值初始化，大了容易饱和，小了激活不动

2.2.标准初始化

2.3.Xavier

• 非常适合tanh 函数（激活值是整个值域的）——（其他的只有正值）

2.3xavier与标准化初始化对比

2.4.MSRA初始化

3.如何更好地进行参数初始化

3.1.思考

1-不同激活函数的统一框架’‘On weight initialization in deep neural networks’’
$$v^2=\frac{1}{N{\left(g^{\prime }(0)\right)}^2\left(1+g(0{)}^2\right)}$$
2-训练时重新初始化权重

3-预训练模型