深度学习面试总结-3 权重初始化和激活函数

权重初始化和激活函数：让训练更加稳定

目标：让梯度值在合理的范围内   例如[1e-6,1e3]

1.将乘法变加法        例如ResNet，LSTM

2.归一化                   例如梯度归一化，梯度裁剪

3.合理的权重初始化和激活函数。（本节所讲）

权重初始化

1.在合理值区间里随机初始参数
2.训练开始的时候更容易有数值不稳定 远离最优解的地方损失函数表面可能很复杂最优解附近表面会比较平
·使用.N(0,0.01)来初始可能对小网络没问题，但不能保证深度神经网络
 

让每层的方差是一个常数

1.将每层的输出和梯度都看做随机变量

2.让他们的均值和方差都保持一致。

参考

14 数值稳定性 + 模型初始化和激活函数【动手学深度学习v2】_哔哩哔哩_bilibili