F47.深度神经网络中权值初始化（即：卷积核的数值（权值）初始化）

注：

神经网络训练时需要对权重进行初始化，若使用迁移学习则不需进行权重初始化（需使用预训练模型中的权重作为深度神经网络的初始权重）

1.吴恩达深度学习笔记(21)-神经网络的权重初始化为什么要随机初始化？https://blog.csdn.net/Harpoon_fly/article/details/84844621

文中重点内容：

1.把W^([1])设为np.random.randn(2,2)(生成高斯分布)，通常再乘上一个小的数，比如0.01，这样把它初始化为很小的随机数。
为什么是0.01，而不是100或者1000
2.我们通常倾向于初始化为很小的随机数。因为如果你用tanh或者sigmoid激活函数，或者说只在输出层有一个Sigmoid，如果（数值）波动太大，
当你计算激活值时z([1])=W([1]) x+b^([1]) , a([1])=σ(z([1]))=g^([1]) (z^([1]))如果W很大，z就会很大。
z的一些值a就会很大或者很小，因此这种情况下你很可能停在tanh/sigmoid函数的平坦的地方(见下图)

这些地方梯度很小也就意味着梯度下降会很慢，因此学习也就很慢。

2.深度学习总结(一)——参数初始化 https://blog.csdn.net/manong_wxd/article/details/78734725

3.Deep Learning 之 参数初始化 https://blog.csdn.net/BVL10101111/article/details/70787683

4.深度学习: 参数初始化 https://blog.csdn.net/JNingWei/article/details/78835390

5.总结：

深度神经网络中权值的初始化一般随机选取比较小的数值（random从均值为0，标准差是1的高斯分布中取样），一般偏置项初始化为0。