深层神经网络简单介绍(3)

1/深层神经网络的梯度不稳定问题:

参见:  http://blog.csdn.net/lujiandong1/article/details/52711501

(上文链接讲解了深层神经网络的梯度不稳定,即:梯度消失和梯度爆炸)

2/深层神经网络梯度不稳定的缓解方法:

谨慎的选择初始化参数可以一定程度上缓解梯度不稳定的问题.比如:Xavier初始化.

参见: http://blog.csdn.net/shuzfan/article/details/51338178