不同激活函数与对应的初始化方法

1. ReLu. 当使用ReLu激活函数时, 需要使用正态分布的初始化方法,给参数加一点噪声,来打破完全对称并且避免0梯度。有时还需要给偏置附上一些小的非0值来避免dead neuron,比如0.1。

2. Softmax. 当使用Softmax激活函数时,因为Sigmoid在0附近最敏感,梯度最大,所以可以将权重W和偏置b全部初始化为0.

你可能感兴趣的:(不同激活函数与对应的初始化方法)