神经网络权重初始化为什么不能为零

以BP神经网络为例,若是都初始化为零,那么正向神经网络计算出来的输出值都相同,所以反向传播算法计算出来的梯度值也相同,导致参数更新值也一样(w=w−α∗dw)。

参考资料:https://www.zhihu.com/question/36068411
http://cs231n.github.io/neural-networks-2/

你可能感兴趣的:(神经网络权重初始化为什么不能为零)