神经网络权值初始化

谈谈神经网络权重为什么不能初始化为0 - 知乎

逻辑回归权值初始化为0是ok的，参数可以得到更新，因为参数的梯度会因为x1,x2的不同而不同。暗示神经网络不行，因为参数的梯度依赖于正向传播上一层激活函数的输出，它的输入为0，输出一致。

1 权重初始化为0，偏置初始化为0

权重不能全初始化为0，因为这样的话，每一层各个激活函数后的输出一致（一般非0，比如sigmoid），每一层隐藏层各自的神经元的权重更新始终一致，相当于每一层只有一个神经元，意味着它们都在计算一个特征，使得神经网络失去了学习不同特征的能力。

并且第一个batch只有最后一层参数更新，第二个batch才有倒数第二层参数更新（倒数第二层的参数依赖于loss的导数、激活函数的导数、正向传播上一层的输入和以及反向传播的上一层的w更新前的值），直到若干batch后，所有层的权重都开始更新，这个时候权重值才会出现差异，但是同一层中，每个神经元的参数列表都和其他神经元一模一样，相当于每一层只有一个神经元。

此时的全连接层相当于卷积核大小等于图片的cnn，cnn的目的本来是提取局部特征，等于图片大小的卷积核提取不到任何局部特征，没有意义。

2 权重初始化为非0但是一样的参数

虽然后续参数更新会有差异，但是同一层每个神经元的大小一致一样，那每个神权重参数列表和其他神经元一样，神经元学习相同的特征组合，和1一样，相当于每一层只有一个神经元，无法学习到更多的特征组合和复杂的关系。

3 权重初始化为0，偏重随机初始化

同1，学习到的特征组合一样，相当于y=x+b,一直在改变b但是x的系数不改变，不能很好地拟合复杂的数据

4 权重随机初始化，偏重初始化为0

所有参数的导数都不同，都可以得到更新