Xavier法与何恺明法初始化权重的意义及原理

神经网络的本质:学习数据分布

神经网络中,每层数据传送是要有意义的,这种意义直观的体现为原本要表达的意思,不能说通过神经网络后被曲解,或者可以理解为一句话通过传递不能变成谣言。

  • 全零初始化:对于每一层中的各个神经元,weights都是相同的。因此无论网络训练多少轮,每层的输出都一样,无法学习或者提取到不同的特征。(从左往右依次为神经网络的每一个全连接层+激活函数的输出的数据分布,共五层)

    Xavier法与何恺明法初始化权重的意义及原理_第1张图片

  • 小一点的随机权值初始化(均值为零,方差特别小):虽然每个神经元都有各自的值,能够保证更新是不同的,但对于输出经过tanh激活后(第一行所示),会聚集于0,对于输出经过sigmoid激活后(第二行所示),会聚集于0.5。因此信息仍然无法实现传递,

Xavier法与何恺明法初始化权重的意义及原理_第2张图片

你可能感兴趣的:(视觉检测图像分割干货,Xavier,初始化,神经网络)