神经网络的初始化方法总结 | 又名“如何选择合适的初始化方法”

前言

本文介绍了为什么初始化很重要，总结了常用的几种初始化方法：全零或等值初始化、正态初始化、均匀初始化、Xavier初始化、He初始化和Pre-trained初始化，并介绍了几个还活跃的初始化方向：数据相关初始化、稀疏权重矩阵和随机正交矩阵初始化。

本文来自公众号CV技术指南的技术总结系列

欢迎关注CV技术指南 ，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。

为什么初始化很重要

---

不正确初始化的权重会导致梯度消失或爆炸问题，从而对训练过程产生负面影响。

对于梯度消失问题，权重更新很小，导致收敛速度变慢——这使得损失函数的优化变慢，在最坏的情况下，可能会阻止网络完全收敛。相反，使用过大的权重进行初始化可能会导致在前向传播或反向传播过程中梯度值爆炸。

常见的初始化方法

---

1. 全零或等值初始化

由于初始化的值全都相同，每个神经元学到的东西也相同，将导致“对称性(Symmetry)”问题。

2. 正态初始化(Normal Initialization)

均值为零，标准差设置一个小值。

这样的做好的好处就是有相同的偏差，权重有正有负。比较合理。

例：2012年AlexNet使用“均值为零、标准差设置为0.01、偏差为1的高斯（正常）噪声进行初始化”的初始化方法。然而，这种正常的随机初始化方法不适用于训练非常深的网络，尤其是那些使用 ReLU激活函数的网络，因为之前提到的梯度消失和爆炸问题。

3. 均匀初始化(Uniform Initialization)

均匀分布的区间通常为【-1/sqrt(fan_in)，1/sqrt(fan_in)】

其中fan_in表示输入神经元的数量，fan_out表示输出神经元的数量。

​

4. Xavier Initialization

来自论文《Understanding the difficulty of training deep feedforward neural networks》

根据sigmoid函数图像的特点

​

如果初始化值很小，那么随着层数的传递，方差就会趋于0，此时输入值也变得越来越小，在sigmoid上就是在0附近，接近于线性，失去了非线性。

如果初始值很大，那么随着层数的传递，方差会迅速增加，此时输入值变得很大，而sigmoid在大输入值写倒数趋近于0，反向传播时会遇到梯度消失的问题。

针对这个问题，Xavier 和 Bengio提出了“Xavier”初始化，它在初始化权重时考虑了网络的大小（输入和输出单元的数量）。这种方法通过使权重与前一层中单元数的平方根成反比来确保权重保持在合理的值范围内。

Xavier 的初始化有两种变体。

Xavier Normal：正态分布的均值为0、方差为sqrt( 2/(fan_in + fan_out) )。

Xavier Uniform：均匀分布的区间为【-sqrt( 6/(fan_in + fan_out)) , sqrt( 6/(fan_in + fan_out)) 】。

Xavier 初始化适用于使用tanh、sigmoid为激活函数的网络。

5. He Initialization

来自论文《Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification》

激活函数的选择最终在决定初始化方法的有效性方面发挥着重要作用。激活函数是可微的，并将非线性特性引入神经网络，这对于解决机器学习和深度学习旨在解决的复杂任务至关重要。ReLU和leaky ReLU是常用的激活函数，因为它们对消失/爆炸梯度问题相对鲁棒。

Xavier在tanh函数上表现可以，但对 ReLU 等激活函数效果不好，何凯明引入了一种更鲁棒的权重初始化方法--He Initialization。

He Initialization也有两种变体：

He Normal：正态分布的均值为0、方差为sqrt( 2/fan_in )。

He Uniform：均匀分布的区间为【-sqrt( 6/fan_in) , sqrt(6/fan_in) 】

 He Initialization适用于使用ReLU、Leaky ReLU这样的非线性激活函数的网络。

He Initialization和Xavier Initialization 两种方法都使用类似的理论分析：它们为从中提取初始参数的分布找到了很好的方差。该方差适用于所使用的激活函数，并且在不明确考虑分布类型的情况下导出。

​

图来自何凯明的论文。

论文展示了何凯明改进的初始化策略（红色）如何比 (P)ReLU 的 Xavier 方法（蓝色）更快地降低错误率。

有关 Xavier 和 He 初始化方法的证明，请参阅 Pierre Ouannes 的文章《如何初始化深度神经网络？Xavier 和 Kaiming 初始化》。

6. Pre-trained

使用预训练的权重作为初始化，相比于其它初始化，收敛速度更快，起点更好。

除了以上的初始化方法外，还包括有LeCun Initialization。方法跟He Initialization和Xavier Initialization类似，但基本没怎么看见用，这里就不列出来了。

权重初始化仍然是一个活跃的研究领域。出现了几个有趣的研究项目，包括数据相关初始化、稀疏权重矩阵和随机正交矩阵初始化。

数据相关初始化

论文：Data-dependent Initializations of Convolutional Neural Networks

地址：https://arxiv.org/abs/1511.06856

稀疏权重矩阵初始化

地址：https://openai.com/blog/block-sparse-gpu-kernels/

随机正交矩阵初始化

论文：Exact solutions to the nonlinear dynamics of learning in deep linear neural networks

地址：https://arxiv.org/abs/1312.6120

参考资料

1. https://medium.com/comet-ml/selecting-the-right-weight-initialization-for-your-deep-neural-network-780e20671b22

2. https://medium.com/analytics-vidhya/weights-initialization-in-neural-network-d962ac438bdb

3. Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification He, K. et al. (2015)

4. Understanding the difficulty of training deep feedforward neural networks

 欢迎关注公众号 CV技术指南 ，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。

 在公众号中回复关键字 “技术总结”可获取公众号原创技术总结文章的汇总pdf。

​

其它文章

CV技术指南--精华文章汇总分类

归一化方法总结       |  欠拟合与过拟合技术总结

NMS总结             |   损失函数技术总结

注意力机制技术总结   |   特征金字塔技术总结   

池化技术总结          |  数据增强方法总结   

论文创新的常见思路总结    |    GPU多卡并行训练总结

CNN结构演变总结（一）经典模型

CNN结构演变总结（二）轻量化模型

CNN结构演变总结（三）设计原则

CNN可视化技术总结（一）特征图可视化

CNN可视化技术总结（二）卷积核可视化

CNN可视化技术总结（三）类可视化

CNN可视化技术总结（四）可视化工具与项目

计算机视觉中的图像标注工具总结

各种 Optimizer 梯度下降优化算法回顾和总结

CV方向的高效阅读英文文献方法总结

汇总 | 国内外经典开源数据集

Softmax 函数和它的误解

提高机器学习模型性能的常用策略

Softmax 函数和它的误解

资源分享 | SAHI：超大图片中对小目标检测的切片辅助超推理库

计算机视觉中的图像标注工具总结

Batch Size对神经网络训练的影响

PyTorch 中的 ModuleList 和 Sequential: 区别和使用场景

神经网络超参数的调参方法总结

使用 Ray 将 PyTorch 模型加载速度提高 340 倍

计算机视觉中的图像标注工具总结

卷积神经网络的复杂度分析

2021年小目标检测最新研究综述

经典论文系列--胶囊网络：新的深度学习网络

经典论文系列 | 目标检测--CornerNet & 又名 anchor boxes的缺陷

文字识别OCR开源框架的对比--Tesseract vs EasyOCR

计算机视觉专业术语总结(一)构建计算机视觉的知识体系

计算机视觉中的小样本学习综述