pytorch | 常用归一化方法

1. Batch Normlization
   BN的计算是要受到其他样本影响的，由于每个batch的均值和方差会由于shuffle的设置而变动，所以可以理解为一种数据增强的方式。但是，对于单个数据而言，相当于是引入了噪声。所以BN适用于每个mini-batch比较大，数据分布比较接近。

2. Layer Normalization
   LN 针对单个训练样本进行，不依赖于其他数据，因此可以避免 BN 中受 mini-batch 数据分布影响的问题.

3. Instance Normalization
   在GAN和style transfer的任务中，目前的IN norm要好于BN，IN主要用于对单张图像的数据做处理，而BN主要是对Bacth的数据做处理。由于BN在训练时每个batch的均值和方差会由于shuffle都会改变，所以可以理解为一种数据增强，而IN可以理解为对数据做一个归一化的操作。

##换句话说，BN的计算是要受其他样本影响的，由于每个batch的均值和标准差不稳定，对于单个数据而言，相对于是引入了噪声，但在分类这种问题上，结果和数据的整体分布有关系，因此需要通过BN获得数据的整体分布。而instance norm的信息都是来自于自身的图片，相当于对全局信息做了一次整合和调整，在图像转换这种问题上，BN获得的整体信息不会带来任何收益。

4. Group Normalization
   group normalization是2018年3月份何恺明大神的又一力作，优化了BN在比较小的mini-batch情况下表现不太好的劣势。批量维度进行归一化会带来一些问题——批量统计估算不准确导致批量变小时，BN 的误差会迅速增加。在训练大型网络和将特征转移到计算机视觉任务中（包括检测、分割和视频），内存消耗限制了只能使用小批量的BN。事实上，GN的极端情况就是LN和IN，分别对应G等于C和G等于1。

参考https://zhuanlan.zhihu.com/p/76255917