深度学习各种normalization

各种Normalization层出不穷，现做一下总结，以供大家学习参考

1. BN：Batch Normalization

这是大家最熟悉的了，结合上图

针对每一批， 正规化，减少前一层对后层的影响

   针对一批中的 每一个 feature进行 normalization（也即每一个 feature采用不同的规范化操作），而 normal后是一个向量，向量的维度是 feature的个数，故而 又可以称其 纵向规范化

2. BR: Batch Renormalization

通过渐进式的移动平均来接近全局正规化 来修复在 训练和预测时 参数（b &W）的不一致问题(在每次计算时，均会包括上一次的normalization params),实际是对BN的改进

3.LN: layer normalization 

对比BN

     它是一种横向规范化，他综合考虑一层所有维度的输入，计算该层的平均输入值和输入方差，然后用、同一个规范化操作来转换各个维度的输入，LN 针对单个训练样本，不依赖其它数据，因此可以避免BN中受mini-batch的数据分布影响的问题，可以用于 小mini-batch, 动态网络  和RNN,此外 LN不需要存储mini-batch的均值和方差

4. IN: Instance normalization； 

他计算均值和标准差 是基于 每一个训练样本的 每一个channel而言。它解决的问题是网络与原始图片的对比度无关。适用于styletransfer ，目前 在GAN中用它来代替BN

5. GN ： Group normalization 

他计算均值和标准差 是基于每一个训练样本 的 多个channels而言。也就是说，他结合了LN和IN.例如，将所有的channel都放在一个group中，那么就变成了LN,如果将每一个channel分别放入不同的group，则变成了IN

6.WN： weight normalization

针对的是 权重（参数）的规范化，WN不直接使用输入数据的统计量，避免了BN过于依赖mini-batch的不足，以及LN每层唯一转换器的限制，可用于动态网络

原理：

作者建议 结合 mean-only batch normalization一块使用

7. CN：cosine normalization 余弦规范化

主要是针对W*X这个点积操作，数据无范围；而换为CN后，数据范围在[-1,1]之间，可以防止出现梯度爆炸

 

    

 

知乎： https://zhuanlan.zhihu.com/albertwang

微信公众号：AI-Research-Studio

​ ​​

下面是赞赏码