各种Normalization（BN,LN,GN,IN,SN,Spectral Normalization）

一，归一化层，目前主要有几种，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年）；Spectral Normalization（2018）

二，将输入的图像shape记为[N, C, H, W]，这几个方法主要的区别就是在，执行的维度差异。
batchNorm是在batch上，对NHW做归一化，对小batchsize效果不好；一般用于CNN,DNN。
layerNorm在通道方向上，对CHW归一化，主要对RNN作用明显；
instanceNorm在图像像素上，对HW做归一化，用在风格化迁移；强调个性。
GroupNorm将channel分组，然后再做归一化；一般用于CNN,DNN。与batchNorm类似。优点：不受batch影响。
SwitchableNorm是将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法。
Spectral Normalization 谱归一化，让判别器具备Lipschitz连续。主要用于GAN网络，解决判别器训练越好，生成器梯度消失越严重的问题。Spectral normalization for generative adversarial network” (以下简称 Spectral Norm) 使用一种更优雅的方式使得判别器 D 满足利普希茨连续性，限制了函数变化的剧烈程度，从而使模型更稳定。