十五天掌握CNN——LN层、IN层、GN层、SN层

Layer Normalization Layer层

1. BN层的缺点：
   ——对batchsize大小敏感，不能设置过小。
   ——BN计算过程需要保存某一层神经网络batch的均值和方差等统计信息，适合定长网络结构DNN CNN，不适用不定长RNN。
2. LN层特点：针对不同样本计算当前样本的所有神经元的均值和方差。所以，同层神经元输入拥有相同均值和方差，不同输入样本具有不同均值和方差。
   BN层特点：同层神经元输入不同均值和方差，同一个batch的所有样本拥有相同的均值和方差。
3. LN层优点：不受样本批次大小的影响。适于RNN训练，不适于CNN训练。

Instance Normalization Layer层

1. 判别模型中的结果，一般取决于数据整体分布情况。所以BN中注重对于每个batch的数据做归一化操作，保证数据的一致性。
2. 图像风格化中，生成结果主要依赖于某个图像的实例。所以适合对每个feature map特征图（HW）做归一化操作，保证各图像实例间的独立。
3. 优点：不受样本批次大小影响，保证每个feature map
   

Group Normalization Layer层

1. 为了解决BN中对于小batchsize效果差的问题，GN中将channel方向分为不同group，对每个group计算归一化操作，计算（C//G）WH 的均值、方差，再进行归一化操作。
2. 从而计算出来的结果和batchsize无关。
   
   
   

Switchable Normalization Layer层

1. 对于BN、 LN、 IN、 GN完全人工设计且无法通用，每个归一化层的设计需要涉及大量实验且工作量大。
2. SN通过提出一个自适配归一化方法，自动为神经网络的每个归一化层确定一个合适的归一化操作。
3. 优点：自适应的归一化层，与业务耦合性最低。