BatchNorm和LayerNorm原理比较，以及LayerNorm使用方法

​
LayerNorm和BatchNorm的区别：

1、BatchNorm：

原理：

公式：

gamma和beta是需要学习的参数。BN作者每一层都加了BN是想让数据每一层都尽可能处于独立同分布的状态。对每一层都数据都归一化，但是又要保持数据训练得到的特征所以，又添加gamma和beta，让特征保留。

BatchNorm把一个batch中同一通道的所有特征（如上图红色区域）视为一个分布（有几个通道就有几个分布），并将其标准化。这意味着:
1、不同图片的的同一通道的相对关系是保留的，即不同图片的同一通达的特征是可以比较的
2、同一图片的不同通道的特征则是失去了可比性
3、有一些可解释性方面的观点认为，feature的每个通道都对应一种特征（如低维特征的颜色，纹理，亮度等，高维特征的人眼，鸟嘴特征等）。BatchNorm后不同图片的同一通道的特征是可比较的，或者说A图片的纹理特征和B图片的纹理特征是可比较的；而同一图片的不同特征则是失去了可比性，或者说A图片的纹理特征和亮度特征不可比较。这其实是很好理解的，视觉的特征是比较客观的，一张图片是否有人跟一张图片是否有狗这两种特征是独立，即同一图片的不同特征是不需要可比性；而人这种特征模式的定义其实是网络通过比较很多有人的图片，没人的图片得出的，因此不同图片的同一特征需要具有可比性。

缺陷：

1、BN在mini-batch较小的情况下不太适用。BN是对整个mini-batch的样本统计均值和方差，当训练样本数很少时，样本的均值和方差不能反映全局的统计分布信息，从而导致效果下降
2、无法用于RNN

总结：归一化不同图片（一个batch里）同一特征（不同通道）。

2、Layernorm

在Swin Transformer里经常用到LayerNorm对数据进行归一化。

公式基本上和BN相同，但是它的均值和方差是从每个样本中计算得到的，因此推理的时候也需要计算，推理速度慢于BN（BN用的是计算好的mean和std）。
LN

下图是一个详细的计算过程，让我们知道，是对输入数据的最后一维进行归一化。结合图像数据和LN的特点，在对图像数据进行归一化时，需要将Channel维变换到最后一维。

使用方法：
下图是使用过程：
原始的输入数据是：（1,96,20，20,80） B C D,W,H。
这里是ViT里的LayerNorm，原论文的意思是对C维度进行归一化，所以把C移动到最后一维。
（LN是对数据的最后一维或n维进行处理）
采用x.flatten(2).transpose(1,2)以后数据变成：（1，32000,96）,再进行norm
norm以后，再通过最后一句话转回成原来的数据格式：（1，32000,96）->（1，96,32000） ->(1,96,20,20,80)

参考：
https://blog.csdn.net/GWENGJING/article/details/127245058
https://blog.csdn.net/ac540101928/article/details/112601665

​​
​​​