BatchNorm和LayerNorm的区别

文章目录

  • 1. 说明
  • 2. 长度不一致问题

1. 说明

BatchNorm和LayerNorm的区别_第1张图片
Batch Normalization 的处理对象是对一批样本, Layer Normalization 的处理对象是单个样本。Batch Normalization 是对这批样本的同一维度特征做归一化, Layer Normalization 是对这单个样本所有维度特征做归一化

2. 长度不一致问题

当单个样本的长度不一致时,就需要用到layerNorm
BatchNorm和LayerNorm的区别_第2张图片
如上图所示,当样本1,2,3之间出现长度不同的时候,我们就得用LayerNorm来处理这个问题了。

你可能感兴趣的:(python,pytorch,机器学习,深度学习,概率论)