pytorch BatchNorm LayerNorm InstanceNorm GroupNorm 通俗易懂理解

pytorch BatchNorm LayerNorm InstanceNorm GroupNorm 通俗易懂理解

  • 认识批量数据
  • 四种归一化的异同点
  • 调用pytorch内的函数,讲解相关参数
  • 实验理解,手动计算,结合pytorch内的函数
  • 总结:每种归一化的优缺点,以及演变历程

认识批量数据

先来理解归一化层的输入数据的格式,输入格式包括4个符号:N、C、H、W
N:batch–我们通常将一个批量数据输入模型进行训练。
C:通道数,可以理解为特征的个数。
H*W:表示一个通道内数据的维度,这里是二维,若是NCABC,则数据维度是三维,依此类推,NCABCD…。
pytorch BatchNorm LayerNorm InstanceNorm GroupNorm 通俗易懂理解_第1张图片N:样本轴,代表一个批量(batchsize);
C:通道轴,代表特征个数;
F:每个通道中特征的维度

你可能感兴趣的:(Pytorch基础,pytorch,深度学习,batch)