深度学习中Batch/Layer/Instance/Group normalization方法

深度学习中Batch/Layer/Instance/Group normalization方法_第1张图片
图片中,N是batch size, c是channel。

  1. BN:在每一个channel内,对H,W,Batch做平均
  2. LN:在每一个batch内,对H,W,Channel做平均
  3. IN:在每一个channel和batch内,对H,W做平均
  4. GN:在每一个batch内,将channel进行分组,在分组内对H,W做平均。

你可能感兴趣的:(PyTorch,#,Data,Processing,深度学习,batch,人工智能)