Batch Normalization和Layer Normalization和Group normalization

---

前言

  批量规范化和层规范化在神经网络中的每个批次或每个层上进行规范化，而GroupNorm将特征分成多个组，并在每个组内进行规范化。这种规范化技术使得每个组内的特征具有相同的均值和方差，从而减少了特征之间的相关性。通常，组的大小是一个超参数，可以手动设置或自动确定。
  相对于批量规范化，GroupNorm的一个优势是它对批次大小的依赖性较小。这使得GroupNorm在训练小批量样本或具有不同批次大小的情况下更加稳定。另外，GroupNorm还可以应用于一维、二维和三维的输入，适用于不同类型的神经网络架构。
  GroupNorm的一种变体是分组卷积（Group Convolution），它将输入通道分成多个组，并在每个组内进行卷积操作。这种结构可以减少计算量，并提高模型的效率。

• BatchNorm：batch方向做归一化，算N* H*W的均值
• LayerNorm：channel方向做归一化，算C* H* W的均值
• InstanceNorm：一个channel内做归一化，算H*W的均值
• GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G) * H * W的均值
  

一、Group normalization

  Group normalization（GroupNorm）是深度学习中用于规范化神经网络激活的一种技术。它是一种替代批量规范化（BatchNorm）和层规范化（LayerNorm）等其他规范化技术的方法。

import torch
import torch.nn as nn

class GroupNorm(nn.Module):
    def __init__(self, num_groups, num_channels, eps=1e-5):
        super(GroupNorm, self).__init__()
        self.num_groups = num_groups
        self.num_channels = num_channels
        self.eps = eps
        
        self.weight = nn.Parameter(torch.ones(1, num_channels, 1, 1))
        self.bias = nn.Parameter(torch.zeros(1, num_channels, 1, 1))
    
    def forward(self, x):
        batch_size, num_channels, height, width = x.size()
        
        # 将特征重塑成 (batch_size * num_groups, num_channels // num_groups, height, width)
        x = x.view(batch_size, self.num_groups, -1, height, width)
        
        # 计算每个组内的均值和方差
        mean = x.mean(dim=(2, 3, 4)