BN、LN、IN、GN的异同

 

从左到右依次是BN，LN，IN，GN

 

众所周知，深度网络中的数据维度一般是[N, C, H, W]或者[N, H, W，C]格式，N是batch size，H/W是feature的高/宽，C是feature的channel，压缩H/W至一个维度，其三维的表示如上图，假设单个方格的长度是1，那么其表示的是[6, 6，*, * ]

 

上图形象的表示了四种norm的工作方式：

1、BN在batch的维度上norm，归一化维度为[N，H，W]，对batch中对应的channel归一化。

BN的代码实现，其中x为（N，C*H*W）

        mu = np.mean(x,axis=0)
        sigma2 = np.var(x,axis=0)
        x_hat = (x-mu)/np.sqrt(sigma2+eps)
        out = gamma*x_hat + beta

BN对batch size有依赖，当batch size较大时，有不错的效果。而LN、IN、GN能够摆脱这种依赖，其中GN效果最好。

2、LN避开了batch维度，归一化的维度为[C，H，W]。

LN的前向传播的代码实现，其中x为（N，C*H*W）

    x = x.T  # (D, N)
    mu = np.mean(x, axis=0)  # (N,)
    sigma2 = np.var(x, axis=0)  # (N,)
    x_hat = (x - mu) / np.sqrt(sigma2 + eps)  
    x_hat = x_hat.T   # (N, D)
    out = gamma * x_hat + beta
    inv_sigma = 1 / np.sqrt(sigma2 + eps)
    cache = (x_hat, gamma, mu, inv_sigma)

3、IN 归一化的维度为[H，W]；

4、GN介于LN和IN之间，其首先将channel分为许多组（group），对每一组做归一化，及先将feature的维度由[N, C, H, W]reshape为[N*G，C//G , H, W]，归一化的维度为[C//G , H, W]

事实上，GN的极端情况就是LN和I N，分别对应G等于1和G等于C