nn.LayerNorm解释

这个是层归一化。我们输入一个参数，这个参数就必须与最后一个维度对应。但是我们也可以输入多个维度，但是必须从后向前对应。

import torch
import torch.nn as nn

a = torch.rand((100,5))
c = nn.LayerNorm([5])
print(c(a).shape)

a = torch.rand((100,5,8,9))
c = nn.LayerNorm([9])
print(c(a).shape)

a = torch.rand((100,5,8,9))
c = nn.LayerNorm([8,9])
print(c(a).shape)

a = torch.rand((100,5,8,9))
c = nn.LayerNorm([5,8,9])
print(c(a).shape)