nn.LayerNorm()

作用

它主要作用是将指定的数据归一化，即均值为0，方差为1

 归一化分为layernorm和batchnorm

layernorm是对单个的batch进行归一化，batchnorm是对所有的batchnorm（即所有的数据）进行归一化

但是layernorm并不是只能这样，可以根据设置满足不同的需求

为什么这么做 

1、将数据归一化至同一量级，解决数据间的可比性 问题，如果量级不一样，那么网络可能解读错误。

2、归一化之后，寻求最优解的过程会变得平缓，可以更快的收敛到最优解

使用方法：

输入

import torch
import torch.nn as nn
a=torch.randint(10,[3,4]).to(torch.float32)
# a=torch.DoubleTensor(a)
# a=a.double()
print(a)
layer_norm=nn.LayerNorm(4)
layer_norm(a)

输出

这里指定的 nn.LayerNorm()的参数为4，其含义是：

假设此时输入的数据维度是[3, 4]，则对3个长度为4的向量求均值方差，得到3个均值和3个方差，分别对这3行进行归一化（每一行的4个数字都是均值为0，方差为1） 

其参数也可以是数组

输入：

import torch
import torch.nn as nn
a=torch.randint(10,[3,4]).to(torch.float32)
# a=torch.DoubleTensor(a)
# a=a.double()
print(a)
layer_norm=nn.LayerNorm([3,4])
layer_norm(a)

输出：

 假设此时输入的数据维度是[N, 3, 4]，则对着N个[3,4]做和上述一样的操作，只是此时做仿射变换时，weight和bias被重复用了N次。

但我的数据里面没有N，那么就是对全部的数据进行归一化 

其他内容补充