pytorch LayerNorm说明

pytorch LayerNorm说明_第1张图片
对一个mini-batch的input做归一化计算
x指一个batch的input,如下图,
图中,N表示batch数,(C,H,W)本来应该是3维,现把(H, W)二维图像拉成一条,一共C个channel, 每个channel对应一条H,W
蓝色部分表示一个batch内的(C, H, W),即x
pytorch LayerNorm说明_第2张图片
计算x的均值,方差,做归一化

参数列表
pytorch LayerNorm说明_第3张图片
示例
pytorch LayerNorm说明_第4张图片
参考链接

你可能感兴趣的:(pytorch,pytorch,深度学习)