BN层原理及作用

BN：batchnorm 批量标准化。

解决的问题：输入的数据都具有不同的分布，会给下层网络的训练带来困难。

计算方法：

1.先求出此次批量数据x的均值

2.求出此次批量的方差

3.接下来就是对本次批量的x做归一化：xi-E(x)/(根号下批量方差-极小值（eps）)防止分母为0.

4.最后最重要，引入缩放和平移变量γ和β

如果γ和β分别等于此batch的方差和均值，那么yi就还原到了归一化前的x，β 和γ分别称之为 平移参数和缩放参数 。这样就保证了每一次数据经过归一化后还保留的有学习来的特征，同时又能完成归一化这个操作，加速训练。