浅谈BN

为什么要用到BN？

解决Internal Covariate Shift

什么是Internal Covariate Shift？

Batch Normalization的原论文作者给了Internal Covariate Shift一个较规范的定义：在深层网络训练的过程中，由于网络中参数变化而引起内部结点数据分布发生变化的这一过程被称作Internal Covariate Shift。

我们定义每一层的线性变换为Zl=Wl*input+bl ，其中 l 代表层数；非线性变换为Al=gl(Zl)，其中 gl为第 l 层的激活函数。

随着梯度下降的进行，每一层的参数 Wl与 bl都会被更新，那么 Zl的分布也就发生了改变，进而 Al 也同样出现分布的改变。而 Al作为第 l+1 层的输入，意味着 l+1 层就需要去不停适应这种数据分布的变化，这一过程就被叫做Internal Covariate Shift。

Internal Covariate Shift会带来几个问题：（1）上层网络需要不停调整来适应输入数据分布的变化，导致网络学习速度的降低。（2）网络的训练过程容易陷入梯度饱和区（饱和性激活函数），减缓网络收敛速度。

其他解决Internal Covariate Shift方法与BN的比较

1.白化

（1）使得输入特征分布具有相同的均值与方差。其中PCA白化保证了所有特征分布均值为0，方差为1；而ZCA白化则保证了所有特征分布均值为0，方差相同；
（2）去除特征之间的相关性。
但是白化过程计算成本太高，并且白化过程由于改变了网络每一层的分布，所以有了BN。

2.BN

下面来看一个例子，输入为三个数据，batch=3。先计算均值，和方差。

此时，Zi=（zi-u)/σ。

通过上面的变换，我们用更加简化的方式来对数据进行规范化。让每一层网络的输入数据分布都变得稳定，但却导致了数据表达能力的缺失。也就是我们通过变换操作改变了原有数据的信息表达（representation ability of the network），使得底层网络学习到的参数信息丢失。因此，BN又引入了两个可学习（learnable）的参数Y 与 B 。这两个参数的引入是为了恢复数据本身的表达能力，对规范化后的数据进行线性变换，即 Zi=zi*Y+B。当Y等于σ，当B等于u时，可以实现等价变换（identity transform）并且保留了原始输入特征的分布信息。

BN的优点

（1）BN使得网络中每层输入数据的分布相对稳定，加速模型学习速度。
（2）BN使得模型对网络中的参数不那么敏感，简化调参过程，使得网络学习更加稳定。

参考：https://zhuanlan.zhihu.com/p/34879333