batch-norm

batch-norm是什么

batch-norm 是google研究人员提出的一种加速深度神经网络训练的技术。如字面意思是一种批量归一化，实际就是对神经网络的某一层的batch输出进行归一化(先进行zscore归一化，然后进行线性变换，最后再输入到激励函数内)。

为什么做batch-norm

第一个问题：分布不一致问题，泛化不好

在统计学习中间经常要假设训练数据的分布和测试数据的分布一致，如果不一致需要迁移学习，域自适应等处理。在深度神经网络中也存在这个问题，经常对输入数据进行zscore归一化，但是深度神经网络的层数很多，随着神经网络层数的增加，某一层输出的分布相对于前面神经网络层的权重变得越来越敏感，使得每一次不同batch数据的在该层输出的分布变化很大，对接下来的子网络的学习很不利。如果此时进行归一化，就能加速学习过程。

第二个问题：落入激励函数饱和区，梯度消失

计算结果直接输入激励函数，很容易落入饱和区，容易梯度消失（饱和区梯度几乎为零）。归一化后，再输入激励函数，使得输入激励函数的值尽量处于激励函数的非饱和区，这样不容易梯度消失。从这里也可以看出batchnorm的设置位置。