深度学习-关于Batch Normalization(BN)原理

0.参考

• 论文：Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift
• https://www.cnblogs.com/eilearn/p/9780696.html
• 2

1.什么是BN

机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。神经网络学习过程本质上是为了学习数据的分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低