8. 类神经网络训练不起来怎么办（五）Batch normalization

类神经网络训练不起来怎么办（五）

特征的变化范围不一样，对Loss的影响不一样

不同dimension范围变化到0-1范围

在Deeplearning中，还要对z或者a做Normalization

对z做还是对a做：总体上没有区别，如果激活函数是sigmoid就推荐对z做

Batch normalization

在一个Bacth内算均值和标准差做normalization

$\hat z^i=\gamma \odot \tilde x+\beta $

$\gamma ,\beta$参数，学习出来的

为什么这么做：

​ 做normalization以后$\tilde{z}$的均值一定就是0，这样做可能会对网络有负面的影响，引入$\gamma ,\beta$以后通过学习网络自己调整。

一般情况下$\gamma$的初始值是one vector，$\beta$是zero vector

Batch normalization-Testing

在实际应用中，测试集上可能没有batch：

​ 在训练集上计算moving average:$\bar{\mu }\leftarrow p\bar{\mu }+(1-p{\mu }^t)p$也是一个超参数，在PyTorch里面为0.1