机器学习基础篇-Batch Normalization

Batch Normalization

在神经网络训练过程中，使用Batch Normalization能够加快训练速度。

BN算法过程如下：

首先输入值是每一个mini-batch的值，这里用Z表示该layer的值:
$$Z=\{x_1,x_2,..,x_n\}$$
首先求出这个layer的均值：
$$\mu =\frac{1}{m}\sum Z^i$$
接着layer的每一个值减去均值：
$${\delta }^2=\frac{1}{m}\sum (Z^i-\mu )$$
求出以上两个值，代入公式求出：
$$\begin{gathered} Z_{normalized}^{(i)}=\alpha \frac{Z^{(i)}\mu }{\sqrt{{\delta }^2}+\epsilon }+\beta \\ 其中\alpha 和\beta 是通过训练学习得到的超参数 \end{gathered}$$

然而在测试中，我们并不会直接计算计算μ和δ，因为在测试的时候，是一个一个样本进行测试的，所以没办法求μ和δ，所以可以用训练数据的。因为每次做 Mini-Batch 训练时，都会有那个 Mini-Batch 里 m 个训练实例获得的均值和方差，现在要全局统计量，只要把每个Mini-Batch的均值和方差统计量记住，然后 均值采用训练集所有 batch 均值的期望，方差采用训练集所有 batch 的方差的无偏估计即可得出全局统计量。