深度学习记录--Batch Norm

Batch Norm

与Input Norm对输入层进行归化不同,Batch Norm是对隐藏层进行归化

实现

\mu = \frac{1}{m}\sum_{i=1}^{m}z^{(i)}

\sigma^2=\frac{1}{m}\sum_{i=1}^{m}(z_{i}-\mu)^2

z^{(i)}_{norm}=\frac{z^{(i)}-\mu}{\sqrt{\sigma^2+\varepsilon}}

\tilde{z}^{(i)}=\gamma z^{(i)}_{norm}+\beta,其中\gamma\beta调节均值和方差

if: \gamma=\sqrt{\sigma^2+\varepsilon},\beta=\mu, then :\tilde{z}^{(i)}=z^{(i)}

深度学习记录--Batch Norm_第1张图片

你可能感兴趣的:(深度学习记录,深度学习,batch,人工智能)