李宏毅机器学习笔记Day7——批次标准化

批次标准化(Batch Normalization)也是训练神经网络的一个tip。
复杂的error surface:不同的dimension的数值范围相差很大,要将这些数值范围变得相同,将error surface变得比较简单。
feature normalization
李宏毅机器学习笔记Day7——批次标准化_第1张图片
在深度学习中,对z也要做feature normalization,当network很大时,可以考虑为一个batch,只在一个batch做feature normalization。
李宏毅机器学习笔记Day7——批次标准化_第2张图片
Batch Normalization
李宏毅机器学习笔记Day7——批次标准化_第3张图片
testing
计算μ和σ,得u_bar和σ_bar
李宏毅机器学习笔记Day7——批次标准化_第4张图片

你可能感兴趣的:(机器学习,人工智能,深度学习)