归一化输入、梯度消失/爆炸、

目录

1.归一化输入特征（Normalizing input features）

归一化就是让训练数据均值为0，方差为1。一共两步，假设训练集有两个输入特征，x=。

①零均值化

:= -

②归一化方差(normalize the variances)

/= ，

第二个图是零均值化后的图，此时，特征x1的方差要比X2大。第三个图是归一化方差后的图。

归一化能加快训练神经网络，为什么？

J为成本函数。如果两个特征的范围不同，比如一个在[0,1]，一个在[0,1000]，成本函数如左图，归一化，如右图，梯度下降会更快一些。

2.梯度消失/爆炸(vanishing/exploding)

梯度消失/爆炸其实就是梯度过小或过大，导致梯度下降会花很多时间。