梯度消失和梯度爆炸

整理并翻译自吴恩达深度学习视频：
https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001702118

梯度消失和梯度爆炸

$$y^{hat}=w^L{w}^{L-1}{w}^{L-2}...w^3{w}^2{w}^{1}x$$

这里简化了激活函数$g(z)$，$g(z)$是线性函数或者干脆$g(z)=z$

$I$表示单位矩阵，$W$表示权重矩阵。

因此$W>I$时，$y^{hat}$就以指数级别增长(因为L个w相乘)，对应梯度爆炸。
同理$W<I$时，$y^{hat}$就以指数级别降低(因为L个w相乘)，对应梯度消失。

如何解决梯度消失和梯度爆炸

基本的思想即尽量使每个w取接近1的值，即不过分大于1，也不过分小于1.

初始化w时：
采用ReLU即作为激活函数：
$w^{[l]}$ = np.random.randn(shape) * np.sqrt$(\frac{2}{n^{[l-1]}})$

采用tanh作为激活函数：
$w^{[l]}$ = np.random.randn(shape) * np.sqrt$(\frac{1}{n^{[l-1]}})$
这被称为Xavier Initialize。

或者有些论文也会采用：
$w^{[l]}$ = np.random.randn(shape) * np.sqrt$(\frac{2}{n^{[l-1]}+n^{[l]}})$