深度学习-学习笔记（数值稳定性）

最近看李沐老师的动手学深度学习，有很多收获，因此将老师讲课内容稍作总结，以便以后翻阅学习

数值稳定性

数值稳定性是神经网络模型一个非常重要的内容，模型不稳定一般与梯度消失和梯度爆炸有关。梯度消失时，模型会停止训练，梯度爆炸时，参数会变得特别大。
为了保持数值的稳定，我们需要选择合适的参数初始化方案和合理的非线性激活函数。

梯度的计算

一个d层的神经网络，每一层用$l$表示，则${\mathbf{h}}^{(l)}$表示第$l$层的输出，${\mathbf{h}}^{(l-1)}$表示第$l$层的输入(${\mathbf{h}}^{(0)}=\mathbf{x}$)，则
$${\mathbf{h}}^{(l)}=f_l({\mathbf{h}}^{l-1})$$ $$y=l○f_d○...○f_1(x)$$(这里y包含了损失函数，不是模型的输出)
$$\frac{\partial l}{\partial {\mathbf{W}}^l}=\frac{\partial l}{\partial {\mathbf{h}}^d}\frac{\partial {\mathbf{h}}^d}{\partial {\mathbf{h}}^{d-1}}...\frac{\partial {\mathbf{h}}^{l+1}}{\partial {\mathbf{h}}^l}\frac{\partial {\mathbf{h}}^l}{\partial {\mathbf{W}}^l}$$（向量关于向量的导数是矩阵，公式为矩阵乘法）中间有连乘项:
$$\prod _{i=l}^{d-1}\frac{\partial {\mathbf{h}}^{i+1}}{\partial {\mathbf{h}}^i}$$

• 对于简单的MLP模型（忽略偏移bias），
  $$f_l({\mathbf{h}}^{l-1})=\sigma ({\mathbf{W}}^{\mathbf{l}}{\mathbf{h}}^{\mathbf{l}-1})(\sigma 是激活函数)$$ $$\frac{\partial {\mathbf{h}}^l}{\partial {\mathbf{h}}^{l-1}}=diag({\sigma }^{{}^{\prime }}({\mathbf{W}}^{\mathbf{l}}{\mathbf{h}}^{\mathbf{l}-1}))({\mathbf{W}}^{\mathbf{l}}{)}^T({\sigma }^{{}^{\prime }}是\sigma 的导数函数，‘为什么是对角矩阵目前还不明白’)$$
  则 $$\prod _{i=l}^{d-1}\frac{\partial {\mathbf{h}}^{i+1}}{\partial {\mathbf{h}}^i}=\prod _{i=l}^{d-1}\{diag({\sigma }^{{}^{\prime }}({\mathbf{W}}^{\mathbf{i}+1}{\mathbf{h}}^{\mathbf{i}}))({\mathbf{W}}^{\mathbf{i}+1}{)}^T\}$$
  这其中的连乘项是每一层激活函数的导数乘以对应的参数w
  当神经网络层数很深时($d-l$很大):
  1. 连乘项稍微大于1时：$1.5^{100}\approx 4\ast 10^{17}$ （梯度爆炸）
  2. 连乘项稍微小于1时：$0.8^{100}\approx 2\ast 10^{-10}$ （梯度消失）

(注意: 由于连乘项不止有激活函数的导数，还包含参数w，所以Relu不能完全消除梯度消失和梯度爆炸，只能缓解)

梯度爆炸

由于损失函数对参数的梯度是一个连乘的形式，神经网络很深时，哪怕连乘项比1大一点，如$1.5^{100}\approx 4\ast 10^{17}$，也会导致梯度特别大。

梯度爆炸的问题

• 值会超出计算机浮点数的值域（infinity）
  • GPU会使用16位浮点数(6e-5 - 6e4)，此时尤为严重
• 对学习率敏感
  • 学习率稍微大一点就会造成很大的更新，稍微小一点训练又无进展，很难调

梯度消失

某些激活函数，如sigmoid和tanh，在定义域两端的导数很小，无限接近0，导致连乘项很小，即使连乘项稍微小于1，网络层数过深时也会导致梯度无限接近0，如$0.8^{100}\approx 2\ast 10^{-10}$

梯度消失的问题

• 值很小时计算机会把它当做0
  • 特别是16位浮点数
• 导致训练没有进展，调整学习率也没有用
• 顶层可能可以正常训练，底层网络梯度很小导致无法更新参数，相当于很浅的网络

小结

由于损失函数对参数的梯度是一个n个数的累乘，当数值过大或过小时都会使模型不稳定（梯度消失或梯度爆炸）
为了使训练更加稳定，我们需要使梯度在一个合理的范围内，有很多方法，如：

• 将梯度的连乘形式变成加法（ResNet，LSTM）
• 归一化（梯度归一化，梯度裁剪）
• 选择合适的权重初始和激活函数