动手学深度学习（十六）——数值稳定性和模型初始化(公式说明)

一、数值稳定性——梯度消失和梯度爆炸

考虑一个具有$L$层、输入$\mathbf{x}$和输出$\mathbf{o}$的深层网络。每一层$l$由变换$f_l$定义，该变换的参数为权重${\mathbf{W}}^{(l)}$，其隐藏变量是${\mathbf{h}}^{(l)}$（令 ${\mathbf{h}}^{(0)}=\mathbf{x}$）。

考虑有L层的网络可以表示为：

$${\mathbf{h}}^{(l)}=f_l({\mathbf{h}}^{(l-1)})\text{ 因此 }\mathbf{o}=loss\ast f_L\ast \dots \ast f_1(\mathbf{x}).$$

计算损失loss关于任何一组参数${\mathbf{W}}^{(l)}$的梯度写为下式：

$$\frac{\partial loss}{\partial w^l}=\frac{\partial loss}{\partial h^L}\frac{\partial h^L}{\partial h^{L-1}}...\frac{\partial h_{l+1}}{\partial h^l}\frac{\partial h^l}{\partial w^l}$$

换言之，该梯度是$L-l$个矩阵${\mathbf{M}}^{(L)}\cdot \dots \cdot {\mathbf{M}}^{(l+1)}$与梯度向量 ${\mathbf{v}}^{(l)}$的乘积。因此，我们容易受到数值下溢问题的影响，当将太多的概率乘在一起时，这些问题经常会出现。在处理概率时，一个常见的技巧是切换到对数空间，即将数值表示的压力从尾数转移到指数。不幸的是，我们上面的问题更为严重：最初，矩阵 ${\mathbf{M}}^{(l)}$ 可能具有各种各样的特征值。他们可能很小，也可能很大，他们的乘积可能非常大，也可能非常小。

不稳定梯度带来的风险不止在于数值表示。不稳定梯度也威胁到我们优化算法的稳定性。我们可能面临一些问题：

1. 要么是 梯度爆炸（gradient exploding）问题：参数更新过大，破坏了模型的稳定收敛；
2. 要么是 梯度消失（gradient vanishing）问题：参数更新过小，在每次更新时几乎不会移动，导致无法学习。

---

二、多层感知机器（MLP）中说明梯度爆炸和梯度消失

$$f_l(h^{l-1})=\sigma (W^l{h}^{l-1})\text{\hspace{1em}(1)}$$$\sigma$ 是激活函数

$$\frac{\partial h^l}{\partial h^{l-1}}=diag({\sigma }^{\prime }(W^l{h}^{l-1}))(W^l{)}^T\text{\hspace{1em}(2)}$$

$$\prod _{i=l}^{L-1}\frac{\partial h^{i+1}}{\partial h^i}=\prod _{i=l}^{L-1}diag({\sigma }^{\prime }(W^l{h}^{l-1}))(W^l{)}^T\text{\hspace{1em}(3)}$$

2.1 梯度爆炸

使用relu作为激活函数
$$\sigma (x)=max(0,x)and{\sigma }^{\prime }(x)=\{\begin{array}{l}1,x>0\\ 0,otherwise\end{array}\text{\hspace{1em}(4)}$$

• ${\prod }_{i=l}^{L-1}\frac{\partial h^{i+1}}{\partial h^i}={\prod }_{i=l}^{L-1}diag({\sigma }^{\prime }(W^l{h}^{l-1}))(W^l{)}^T$  的一些元素来自  ${\prod }_{i=l}^{L-1}(W^i{)}^T$   如果L-l很大，最终得到的梯度的值非常大

M = torch.normal(0, 1, size=(4, 4))
print('一个矩阵 \n', M)
for i in range(100):
    M = torch.mm(M, torch.normal(0, 1, size=(4, 4)))

print('乘以100个矩阵后\n', M)

梯度爆炸的问题

1. 超出值域（infinity）:对于16位浮点数尤其严重（数值区间为：6e5 - -6e4）
2. 对学习率非常敏感
   • 学习了太大 -> 大参数值 ->更大的梯度
   • 学习率太小 -> 训练无进展
   • 需要在训练的过程中不断调整学习率

---

2.2 梯度消失

使用sigmoid作为激活函数：
$$\sigma (x)=\frac{1}{1-e^x}\text{\hspace{1em}(5)}$$
sigmoid激活函数的导数为：
$${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))\text{\hspace{1em}(6)}$$

${\prod }_{i=l}^{L-1}\frac{\partial h^{i+1}}{\partial h^i}={\prod }_{i=l}^{L-1}diag({\sigma }^{\prime }(W^l{h}^{l-1}))(W^l{)}^T$   的元素是L-l个小数值进行乘$$0.8^{100}\approx 2\times 10^{-10}$$

# 下面这是sigmoid激活函数的图像和其导数图像，可以看到sigmoid函数的导数在输入较大的时候输出接近于0
%matplotlib inline
import torch
from d2l import torch as d2l

x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = torch.sigmoid(x)
y.backward(torch.ones_like(x))

d2l.plot(x.detach().numpy(), [y.detach().numpy(), x.grad.numpy()],
         legend=['sigmoid', 'gradient'], figsize=(4.5, 2.5))

梯度消失的问题

1. 梯度值变为0（对16位浮点数非严重）
2. 训练没有进展（无论怎么选择学习率都是没有用的）
3. 对于底层影响巨大
   • 一个模型可能仅仅只有顶层训练得较好
   • 限制了网络的深度

---

2.3总结

1. 当数值过大或者过小的时候都会导致数值问题
2. 常发生在深度模型之中，因为其会对n个数进行累乘

---

如何让训练更加稳定？

1. 让梯度值在合理的范围之内（限制）
2. 将乘法变为加法（梯度计算就会由连乘变为累加）：ResNet，LSTM
3. 归一化（梯度归一化、梯度裁减）
4. 合理的权重初始化和激活函数

---

三、模型初始化和激活函数

目前为止，模型的参数都是根据某种预先指定的分布设计的，我们认为是理所当然的，却忽略了如何作出这些选择的细节。

但是，初始化方案的选择在神经网络学习中起着非常重要的作用，其对保持数值稳定性至关重要。

初始化方案的选择和非线性激活函数的选择相结合，决定了优化算收敛的速度有多块，糟糕的选择会导致我们在训练时遇到梯度爆炸或者梯度消失。

3.1 权重初始化

在合理值的区间随机初始化参数
在训练开始的时候更容易有数值不稳定

• 远离最优解的地方损失函数表面可能很复杂
• 最优解附近比表面会比较平

使用$N(0,0.01)$初始化小网络没有问题，但是不能保证深度神经网络

3.2 让每一层的方差都是一个常数

1. 将每层的输出和梯度都看作随机变量
2. 让它们的均值和方差都保持一致

正向
$$E[h_i^l]=0Var[h_i^l]=a\text{\hspace{1em}(3.1)}$$
反向
$$E[\frac{\partial Loss}{h_i^l}]=0Var[\frac{\partial Loss}{h_i^l}]=b\text{\hspace{1em}(3.2)}$$

Xavier初始化：以多层感知机为例

如果不加上非线性全连接层：该层$n_{\mathrm{i}\mathrm{n}}$输入$x_j$及其相关权重$w_{ij}$，输出由下式给出

$$o_i=\sum _{j=1}^{n_{\mathrm{i}\mathrm{n}}}{w}_{ij}{x}_j\text{\hspace{1em}(3.3)}$$

权重$w_{ij}$都是从同一分布中独立抽取的。此外，让我们假设该分布具有零均值和方差${\sigma }^2$。请注意，这并不意味着分布必须是高斯的，只是均值和方差需要存在。现在，让我们假设层$x_j$的输入也具有零均值和方差${\gamma }^2$，并且它们独立于$w_{ij}$并且彼此独立。在这种情况下，我们可以按如下方式计算$o_i$的平均值和方差：

$$\begin{array}{rl}E[o_i]& =\sum _{j=1}^{n_{\mathrm{i}\mathrm{n}}}E[w_{ij}{x}_j]\\ & =\sum _{j=1}^{n_{\mathrm{i}\mathrm{n}}}E[w_{ij}]E[x_j]\\ & =0,\\ \mathrm{V}\mathrm{a}\mathrm{r}[o_i]& =E[o_i^2]-(E[o_i]{)}^2\\ & =\sum _{j=1}^{n_{\mathrm{i}\mathrm{n}}}E[w_{ij}^2{x}_j^2]-0\\ & =\sum _{j=1}^{n_{\mathrm{i}\mathrm{n}}}E[w_{ij}^2]E[x_j^2]\\ & =n_{\mathrm{i}\mathrm{n}}{\sigma }^2{\gamma }^2.\end{array}\text{\hspace{1em}(3.4)}$$

保持方差不变的一种方法是设置$n_{\mathrm{i}\mathrm{n}}{\sigma }^2=1$。现在考虑反向传播过程，我们面临着类似的问题，尽管梯度是从更靠近输出的层传播的。使用与正向传播相同的推理，我们可以看到，除非$n_{\mathrm{o}\mathrm{u}\mathrm{t}}{\sigma }^2=1$，否则梯度的方差可能会增大，其中$n_{\mathrm{o}\mathrm{u}\mathrm{t}}$是该层的输出的数量。这使我们进退两难：我们不可能同时满足这两个条件。相反，我们只需满足：

$$\begin{array}{r}\frac{1}{2}(n_{\mathrm{i}\mathrm{n}}+n_{\mathrm{o}\mathrm{u}\mathrm{t}}){\sigma }^2=1\text{ 或等价于 }\sigma =\sqrt{\frac{2}{n_{\mathrm{i}\mathrm{n}}+n_{\mathrm{o}\mathrm{u}\mathrm{t}}}}.\end{array}\text{\hspace{1em}(3.5)}$$

这就是现在标准且实用的Xavier初始化的基础，它以其提出者Glorot.Bengio.2010 第一作者的名字命名。通常，Xavier初始化从均值为零，方差${\sigma }^2=\frac{2}{n_{\mathrm{i}\mathrm{n}}+n_{\mathrm{o}\mathrm{u}\mathrm{t}}}$的高斯分布中采样权重。我们也可以利用Xavier的直觉来选择从均匀分布中抽取权重时的方差。注意均匀分布$U(-a,a)$的方差为$\frac{a^2}{3}$。将$\frac{a^2}{3}$代入到${\sigma }^2$的条件中，将得到初始化的建议：

$$U\left(-\sqrt{\frac{6}{n_{\mathrm{i}\mathrm{n}}+n_{\mathrm{o}\mathrm{u}\mathrm{t}}}},\sqrt{\frac{6}{n_{\mathrm{i}\mathrm{n}}+n_{\mathrm{o}\mathrm{u}\mathrm{t}}}}\right)\text{\hspace{1em}(3.6)}$$

尽管上述数学推理中，不存在非线性的假设在神经网络中很容易被违反，但Xavier初始化方法在实践中被证明是有效的。

假设线性的激活函数

假设$$\sigma (x)=\alpha x+\beta \text{\hspace{1em}(3.7)}$$
$$h^{\prime }=W^l{h}^{l-1}and{h}^l=\sigma (h^{\prime })\text{\hspace{1em}(3.8)}$$

那么此层输出的均值和方差可以表示为：
$$E[h_i^l]=E[\alpha h_i^{\prime }+\beta ]=\beta \text{\hspace{1em}(3.9)}$$

$$\begin{array}{rl}Var[h_i^l]& =E[(h_i^l{)}^2]-E[(h_i^l){]}^2\\ & =E[(\alpha h_i^{\prime }+\beta {)}^2]-{\beta }^2\\ & =E[{\alpha }^2(h_i^{\prime }{）}^2+2\alpha \beta h_i^{\prime }+{\beta }^2]-{\beta }^2\\ & ={\alpha }^{2}Var[h_i^{\prime }]\end{array}\text{\hspace{1em}(3.10)}$$

如果说要让激活函数不改变均值和方差，那么：$\beta =0\alpha =1$
那么激活函数就等于本身了

反向一下看看
假设$$\sigma (x)=\alpha x+\beta \text{\hspace{1em}(3.7)}$$
$$h^{\prime }=W^l{h}^{l-1}and{h}^l=\sigma (h^{\prime })\text{\hspace{1em}(3.8)}$$

$$\frac{\partial loss}{\partial h^{\prime }}=\frac{\partial loss}{\partial h^l}(W^l{)}^{T}and\frac{\partial loss}{\partial h^{l-1}}=\alpha \frac{\partial loss}{\partial h^{\prime }}\text{\hspace{1em}(3.11)}$$

$$E[\frac{\partial loss}{\partial h_i^{l-1}}]=0\text{\hspace{1em}(3.12)}$$
$$Var[\frac{\partial loss}{\partial h_i^{l-1}}]={\alpha }^{2}Var[\frac{\partial loss}{\partial h_j^{\prime }}]\text{\hspace{1em}(3.13)}$$

那么 $\beta =0\alpha =1$

3.3 总结

1. 合理的权重初始值和激活函数的选择可以提升数值的稳定性