人工神经网络笔记（二）梯度爆炸与消失、批量归一化、过拟合问题

人工神经网络笔记（二）梯度爆炸与消失、批量归一化、过拟合问题

• Gradient exploding and vanishing
• Mini-batch issue
• Over-fitting issue

1、Gradient exploding and vanishing

1.1 模型训练过程

STEP0: 预设超参数

STEP1: 初始化模型参数

STEP2: 重复训练过程（次数为epoch）

STEP3: 保存模型

1.2 梯度爆炸与消失问题

在上图这个简单的神经网络模型中，由链式法则推导，$\frac{\partial l}{\partial w_1}=\frac{\partial l}{\partial h_l}(\frac{\partial h_l}{\partial u_l}\frac{\partial u_l}{\partial h_{l-1}})......(\frac{\partial h_1}{\partial u_1}\frac{\partial u_1}{\partial w_1})=\frac{\partial l}{\partial h_l}(g^{{}^{\prime }}(u_l)w_l)......(g^{{}^{\prime }}(u_1)x)$

若$g^{{}^{\prime }}(u_i)w_i>1$恒成立，那么$|\frac{\partial l}{\partial w_1}|>>1$，出现梯度爆炸（gradient exploding）；

若$g^{{}^{\prime }}(u_i)w_i<1$恒成立，那么$|\frac{\partial l}{\partial w_1}|<<1$，出现梯度消失（gradient vanishing）；

1.3 梯度爆炸的解决方案

若$g^{{}^{\prime }}(u_i)w_i>1$恒成立，出现梯度爆炸现象，使得训练过程不稳定，为了避免此类情况的发生，需要保证：$|g^{{}^{\prime }}(u_i)|<=1，|w_i|<=1；$

对于$|g^{{}^{\prime }}(u_i)|$，使用激活函数，将范围缩小，其中蓝线代表激活函数曲线，绿线代表其导函数曲线：

对于$|w_i|$，初始化权重时设置值不要超过1，同时在训练过程中做标准化处理，保证$|w_i|<=1$

1.4 梯度消失的解决方案

若$g^{{}^{\prime }}(u_i)w_i<1$恒成立，出现梯度消失现象，使得训练过程极为缓慢，为了避免此类情况的发生，需要保证：$|g^{{}^{\prime }}(u_i)w_i|$不能过小；

对于$|g^{{}^{\prime }}(u_i)|$，当$|u_i|>0$使用ReLU激活函数；当$|u_i|>>1$，使用Sigmoid或tanh激活函数；

对于$w_i$，初始化过程：$w_i\in N(0,{\sigma }^2)或U(-a,a)$,同时在训练过程中做标准化处理；

1.5 权重初始化：Xavier’s method

Xavier’s method’ goal：为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等；

如图是$l$层的网络结构，我们假设$g(u_l,k)$大致是$u_{l,k}$的线性组合，那么在$l$层，$h_{l,k}=\sum h_{l-1,j}{w}_{j,k}$；

根据上述公式，$Var(h_{l,k})={\sum }_{j=1}^{n}Var(h_{l-1,j})Var(w_{j,k})\approx nVar(h_{l-1})Var(w)$;

为了保证$Var(h_{l,k})\approx Var(h_{l-1})$，则$nVar(w)=1，Var(w)=\frac{1}{n}$;

类似地，考虑后向传播过程：$Var(w)=\frac{1}{m}$;

由于输出层和输出层的数量常常不同，作为妥协，得到：$Var(w)=\frac{2}{m+n}$;

基于$E(w)=0，Var(w)=\frac{2}{m+n}$，可从Gaussian distribution中采样，或从uniform distribution$U[-\frac{\sqrt{6}}{\sqrt{m+n}}，+\frac{\sqrt{6}}{\sqrt{m+n}}]$中采样；

1.6 权重初始化：He’s method

基于$E(w)=0，Var(w)=\frac{2}{n}$，可从Gaussian distribution中采样，或从uniform distribution$U[-\frac{\sqrt{6}}{\sqrt{n}}，+\frac{\sqrt{6}}{\sqrt{n}}]$中采样；

2、Batch normalization

训练过程采用随机的批量数据，然而，不同的批量数据往往具有不同的分布，一个小批的分布随着时间的推移而改变一层，每层都需要不断地适应新的数据的分布：

为此，我们需要让不同的小批量输入有相似的分布，即批量归一化(Batch normalization)，

对任意的{$x_n$}的每个维度进行规范化：

${\hat{x}}_k=\frac{x_k-E(x_k)}{\sqrt{Var(x_k)+ϵ}}$

这种规范化使得所有小批量数据具有相同的分布，但是降低了数据携带的信息的多样性和表达能力，需要在训练完成后进行数据的恢复：

$y_k=\gamma {\hat{x}}_k+{\beta }_k=B{N}_{{\gamma }_k,{\beta }_k}(x_k)$

完成BN操作后的mini-batch分布如下：

在预激活时进行BN操作，得到更准确的结果：

3、Overfitting issue

3.1 过拟合的定义

模型在训练集上的准确度过高，导致它的泛化能力不强，不能准确地反应新数据的情况（过犹不及），例如图中红色虚线所示；

3.2 如何阻止过拟合

（1）提前终止训练

当模型在验证集（Validation Set）上的预测错误没有减少时，停止训练；

（2）正则化：引入LP范数

当模型参数过少时，如灰线，造成更大的训练损失；

当模型参数过多时，如红线，造成过拟合问题；

因此，需要在过拟合与误差之间进行折中权衡，得到较好的结果，为此，引入LP范数；

LP正则化过程：

$L(\theta )=\frac{1}{N}{\sum }_{n=1}^{N}l(y_n,f(x_n;\theta ))+\lambda ||\theta |{|}_p$

其中，$||\theta |{|}_p=({\sum }_i|{\theta }_i{|}^p{)}^{\frac{1}{p}}$；$\lambda$是超参数，用于平衡两组损失值；

当$p=2$，会导致$\theta$不断地减小；

当$p=1$，会导致$\theta$中权重分量趋于0；

（3）正则化：Dropout

在训练过程中，每个神经元以概率$p$保留，因此不同mini-batch可以训练出不同结构的神经网络；

左图是一般情况下的神经网络，右图为使用dropout之后的情况，可以看到一部分神经元未参与训练；

在测试过程中，每个神经元都保留，但神经元上的权重$w$以$p$为概率衰减，替换为$pw$；

Dropout工作原理：

• 在训练过程中，每个保留的神经元都致力于在缺少某些其他神经元帮助的情况下完成任务；

• 在测试过程中，权重以$p$衰减，相当于训练过程中以$p$为概率保留神经元；

• 缺陷：比一般过程多耗费2-3倍时间用于训练；