深度学习基础之过拟合、欠拟合问题和正则化

引自《统计学习方法》李航， 当假设空间含有不同复杂度（例如，不同的参数个数）的模型时，就要面临模型选择的问题。我们希望选择或学习一个合适的模型。如果在假设空间中存在’真’模型，那么所选的模型应该逼近真模型。 具体地，所选的模型要与真模型参数个数相同，所选的模型的参数向量与真模型的参数向量相近。

1. 过拟合

过拟合现象：模型对已知数据预测的很好，对于未知数据预测很差的现象（训练集效果好，在测试集和验证集效果差）。

背后的原理：如果一味的追求对训练数据的预测能力，所选的模型复杂度往往会比真模型的复杂度更高。（李航-统计学习方法的说法）

  从模型复杂度角度来说：模型过于复杂，把噪声数据也学习进去，导致模型泛化性能下降。

  从数据集角度来说：数据集规模相对于模型复杂度来说太小，使得模型过度挖掘数据集中的特征。

解决过拟合常用方法：

1. 增加数据集；数据增强，扩充数据，生成对抗网络合成新数据。
2. 正则化方法：BN和dropout
   1. 添加BN层，Bn在一定程度上能够提高模型泛化性。
   2. dropout，随机隐藏一些神经元，因此训练过程中不会每次都更新。
3. 降低模型复杂度，可以通过减少网络层数，改用参数量更少的模型；
4. 降低训练的轮数，（也叫early stopping，即在模型训练数据集迭代收敛之前停止迭代，来防止过拟合。）做法：每个epoch，记录最好的结果。当连续十个epoch，在测试集上的准确率没有提高，那就说明，模型可以截断了。
5. 集成学习方法：把多个模型集成在一起，降低单一模型的过拟合风险。
6. 交叉检验：这个有点复杂，几乎没用过，没有仔细了解。

2. 欠拟合

现象：无论还在训练集还是在测试集中，模型的效果都很差。

原因：

1. 模型过于简单；模型的学习能力较差；
2. 提取的特征不好；当训练的数据中特征不足、现有特征与样本标签的相关性不强时，模型容易出现过拟合。

解决办法：

1. 增加模型复杂度，如在线性模型中更改高此项为非线性模型；在神经网络中增加网络层数或者神经元个数。
2. 增加新特征：可以考虑特征组合等特征工程工作。
3. 如果损失函数中加了正则项，可以考虑减小正则项的系数$\lambda$。

3. 正则化

写在前边：什么是正则化，不太好理解；监督学习的两个基本策略：经验风险最小化和结构风险最小化；假设样本足够多，那么认为经验风险最小的模型就是最优的模型；当样本容量很小的时候，经验风险最小化学习到的效果未必很好，会产生过拟合的现象；而结构风险最小化（等价于正则化）就是为了防止过拟合而提出来的。

  正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。
正则化项一般有如下形式：

$$\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$

其中第一项是经验项，第二项是正则化项。$\lambda$为调整两者之间的系数。

  第一项的经验风险较小的模型可能较复杂（有多个非零参数），这时第二项的模型复杂度会较大。正则化的作用是选择经验风险与模型复杂度同时较小的模型。

参考：李航《统计学习方法》 p18;