过拟合overfitting

过拟合通用方法

1.收集更多的数据

通俗得讲，数据机扩增即需要得到更多的符合要求的数据，即和已有的数据是独立同分布的，或者近似独立同分布的。一般有以下方法：从数据源头采集更多数据复制原有数据并加上随机噪声重采样根据当前数据集估计数据分布参数，使用该分布产生更多数据等

2.通过正则化引入罚项

指的是在目标函数后面添加一个正则化项，一般有L1正则化与L2正则化

3.选择一个参数相对较少的简单模型

4.降低数据的维度

5.DropOut(人工智能)

6.数据集分三类

一般情况下，我们会把数据分成两类，train Data 和 test Data，但是我们为了防止过拟合，可以把数据分成三部分，除了上面两个之外，添加一个validate Data。它其实就是用来避免过拟合的，在训练过程中，我们通常用它来确定一些超参数（比如根据validation data上的accuracy来确定early stopping的epoch大小、根据validation data确定learning rate等等）。那为啥不直接在testing data上做这些呢？因为如果在testing data做这些，那么随着训练的进行，我们的网络实际上就是在一点一点地overfitting我们的testing data，导致最后得到的testing accuracy没有任何参考意义。

7.early stopping

对模型进行训练的过程即是对模型的参数进行学习更新的过程，这个参数学习的过程往往会用到一些迭代方法，如梯度下降（Gradient descent）学习算法。Early stopping便是一种迭代次数截断的方法来防止过拟合的方法，即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合。

Early stopping方法的具体做法是，在每一个Epoch结束时（一个Epoch集为对所有的训练数据的一轮遍历）计算validation data的accuracy，当accuracy不再提高时，就停止训练。这种做法很符合直观感受，因为accurary都不再提高了，在继续训练也是无益的，只会提高训练的时间。那么该做法的一个重点便是怎样才认为validation accurary不再提高了呢？并不是说validation accuracy一降下来便认为不再提高了，因为可能经过这个Epoch后，accuracy降低了，但是随后的Epoch又让accuracy又上去了，所以不能根据一两次的连续降低就判断不再提高。一般的做法是，在训练的过程中，记录到目前为止最好的validation accuracy，当连续10次Epoch（或者更多次）没达到最佳accuracy时，则可以认为accuracy不再提高了。此时便可以停止迭代了（Early Stopping）。这种策略也称为“No-improvement-in-n”，n即Epoch的次数，可以根据实际情况取，如10、20、30……

sklearn过拟合方法

1.learning_curve()：这个函数主要是用来判断（可视化）模型是否过拟合的

2. validation_curve()：这个函数主要是用来查看在参数不同的取值下模型的性能