数据挖掘: overfitting 过拟合情况 整理

First: 

过度拟合（overfitting）是指数据模型在训练集里表现非常满意，但是一旦应用到真实业务实践时，效果大打折扣；

换成学术化语言描述，就是模型对样本数据拟合非常好，但是对于样本数据外的应用数据，拟合效果非常差。

在我们数据分析挖掘业务实践中，就是“模型搭建时表现看上去非常好，但是应用到具体业务实践时，模型效果显著下降，包括准确率、精度、效果等等显著下降”。

过拟合的第一个原因，就是建模样本抽取错误，包括（但不限于）样本数量太少，抽样方法错误，抽样时没有足够正确考虑业务场景或业务特点，等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景；


过拟合的第二个原因，就是样本里的噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系；


过拟合的第三个原因，就是在决策树模型搭建中，如果我们对于决策树的生长没有合理的限制和修剪的话，决策树的自由生长有可能每片叶子里只包含单纯的事件数据(event)或非事件数据（no event），可以想象，这种决策树当然可以完美匹配（拟合）训练数据，但是一旦应用到新的业务真实数据时，效果是一塌糊涂。


过拟合的第四个原因，就是建模时的“逻辑假设”到了模型应用时已经不能成立了。任何预测模型都是在假设的基础上才可以搭建和应用的，常用的假设包括：假设历史数据可以推测未来，假设业务环节没有发生显著变化，假设建模数据与后来的应用数据是相似的，等等。如果上述假设违反了业务场景的话，根据这些假设搭建的模型当然是无法有效应用的。


过拟合的第五个原因，就是建模时使用了太多的输入变量，这跟上面第二点（噪音数据）有些类似，数据挖掘新人常常犯这个错误，自己不做分析判断，把所有的变量交给软件或者机器去“撞大运”。须知，一个稳定优良的模型一定要遵循建模输入变量“少而精”的原则的。


上面的原因都是现象，但是其本质只有一个，那就是“业务理解错误造成的”，无论是抽样，还是噪音，还是决策树，神经网络等等，如果我们对于业务背景和业务知识非常了解，非常透彻的话，一定是可以避免绝大多数过拟合现象产生的。因为在模型从确定需求，到思路讨论，到搭建，到业务应用验证，各个环节都是可以用业务敏感来防止过拟合于未然的。

过拟合的产生，原因种种，不一而足，但是这种分类和剖析只是人为的方便而已，防止过拟合的终极思路就是真正透彻理解业务背景和业务逻辑，有了这个根本，我们一定可以正确抽样，一定可以发现排除噪声数据，一定可以在决策树、神经网络等算法中有效防止过拟合产生的。


当然，除了上面“业务透彻了解”这个根本外，也有一些技术层面的方法来防止过拟合的产生，虽然是“术”的层面，但是很多人热衷于这些技巧，所以，在这里也顺便列举如下：


最基本的技术手段，就是合理、有效抽样；包括分层抽样，过抽样，等等，用不同的样本去检验模型；


另外，事前准备几个不同时间窗口，不同范围的测试数据集、验证数据集，把模型在不同的数据集里分别“交叉检验”，是目前业界防止过拟合的最常用的手段了；


第三，建模时目标观测值的数量太少，如何分割训练集和验证集的比例，需要建模人员灵活掌握；


第四，如果数据太少的话，谨慎使用神经网络模型，只有足够多的数据的情况下，神经网络模型才可以有效防止过拟合的产生。并且，使用神经网络时，一定要事先有效筛选输入变量，千万不能一股脑把所有变量放进去。

Second: 

防止过拟合以及解决过拟合

过拟合：为了得到一致假设而使假设变得过度复杂称为过拟合。“一个过配的模型试图连误差（噪音）都去解释（而实际上噪音又是不需要解释的），导致泛化能力比较差，显然就过犹不及了。” 这句话很好的诠释了过拟合产生的原因，但我认为这只是一部分原因，另一个原因是模型本身并不能很好地解释（匹配）数据，也就是说观测到的数据并不是由该模型产生的。“统计学家说：我们让数据自己说话。言下之意就是要摒弃先验概率。而贝叶斯支持者则说：数据会有各种各样的偏差，而一个靠谱的先验概率则可以对这些随机噪音做到健壮。事实证明贝叶斯派胜利了，胜利的关键在于所谓先验概率其实也是经验统计的结果。” 事实上贝叶斯本身就是一个基于统计的模型……然而，文中以树后的箱子为例，阐述似然也有选择简单模型的倾向。我对此有疑义。似然是选择与观测最匹配的结果。根据当前的观测结果，显然一个箱子的模型是最符合观测的，也就是说，如果树两边的箱子高矮不一，颜色不同，那么两个箱子的模型就是最匹配的。因此，似然只是选择与观测最匹配的模型，而并没有选择简单模型的倾向。否则，就不会有那么严重的过拟合现象发生。文中还提到：“反之，如果背后的模型是一条直线，那么根据该模型生成一堆近似构成直线的点的概率就大得多了。” 这里的表述有问题，既然已经把模型看成是直线了，那么根据直线模型生成一堆近似构成直线的点的概率是接近1的。同理，我们既然已经认为可以用N-1阶模型去拟合，那么根据N-1阶模型生成的N个点当然就是符合N-1阶模型的，而不需要她去符合直线。 那么问题究竟应该怎样描述呢？ 根据作者的意思问题应该这样来描述，一个多项式在平面上随机生成的一堆 N 个点偏偏恰好近似构成一条直线的概率很小很小，然而一条直线在平面上随机生成的一堆N个点（考虑随机误差）能拟合成一个N-1阶曲线的概率是1（一定能用一个N-1阶多项式来拟合）。换句话说，曲线上（N-1阶多项式）随机生成的点能被拟合成直线的概率接近于0，而直线上随机生成的点能被拟合成曲线的概率接近1。因此，若一堆点即能用直线去拟合，也能用N-1阶多项式拟合（必然），那么，他属于直线模型的概率更大。

二. 过拟合的产生
究其原因,产生过拟合是因为：
1.由于对样本数据,可能存在隐单元的表示不唯一,即产生的分类的决策面不唯一.随着学习的进行, BP算法使权值可能收敛过于复杂的决策面,并至极致.
2.权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征.

三.过度拟合解决方法

1.权值衰减. 

在每次迭代过程中以某个小因子降低每个权值,这等效于修改E的定义,加入一个与网络权值的总量相应的惩罚项,此方法的动机是保持权值较小,避免weight decay,从而使学习过程向着复杂决策面的反方向偏

2.适当的停止标准；

3.验证数据

  一个最成功的方法是在训练数据外再为算法提供一套验证数据,应该使用在验证集合上产生最小误差的迭代次数,不是总能明显地确定验证集合何时达到最小误差.

Typically 30% of training patterns;Validation set error is checked each epoch;Stop training if validation error goes up

4.Cross-validation with some patterns
交叉验证方法在可获得额外的数据提供验证集合时工作得很好,但是小训练集合的过度拟合问题更为严重
k-fold交叉方法:把训练样例分成k份,然后进行k次交叉验证过程,每次使用不同的一份作为验证集合,其余k-1份合并作为训练集合.每个样例会在一次实验中被用作验证样例,在k-1次实验中被用作训练样例;每次实验中,使用上面讨论的交叉验证过程来决定在验证集合上取得最佳性能的迭代次数n*,然后计算这些迭代次数的均值,作为最终需要的迭代次数。

5. 减少特征
人工选择，预留一些特征；利用算法选取一些比较好的特征

6. 正则化
这里有点疑问，正则化是为了防止过拟合还是为了解决过拟合。对部分无用的feature，定义其parameter(p3,p4)非常大，这样会导致训练结果w3,w4非常小，几乎为0，降低模型复杂度。这里也有个问题就是lamba很大会导致所有的wi都为0。矩阵分解中经常会用到。