如何解决过拟合和欠拟合

欠拟合:

1. 添加其他特征项。组合、泛化、相关性、上下文特征、平台特征等特征是特征添加的重要手段，有时候特征项不够会导致模型欠拟合。
2. 添加多项式特征。例如将线性模型添加二次项或三次项使模型泛化能力更强。例如，FM（Factorization Machine）模型、FFM（Field-aware Factorization Machine）模型，其实就是线性模型，增加了二阶多项式，保证了模型一定的拟合程度。
3. 可以增加模型的复杂程度。
4. 减小正则化系数。正则化的目的是用来防止过拟合的，但是现在模型出现了欠拟合，则需要减少正则化参数。

 

过拟合:

1.重新清洗数据

2.增加样本数量,数据集

3.降低模型复杂程度

4.增大正则化系数

5.加入dropout

6.early stop trainning

7.减少迭代次数

8.增大学习率

9.增加噪声数据

10.决策树中可以进行减枝

11.减少特征