模型评估之过拟合与欠拟合

参考资料

1. 《百面机器学习》

过拟合 v.s. 欠拟合

过拟合是指模型对于训练数据拟合过当，就是在训练集上的表现很好，但在测试集和新数据上的表现较差。

欠拟合指的是模型在训练和预测时表现都不好的情况。

如何降低过拟合风险

1. 获得更多的训练数据。可以通过一定的规则来扩充训练数据，也可以使用GAN来合成大量的新训练数据。

2. 降低模型的复杂度。如减少网络层数、神经元个数等。

3. 正则化方法。如添加L2正则项，dropout层等。

4. 集成学习方法。如Bagging方法等。

如何降低欠拟合风险

1. 添加新特征。当特征不足或现有特征与样本标签的相关性不强时，模型容易出现欠拟合。可以使用因子分解机、梯度提升决策树、Deep-crossing等方法丰富特征。

2. 增加模型复杂度。例如，增加网络层数和神经元个数。

3. 减小正则化系数。