神经网络中的过拟合

定义

过拟合（overfitting）:是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。

具体表现就是模型在训练集上效果好，在测试集上效果差。模型泛化能力弱。

问题

1.拟合的模型一般是用来预测未知的结果，过拟合虽然在训练集上效果好，但是在实际使用时测试集的效果差。
2.机器学习算法为了满足尽可能复杂的任务，其模型的拟合能力一般远远高于问题复杂度，也就是说，机器学习算法有“拟合出正确规则的前提下，进一步拟合噪声”的能力。
3.根本问题：数据太少+模型太复杂。