过拟合、欠拟合

何为拟合？形象的说，拟合就是把平面上一系列的点，用一条光滑的曲线连接起来。因为这条曲线有无数种可能，从而有各种拟合方法。

在机器学习、深度学习建模过程中，我们常见两种情形，一种叫过拟合（over-fitting ）另外一种叫欠拟合（under-fitting）。

看图理解：

过拟合，举个例子：一个男人穿着蓝色的衣服，神经网络可能把是否穿蓝色衣服作为区分男人女人的特征，这就是过拟合。
就是学到了很多没必要的特征，学习的太过了。遇到了新样本这些错误的特征就没有什么用了。所以过拟合就是表现为训练的时候效果很好（因为神经网络已经学到了很多有用没用的特征），但是在测试样本上的效果就很差（有的特征完全没用啊，完全就是为了降低loss而得出来的特征）。至于为什么会产生过拟合，一般是因为参数过多，为了降低loss（神经网络的任务就是为了最小化loss），后者样本过少。总之就是参数/样本的比太大。

欠拟合，比如：建立好一个识别二哈的模型。因二哈被提取的特征比较少，导致训练出来的模型不能很好地匹配，表现得很差，甚至二哈都无法识别。
欠拟合基本上是发生在训练刚开始的时候，学习的太少了。经过不断训练之后欠拟合应该回被完善。如仍存在的话，可以通过增加网络复杂度或者在模型中增加多点特征点，这些都是很好解决欠拟合的方法。

注：以上部分内容引用了博主@Phy_Zhang，@qq_38290367的回答。