二、机器学习基础8（模型评估、欠拟合，过拟合）

模型评估

分类模型常用评估方法

回归模型常用评估方法

 

经验误差与泛化误差

误差（error）：一般地，我们把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”
经验误差（empirical error）：也叫训练误差（training error）。模型在训练集上的误差。
泛化误差（generalization error）：模型在新样本集（测试集）上的误差称为“泛化误差”。

欠拟合、过拟合

根据不同的坐标方式，欠拟合与过拟合图解不同。

图中红线表示测试集误差，蓝线表示训练集误差

横轴为训练样本数量，纵轴为误差

模型欠拟合：在训练集以及测试集上同时具有较高的误差，此时模型的偏差较大；
模型过拟合：在训练集上具有较低的误差，在测试集上具有较高的误差，此时模型的方差较大。
模型正常：在训练集以及测试集上，同时具有相对较低的偏差以及方差。

横轴为模型复杂程度，纵轴为误差

模型欠拟合：模型在点 A 处，在训练集以及测试集上同时具有较高的误差，此时模型的偏差较大。
模型过拟合：模型在点 C 处，在训练集上具有较低的误差，在测试集上具有较高的误差，此时模型的方差较大。
模型正常：模型复杂程度控制在点 B 处为最优。

横轴为正则项系数，纵轴为误差

模型欠拟合：模型在点 C 处，在训练集以及测试集上同时具有较高的误差，此时模型的偏差较大。
模型过拟合：模型在点 A 处，在训练集上具有较低的误差，在测试集上具有较高的误差，此时模型的方差较大。
模型正常：模型复杂程度控制在点 B 处为最优。

解决过拟合与欠拟合方法

解决欠拟合：添加其他特征项；添加多项式特征；增加模型的复杂程度；减小正则化系数

解决过拟合：重新清洗数据；增加训练样本数量；降低模型复杂程度；增大正则项系数；采用 dropout 方法；early stoping；减少迭代次数；增大学习率；添加噪声数据；树结构中，可以对树进行剪枝。