西瓜书《机器学习》第二章重点总结（上）

（图片均来自于电子书和B站致敬大神）

1.训练误差：学习器在训练集上的误差，也称为“经验误差”。

2.泛化误差：学习器在测试集上的误差。我们要得到的是泛化误差小的学习器。

3.过拟合与欠拟合：

 4.测试集保留方法：

 留出法的的缺点在于：被评估的模型与用D训练出来的模型可能有较大的差别，会增加误差。

交叉验证法的结果往往更加准确，但在数据集较大时，计算的开销是难以忍受的。

 

自助法：能够减小训练样本不同造成的影响，同时还能比较高效的进行实验估计。自助法在数据集较小，难以有效划分训练/测试集时效果比较好 。然而，自助法产生的数据集改变了初始数据集的分布，这会引入估计偏差。

5.验证集：机器在学习时，在训练集训练之后，到验证集进行反复的验证和调参，最后输出再到测试集进行测试。

6.性能度量：（主要掌握公式，第二图为公式的计算例子）

 

 7.错误率与精确度公式：

 图中的||表示指示函数，在真/假时分别取1/0。

8.查准率和查全率：

举西瓜的例子：“准”：我预测的好瓜中，真正的好瓜越多越好。

                         “全”：把“所有的好瓜”都预测出来，哪怕是“坏”也不管，要的是全。

9.P-R的反向关系原理：

此图也助于区分查准率P和查全率R

 

 10.n个二分类实现的多分类问题（算法公式）：

 11.P-R曲线图：

12.ROC曲线：（TPR为真正例率，FPR为假正例率）