第二章 模型评估与评估

2.1 经验误差与过拟合

err=错误的数据数目/总的数据数目；acu=1-err

过拟合：参数过多，学习的数据太少，导致过拟合；欠拟合：学习能力不足（简而言之）

2.2 评估方法

   如何评估一个模型的性能 ？通过不同的数据集进行评估。方式有如下：

  2.2.1 留出法

    把数据集分成两部分，一部分用来训练，一部分用来测试集（数据采集的时候尽可能保持数据的一致性）

2.2.2 交叉验证法

把数据集平均分成10分，使用其中的9分用来做为训练集，剩余的一份用来做验证集；

2.2.2 自助法

自助法就是用有放回的重新采样进行挑选数据集。假如数据集中有100数据样本，在样本中抽取一个样本，放回，一直抽取100次，组成一个数据集。里面的数据可能有重复的数据。=  大概有0.368的数据是没有被采集到。

2.2.4 调参与最终模型

 大多数模型的参数比较多，调节起来比较困难。基于验证集的性能进行模型选择和调参。

2.3 性能度量

 回归任务：使用的损失函数是均方误差

2.3.1 错误率与精度

E(f;D)=   精度（acc）=1-err

2.3.2 查准率、查全率与F1

查准率P=     所有分类数据中，正确的数据中有多少是真的正确

 查全率R=  在分类数据中，所有正确数据中有多少是正确的

P-R曲线的绘制：

1.对预测的结果进行排序

2.逐个把样本作为正例进行预测，每次计算出当前的查准率与查全率。

3.如何比较模型性能？计算包围的面积。

F1度量 F1=

 

2.3.3 ROC 与AUC曲线