模型评估

过拟合

很可能巳经把训练样本自身的一些特点当作了所有潜在样本都
会具有的一般性质，这样就会导致泛化性能下降。

评估方法

通过实验测试来对学习器的泛化误差进行评估并进而做出选择 ，为此， 需使用一个 "测试集" (testing set) 来测试学习器对新样本的判别能力。

留出法

将数据集 D 划分为两个互斥的集合?其中一个集合作为训练集S ，另一个作为测试集 T， 即 D=SUT，S^T=空。

交叉法

交叉法

自助法

给定包含 m 个样本的数据集 D ， 我们对它进行采样产生数据集 D': 每次随机从 D 中挑选一个样本， 将其拷贝放入 D'。
优点：自助法在数据集较小、难以有效划分训练/测试集时很有用。

性能度量

对学习器的泛化性能进行评估，不仅需要有效可行的实验评估方法，还需要有衡量模型泛化能力的评价标准。

错误率（error）

分类错误的样本占样本总数的比例

精度（accuracy）

精度=1-错误率

| 真实情况 | 预测结果 |
| ------| ------ | ------ |
|| 正例 | 反例|
| 正例 | TP（真正例 True Positive） | FN（假反例 False negative） |
| 反例 | FP （假正例）| TN（真反例） |

准确率也叫查准率（precision）

比如：“检索出的信息中有多少比例是用户感兴趣的”
查准率P=TP/(TP+FP)

召回率也叫查全率（recall）

比如：“用户感兴趣的信息有多少比例被检索出来了”。
召回率R=TP/(TP+FN)
查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低;而查全率高时，查准率往往偏低。

ROC 全称是"受试者工作特征" (Receiver Operating Characteristic) 曲线

ROC 曲线的纵轴是"真正例率" (True Positive Rate，简称 TPR)，横轴是"假正例率" (False Positive Rate，简称 FPR)
TPR=TP/(TP+FN)
FPR=FP/(TN+FP)

AUC (Area Under ROC Curve)

ROC 曲线下的面积，面积越大，模型性能越好

损失（loss）

AUC=1-损失

比较校验

假设检验

假设检验(Hypothesis Testing)是数理统计学中根据一定假设条件由样本推断总体的一种方法。

假设检验