周志华机器学习读后总结 第二章

经验误差与过拟合
      本章主要讲的是如何对我们通过数据训练而成的模型进行评估与选择，自然会逐一介绍很多评估选择的方法，但在此之前我们先需要了解一些概念。

      错误率：如果m个样本中有a个样本分类错误，则错误率是a/m。
      精度：精度就是1-a/m.
      误差：模型的预计输出与样本的真实输出之间的差异。
      训练误差：模型在训练集上的误差。
      泛化误差：模型在新样本上的误差。而我们希望得到泛化误差小的模型，也就是说在新样本能表现的很好的模型。
      过拟合：模型把训练样本学的太好，导致泛化性能下降，就会产生过拟合现象，过拟合不易解决。
      欠拟合：对训练样本的一般性质都没有学好，欠拟合容易解决。

      在现实中，因为我们有许多学习算法、许多参数配置可以选择，就会产生不同的模型。而我们总归要根据我们的需求选择一个最好的模型来用，这就会产生模型选择的问题，当然也会有评估模型的方法。

评估模型方法
      评估模型我们需要一个数据测试集来测试模型对新样本的判别能力，以测试集上的测试误差作为泛化误差的近似，测试集应尽可能与训练集互斥。

留出法
      留出法直接将数据集划分为两个互斥的集合，其中一个集合作为训练集，另一个作为测试集，我们在训练集上练出模型，在测试集上评估测试误差。采样要用分层采样。

交叉验证法
      交叉验证法先将数据集划分为k个大小相似的互斥子集，每次k-1个子集并集作为训练集，余下那个子集作为测试集。采样要用分层采样。

自助法
      给定包含m个样本的数据集D，我们对它采样产生数据集D1：每次随机从D中挑选一个样本，将其拷贝放入D1，然后再将该样本放回初始初始数据集D中，使得该样本在下次采样时仍有可能被采到；这个过程重复执行m次后，我们就得到了包含m个样本的数据集D1。D1用作训练集，D\D1用作测试集。自助法在数据集较小、难以有效划分训练/测试集时很有用。

性能度量
      性能度量是衡量模型泛化能力的评价标准，它反映了任务需求。对比不同模型的能力，使用不同的性能度量往往会导致不同的评判结果。回归任务最常用的性能度量是均方误差，分类任务中最常用的性能度量是错误率和精度。

查准率、查全率与F1
      查准率、查全率是错误率和精度的深化，对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为TP、FP、TN、FN，TP+FP+TN+FN=样例总数。通过以上四项组成的混淆矩阵可以得到查准率P和查全率R，查准率P和查全率R是一对矛盾的度量，由它们可以画出P-R图与平衡点示意图，在图中可以比较学习器的优劣。但一般更常用F1度量来比较。

ROC与AUC
      ROC曲线的纵轴是TPR，横轴是FPR，AUC是ROC曲线下的面积，AUC考虑的是样本预测的排序质量。

代价敏感错误率与代价曲线
      为权衡不同类型错误所造成的不通损失，可为错误赋予非均等代价，在非均等代价下，我们所希望的不再是简单地最小化错误次数，而是希望最小化总体代价。

比较检验
      一些假设检验方法对学习器的性能进行比较，一些检验方法如下：
假设检验、交叉验证t检验、McNemar检验、Friedman检验、Nemenyi后续检验

偏差与方差
      泛化误差可分解为偏差、方差与噪声之和，偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；噪声刻画了学习问题本身的难度。