机器学习——周志华（2）

1.错误率、精度、误差

        把分类错误的样本数占样本总数的比例称为"错误率"

        "精度=1 一错误率"

        学习器的实际预测输出与样本的真实输出之间的差异称为"误差" (error) , 学习器在训练集上的误差称为"训练误差" (training error) 或"经验误 差" (empirical error) ，在新样本上的误差称为"泛化误差" (generalization error)

2.过拟合、欠拟合

        当学习器把训练样本学得"太 好"了的时候，很可能巳经把训练样本自身的一些特点当作了所有潜在样本都 会具有的一般性质，这样就会导致泛化性能下降这种现象在机器学习中称为 "过拟合" (overfitting).

        与"过拟合"相对的是"欠拟合" (underfitting) ，这是指对训练样本的一般性质尚未学好.

3.评估方法

        1）留出法

                直接将数据集划分为两个互斥的集合?其中一个集合作为训练集 ，另一个作为测试集在         上训练出模型后，用来评估其测试误差，作为对泛化误差的估计.

                不足：若令训练集S包含绝大多数样则训练出的模型可能更接近于用D训练出的模型，但由于T比较小，评估可能不够 稳定准 ;若令测试集T多包含一些样本，则训练集S与D差别更大了，被评估的模与用D训练出的模型相比可能有较大差别，从而降低了评估结果的保真性。

        2）交叉验证法

        "交叉验证法" (cross alidation) 将数据 D分为k个大小相似的 互斥子集，每个子集Di尽可保持数据分布的一致性，即从D中通过分层采样得到 后，每次用 k-1 子集的并集作为训练集，余下的那个子集作测试集;这样就可获得k组训练/测试集，从而可进行k次训练和测试,最终返回的是k个测试结果的均值.

        k的常用取值是10.

        3）自助法

        给定包含m个样本的数据集D,我们对它进行采样产生数据集 D': 每次随机从D中挑选一个样本 将其拷贝放入 D' 然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采到;这个过程重复执行m次后?我们就得到了包含m个样本的数据集 D' ，这就是自助采样的结果.显然,D中有一部分样本会在 D' 中多次出现，而另一部分样本不出现.可以做一个简单的估计，样本在m次采 样中始终不被采到的概率取极限是0.368，即通过自助来样，初始数据集 中约有 36.8% 的样本未出现在采样数据集 D' 中.于是我们可将 D' 用作训练、集 D\D' 用作测试集。

4.性能度量

       给定样例集D = {(x1,y1),(x2,y2),…,(xm,ym)} ,回归任务最常用的性能度量是"均方误差" ：

        更一般的，对于数据分布 和概率密度函数 p(.) 均方误差可描述为: