模型评估

机器学习模型评估

通常，我们需要对机器学习模型进行评估，量化其泛化能力，这里分为评估方法和评估指标。

评估方法

留出法（hold-out）

直接将数据集划分为两个互斥的集合，划分时要尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。可以采用“分层采样”（stratified sampling）来保证数据的分布均匀。其次，留出法得到的结果往往不稳定，因此需要重复多次随机划分、独立实验，然后取平均值作为评估结果。

交叉验证（cross validation）

也是比较常用的模型评估方法，将数据集划分为K个互斥集合，每个子集尽可能保持了数据分布的一致性，即是通过分成采样得到的。然后，每次使用K-1个集合作为训练集，剩下的1个集合作为测试集，因此，会训练K个模型，得到K个结果。交叉验证的结果稳定性和保真性很大程度上取决于K的取值，当K为10时，我们称为K折交叉验证。

自助法（bootstrapping）

给定数据集D，对其采样产生数据集A，每次随机从D中挑选一个样本，放入A，然后再将该样本放回初始数据集D中，使得该样本再下次采样时仍有可能被采到；重复执行M次后，就得到了包含M个样本的数据集。自助法再数据集较小，难以有效划分训练、测试集时有用。

评估指标

精确度和错误率

精确度和错误率是分类任务中最常用的两种性能度量，错误率是分类错误的样本数占总样本数的比例，精度是分类正确的样本数占样本总数的比例，两者之和等于1。

准确率和召回率

精确度和错误率并不能满足所有任务需求。比如，我们想要知道预测出的正例到底有多少是正例？或者，有多少正例被预测出了？我们往往更加关注于预测出的我们想要的结果。准确率和召回率是一对矛盾的度量，准确率越高，召回率往往越低。

ROC和AUC

很多学习器都是基于一个阈值来划分正例和反例的。ROC全称是“受试者工作特征”（Receiver operating characteristic）曲线。根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例作为预测，每次计算出两个重要的值，分为以它们为横纵坐标，就得到了ROC曲线。横轴是“假正例率”（False Positive rate），纵轴是“真正例率”（True Positive rate），两者也是一对矛盾的度量。AUC（Area under curve）是ROC曲线与横轴和右轴包围区域的面积，是衡量模型泛化化能力的一个指标。