机器学习中常见的评估方法

1、为什么需要做方法评估

通常，我们可通过实验测试来对学习器的泛化误差进行评估并进而做出选择。因此，需使用“测试集”来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”作为泛化误差的近似。

2、有哪些评估方法

将样本集变成训练集和测试集，而训练集和测试集如何分配，使效果达到最优。具体有三种做法：留出法、较差验证法和自主法。

2.1留出法

直接将数据集D划分为两个互斥集合S（训练集）和T（测试集）。D=S∪T,S∩T=∅，在S上训练出模型后，用T来评估测试误差，并将其作为泛化误差的估计。

举例：

采用方法：二分类任务

样本集：D包含1000个样本，其中500个正例，500个反例

S与T的划分方法：S包含700个样本，正例350，反例350；T包含300个样本，正例150，反例150

错误率与精度的计算：假设T上有90个样本分类错误，其错误率为（90/300）*100%=30%；精度为[(300-90)/300]*100%=1-30%=70%

补充：单次使用留出法得到的估计误差往往不够稳定，一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。如对上述1000个样本，可反复随机划分S和T，使用模型方法后，计算精度，求取平均值。

 

2.2交叉验证法

将数据集D划分为k个大小相似的互斥子集，即D=D1∪D2∪…∪Dk,Di∩Dj=∅(i≠j)，每个子集Di都尽可能保持数据分布一致。