2018-07-12课程笔记（3）

Evaluating Classification and Predictive Performance

评估识别与预测的效果

经典（简单原始）的分类识别器（classifier）评估方法：

对判断数据的分类

判断数据的分类：

1)TP（0，0）(True Positive):分类器判断为Positive且判断正确
2)TN（0，1）(True Negative):分类器判断为Negative且判断正确
3)FP（1，0）(False Positive):分类器判断为Positive,判断错误
4)FN（1，1）(Flase Negative):分类器判断为Negative,判断错误

最简单的错误率评估方法：

简单方法

G-mean准确率评估：判断正确状态的数量/所有该状态的数量

G-mean

ACC+

ACC-

F-measure准确率评估（用于搜索引擎）：判断正确状态的数量/所有判断为该状态的数量

F-measure

Precision

Recall

准确率评估参数

1）Sensitivity: % (or proportion) of “C1” class correctly classified

2）Specify: % of “C0” class correctly classified

3)TPR(True Positive Rate)=TP/(TP+FN)

4)TNR(True Negative Rate)=TN/(TN+FP)

---

ROC曲线

ROC曲线

---

Cutoff for Classification

一般，数据挖掘算法的验证调教分为两步：

1. Compute probability of belonging to class “1”
2. Compare to cutoff value, and classify accordingly
   （简单说就是设定一个分界值参数（根据具体的算法）将数据分为两块，调整分界值，寻找可以最佳的把所需信息提取识别出来的分界值参数）

Lift&Decile Charts（等分图）：

作用1：直观看到算法为classification带来的提升比例

提升比例

作用2：找到该算法对于什么规模的数据有最大效果：

规模匹配

---

判断值（Positive&Negative）的不同对于主题的加权影响

有些情况下，判断的结果是有不同权值的（如癌症诊断，错误判断为没有病，则付出的代价很大）

---

对训练集的超采样方法

数据分为response(数据量较少)与non-response(数据量较多)
1）将respones与non-response分离为两个集合（strata）
2）随机在两个集合取数据作为训练集(training set),一般取response中的一半数据，取non-response中的等量数据
3）剩余的response放到validation集合中
4）non-response按照原来的与response的比例随机取值放到validation set
5）之后生成test set，即在validation set中随机取样