分类器评估方法: TP/FP/FN/TN ; TPR/FPR ; ROC curves ; 回归模型评估方法：RMSE(均方根误差); 交叉验证( Cross Validation)

分类器的评估方法（ evaluations measures for classier ）

TP / TN / FP / FN

• True Positive ( TP )
  We predicted as positive and it is indeed positive
• True Negative ( TN)
  We predicted as negative and it is indeed negative
• False Positive ( FP )
  We predicted as positive but it turns out to be negative
• False Negative ( FN)
  We predicted as negative but it turns out to be positive

---

Precision / Recall / F-score

Precision = TP / (TP + FP)

Recall = TP / (TP + FN)

F-score = (2 * Precision * Recall) / (Precision + Recall)

---

TPR / FPR / ACC

• 真阳性率 (TPR, true positive rate) 又称：命中率 (hit rate)、敏感度(sensitivity)，TPR = TP / P = TP / (TP+FN)

  • 代表 预测正确的 实际正实例 占所有正实例的比例。

• 伪阳性率(FPR, false positive rate) 又称：错误命中率，假警报率 (false alarm rate)， FPR = FP / N = FP / (FP + TN)

  • 代表 预测正确的 实际负实例占所有负实例的比例。1-Specificity

• 准确度 (ACC, accuracy) ACC = (TP + TN) / (P + N) 即：(真阳性+真阴性) / 总样本数

下图可以帮助直观的感受一下，横线上方是预测为positive 的（predict as positive）,横线下方是预测为negative 的（predict as negative）， 圆圈里代表他们的真实属性（或者说 actual label 真实标签）

---

ROC curves (Receiver Operating Characteristic 接收器操作特性曲线)

• ROC空间将伪阳性率(FPR)定义为 X 轴，真阳性率(TPR)定义为 Y 轴。

• 给定二元分类模型和它的阈值，就能从所有样本的(阳性/阴性)真实值和预测值计算出(X=FPR, Y=TPR) 座标点。

• 从 (0, 0) 到 (1,1) 的对角线将ROC空间划分为左上/右下两个区域，在这条线的以上的点代表了一个好的分类结果(胜过随机分类)，而在这条线以下的点代表了差的分类结果(劣于随机分类)。完美的预测是在左上角的点，在ROC空间座标 (0,1)点，X=0 代表着没有伪阳性，Y=1 代表着没有伪阴性(所有的阳性都是真阳性)；也就是说，不管分类器输出结果是阳性或阴性，都是100%正确。一个随机的预测会得到位于从 (0, 0) 到 (1, 1) 对角线(也叫无识别率线)上的一个点；最直观的随机预测的例子就是抛硬币。

例子：
让我们来看在实际有100个阳性和100个阴性的案例
(四种分类器，或是同一分类器的四种阈值设定)的结果差异：

---

回归模型的评估方法（ evaluations measures for regression ）

Root Mean Square Error (RMSE 均方根误差)

Cross Validation (交叉验证)

**此验证方法用于无测试数据的情况下，是一种评估方法，并不是评估算法

• 把训练数据集分成5份（也可以是别的分配比例，这里举例而已），每一份数据集记作 a fold of the dataset。 （这5份是有序的哦）

• 把第一份数据集做为验证数据集（ 第一个1/5），剩下的4/5作为训练数据集进行模型训练，然后用验证数据集验证。

• 把第二份数据集做为验证数据集（ 第二个1/5），剩下的4/5作为训练数据集进行模型训练，然后用验证数据集验证

• 第三份。。。第四份。。。第五份。。。如重复环5次后，将这五个评估数据求平均值，得到最终的评估数据