机器学习-模型评估和选择

机器学习模型评估：灵敏度、特异性、F分数

评价分类器性能的度量

分类器评估度量包括准确率（又称“识别率”）、敏感度（或称为召回率recall）、特效性、精度（precision）F1和FΒ。

度量	公式
准确率、识别率	TP+TNP+N
错误率、识分类率	FP+FNP+N
敏感度	TPP
特效性、真负例率	TNN
精度	TPTP+FP
F分数	2∗precision∗recallprecision+recall
Fβ	(1+β2)∗precision∗recallβ2∗precision+recall

TP:被分类器正确分类的正元组；
TN：被分类器正确分类的负元组；
FP：被错误的标记为正元组的负元组；
FN：被错误标记为负元组的正元组。

混淆矩阵表示

灵敏性

SN=TPP

特异性

SP=TNN

精度和召回率

precision=TPTP+FP

Recall=TPTP+FN

k倍交叉验证

初始数据随机划分为k个互不相交的自己，每个自己的大小大致相等。训练和检验进行k次。在第i次迭代，分区Di用做检验集，其余的分区一起用作训练模型，

ROC曲线

小结

• 混淆矩阵可以用来评估分类器的质量。
• 显著性检验和ROC曲线对于模型选择是有用的。显著性检验可以用来评估两个分类器准确率的差别是否处于偶然。ROC曲线绘制一个或多个分类器的真阳率（或灵敏性）与假阳率（或1-sp）。
• 组合方法可以通过学习和组合一系列个体基分类模型提高总体的准确率。装袋bagging、提升boosting和随机森林randomForest都是流行的组合方法。