机器学习中评估指标-周志华《机器学习》笔记

准确率，召回率，F1

问题环境：
挑出来的西瓜有多少比例是好瓜
好瓜中有多少被挑出来了

混淆矩阵可以这么解读：
第一个字母表示我预测的结果对还是错，T就是true，F就是false；
第二个字母表示，我预测的是什么正P(positive)还是负(negative);
矩阵对角线上的是我预测对的
- 查准率，准确率，precision
挑出来的瓜（我预测是好瓜）中真实为好瓜的比例，这样才能判断我预测的准确率是多少嘛

TPTP+FP T P T P + F P

分母是预测结果中第一列，正例的和
- 查全率，召回率，recall
好瓜中有多少被我正确挑出来了

TPTP+FN T P T P + F N

-从文式图理解
从七月在线的机器学习课中推荐系统，roc的解释更好理解，如下图

- 查准率和查全率的关系
这两个是一对矛盾的度量。一般不能兼顾。
现在想提高查准率，那么我就只把我预测是好瓜的才拿出来，结果就是准确率上来了，因为我为了保险，只预测了1个，准确率100%，但是还有那么多好瓜，加入还有99个没有预测出来，查的不全啊；如果想提高，查全率，比如挑出来100个瓜都认为是好的，但是只有50个真的是好瓜，查全率为50%，但是准确率下降了。
- F1 F 1
在一些具体场景下，对recall和precision的需求不一样；
比如在推荐系统中，尽可能希望少打扰用户，因此更在意准确率；
在逃犯信息检索中，不漏掉嫌疑人，更注重查全率；
在医生检查患者场景下，健康：患者=100：1，如果想提高准确率，怎么做？其实，这种场景下考虑的是查全率，所以不会有提高准确率这种要求了。

2∗P∗PPrecision+Recall 2 ∗ P ∗ P P r e c i s i o n + R e c a l l

上述公式，更注重较小值

ROC曲线

很多情况，ml产生的结果是概率预测，然后定一个阀值来判断正负类别，实际上，根据这个概率预测，可以对测试样本进行排序，最可能的正类排在最前面，最不可能的正类排在后面。这里统一说正类，因为我们设定就是要预测它是正类的概率大小嘛～
ROC体现了一般情况下模型的泛化能力好坏

别忘了，起初，我们是要预测这个样本为正类的概率，那么我们的预测结果就有真正率（recall），假正率。
- ROC曲线绘制过程
给 m+ m + 个正例， m− m − 个负例，根据模型预测结果，对样例进行排序，然后先把阀值设置为最大，此时认为所有的都是负例，此时真正率，假正率都是0，即（0，0）。
然后将分类阀值依次设定为每个样例的预测值，即依次将每个样本划分为正例。设前一个标记点为(x，y)，若当前的样本为真正例，对应标记点更新为 (x+1m− ,y) ( x + 1 m −   , y ) ,若当前的样本为假正例，对应标记点更新为 (x,y+1m+) ( x , y + 1 m + ) ,然后用线段连接相邻点。