机器学习评价指标(1)——灵敏度(sensitivity)/查准率/召回率(Recall)/和特异度(Specificity)

1. 敏感性和特异性

  • 理想状态:标准或者阈值在分界点
  • 实际状况:漏诊和误诊二者择一

    机器学习评价指标(1)——灵敏度(sensitivity)/查准率/召回率(Recall)/和特异度(Specificity)_第1张图片

若选用绿线作为判断标准,则没有误判一个正常人,但是漏掉了部分患者。这种情况下,特异度最高;

  • 特异度(TNR):true negative rate,描述识别出的负例占所有负例的比例
    计算公式为:TNR= TN / (FP + TN) 。
    特异度越高的意思是,尽可能多地负例判断为负,即将正常人判定为正常人,而不出现误判。所以分子代表的是判断正确的负例,分母为样本真实的负例
    在绿线这里,表示的也就是将所有的正常人(负例)全部判断为负

若选择红线作为判断标准,则没有一个病人被漏诊,但部分正常人得到了错误的结果。在这种情况下,灵敏度最高;

  • 灵敏度(TPR):true positive rate,描述识别出的所有正例占所有正例的比例
    计算公式为:TPR=TP/ (TP+ FN) 。
    灵敏度越高的意思是,尽可能地将正例判断为正,即将病人判断为病人,而不出现漏诊。所以分子代表的是判断正确的正例,分母为样本真实的正例
    在红线这里,表示的是将所有的患者(正例)全部判断为正

注:被误诊的部分叫做假阳率,被漏诊的部分叫做假阴率。

所以,要根据具体的情况,选择适合的判断标准
对于一些预后差,漏诊后果严重,早期诊断可以有效果很好的疾病时,我们就把灵敏度定高一点。不要放过一个病人。梅毒就是这样的疾病,所以,RPR检测的灵敏度高特异度低。
对于一些治疗效果不好,确诊和治疗费用高,或者预后不太严重,或误诊时对病人心理生理和经济上有严重影响的疾病,我们就把特异度定高一点。不要冤枉一个正常人。艾滋病就是这样的疾病。

2. 精准性、查全度和F1值

  • 精准率定义为:P = TP / (TP + FP),表示正样本识别正确的个数 / 模型判断为正样本的个数
  • 召回率定义为:R = TP / (TP + FN),反应的是覆盖度的度量,表示正样本识别正确的个数 / 真实情况下正样本的个数,等价于灵敏度
  • F1值定义为: F1 = 2 P R / (P + R),是上面两个的调和平均数,为了解决准确率和召回率冲突问题而引入

附:精准率和召回率和F1取值都在0和1之间,精准率和召回率高,F1值也会高

参考:
哪个大神能解释一下敏感性和特异性?

你可能感兴趣的:(机器学习(ML),机器学习)