【机器学习】模式识别基本概念

• 二类分类

  • 真阳性（TP)
  • 假阳性（FP）
  • 真阴性（TN）
  • 假阴性（FN）

	预测为正/阳性（Positive）	预测为负/阴性（Negative）
真值为正/阳性	True Positive（TP）/真阳性	False Negative（FN）/假阴性
真值为负/阴性	False Positive（FP）/假阳性	True Negative（TN）/真阴性

以新冠疫情举例：

TP：小Q为新冠患者，核酸试剂检测为阳性

FN：小Q为新冠患者，核酸试剂检测为阴性

FP：小Q并不是新冠患者，核酸试剂检测为阳性

TN：小Q并不是新冠患者，核酸试剂检测为阴性

• 准确度（Accuracy）

​ 将阳性和阴性综合起来度量识别正确的程度。
$$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$

举个例子：就以新冠疫情为例，假如有50名阳性患者和50名阴性患者，而核酸试剂只检测出一名阳性患者，其余都检测为阴性。

TP：（真阳性）= 1

FN：（假阴性）= 49

FP：（假阳性）= 0

TN：（真阴性）= 50
$$Accuracy=\frac{1+50}{1+50+0+49}=51\%$$

• 精度（Precision）

​ 预测为阳性样本的准确程度。也称查准率。
$$Preision=\frac{TP}{TP+FP}$$

$$Precision=\frac{1}{1+0}=100\%$$

• 召回率（Recall）

​ 全部阳性样本中被预测为阳性的比例。也称敏感度/查全率。
$$\mathrm{Re}call=\frac{TP}{TP+FN}$$

$$\mathrm{Re}call=\frac{1}{1+49}=2\%$$

通常，精度高，同时召回率高，可以说明模型性能好！

但是，有些情况下，精度和召回率是相互矛盾的（上面那个例子就很好说明！）这时就需要F1Score的指标来分析~

• F-Score

​ 通过加权平均，综合precision和recall。
$$\text{F = }\frac{(a^2\text{ + }1)\times \text{precision}\times \text{recall}}{a^2\times \text{precision + recall}}$$
​ 当a = 1，则得到F1-Score
$$\text{F = }\frac{2\times \text{precision}\times \text{recall}}{\text{precision + recall}}$$

$$F=\frac{2\times 100\%\times 2\%}{100\%+2\%}=3.92\%$$

• PR曲线（Precision-Recall Curve）

  • 横轴：召回率（Recall）
  • 纵轴：精度（precision）
  • PR曲线约往右上凸，说明性能越好。
    

• ROC曲线（Receiver-operating-characteristic curve）

  • 横轴：False positive rate（FPR），所有阴性样本中被错误识别为阳性的比率，FPR = 1 - specificity
  • 纵轴：True positive rate（TPR），所有阳性样本中被识别为阳性的比率，也就是Recall
  • ROC曲线越往左上凸，说明模型的性能越好。
  • 对角线：随机识别的ROC曲线。

$$\text{FPR = }\frac{FP}{FP+TN}$$

$$\mathrm{Re}call=\frac{TP}{TP+FN}$$

• AUC

  • 曲线下方的面积（Area under the Curve）
  • AUC = 1 ：完美分类器
  • 0.5
  • AUC = 0.5：跟随机猜测一样，没有预测价值
  • AUC < 0.5 ：比随机猜测还差