目标检测中的评价指标: Precision、Recall、F-measure、mAP、ROC、AUC、BPR等
参考博文：【机器学习笔记】：一文让你彻底理解准确率，精准率，召回率，真正率，假正率，ROC/AUC_Python数据科学-CSDN博客
一、混淆矩阵
混淆矩阵(Confusion matrix)：
| Actual class | |||
| Positive | Negative | ||
| Predicted class |
Positive | True Positive (TP) | False Positive (FP) |
| Negative | False Negative (FN) | True Negative (TN) | |
True Positive (TP)：将正样本预测为正（真正）
True Negative (TN)：将负样本预测为负（真负）
False Positive (FP)：将负样本预测为正（假正）→ 误报 (Type I error)
False Negative (FN)：将正样本预测为负（假负）→ 漏报 (Type II error)
TP+TN:所有预测正确的样本；FP+FN:所有预测错误的样本
TP+FP:所有预测为正(P)的样本；TN+FN:所有预测为负(N)的样本
TP+FN:所有正样本，即Ground Truth(GT)；TN+FP:所有负样本
TP+TN+FP+FN:所有样本
二、Accuracy、Precision、Recall、mAP、F-measure
1.准确率(Accuracy)：预测正确的样本占总样本的百分比
虽然准确率可以判断总的正确率，但是在正负样本不平衡的情况下，准确率这个评价指标有很大的缺陷。比如在总样本中，正样本占90%，负样本占10%。对于这种情况，只需要将全部样本预测为正样本即可得到90%的高准确率。
2.精确率(Precision)，又称为查准率：被正确预测的正样本占所有检出(预测为正)样本的百分比例，是针对预测结果而言的
3.召回率(Recall)，又称为查全率：被正确预测的正样本占所有正样本(Ground Truth)的比例，是针对原样本而言的
注:Precision和Recall是相互排斥的
4.平均精度(Average Precision, AP)：精确率-召回率曲线(Precision-Recall Curve)下的面积
计算方法：目标检测中的mAP是什么含义？ - 知乎
代码：pycocotools/cocoeval.py
计算流程：
P = TP + FP
N = TN + FN
GT = TP + FN
inference + (nms):
score >= score_threshold --> P(positives、dets)
score < score_threshold --> N(negatives)
evaluate:
iou_threshold = np.linspace(0.5, 0.95, 10) *注意此处的iou_threshold和nms中的iou_threshold含义不同
iou(pred_bbox, gt_bbox) >= iou_threshold --> TP
iou(pred_bbox, gt_bbox) < iou_threshold --> FP
pred_bbox(dt)按score从大到小排序，分高的优先进行匹配。匹配时，给定一个dt，gt逐一与其进行匹配。
5.mAP：对每个class的AP求平均
遥感方向：
1.检出率
2.漏检率、漏警率(Missing Alarm)
3.虚警率(False Alarm)
4.F值(F-measure)：precision和recall的加权调和平均
当β=1时，称为F1-Score
三、Sensitivity、Specificity、TPR、FPR、ROC、AUC
1.灵敏度(Sensitivity)
2.特异度(Specificity)
3.真正率(TPR)
4.假正率(FPR)
5.ROC(Receiver Operating Characteristic，受试者工作特性曲线)
TPR和FPR分别在实际的正样本和负样本中来观察相关的概率问题，所以无论样本是否平衡，都不会被影响。因此ROC曲线选择FPR为横坐标，TPR为纵坐标。我们通过遍历所有score threshold来绘制ROC曲线。不同的score threshold下，预测的正样本和负样本是在不断变化的，相应的在ROC曲线也会不断变化。
详见：目标检测算法之评价标准和常见数据集盘点 - 知乎
6.AUC(Area Under Curve，曲线下面积)
如果连接ROC曲线对角线，它的面积正好是0.5。对角线的实际含义是：随机判断响应与不响应，正负样本覆盖率应该都是50%，表示随机效果。ROC曲线越陡越好，所以理想值就是1，即一个正方形，而最差的随机判断都有0.5，所以一般AUC的值是介于0.5到1之间的。
四、BPR
1.BPR(Best Possible Recalls)
《FCOS: Fully Convolutional One-Stage Object Detection》
BPR is defined as the ratio of the number of ground-truth boxes a detector can recall at the most divided by all ground-truth boxes. A ground-truth box is considered being recalled if the box is assigned to at least one sample (i.e., a location in FCOS or an anchor box in anchor-based detectors) during training.