图像分割领域的评价指标

这些天刚开始接触视频目标分割（VOS），调研了一下视频分割领域的评价指标，做个小总结。

语义分割

1.Intersection over Union（IoU）

交并比，指的是预测部分和ground-truth的交集比上并集，是评价图像分割好坏的根本指标。IoU也叫Region Jaccard(J)。
$$IoU=\frac{target\bigcap prediction}{target\bigcup prediction}$$

2.Pixel-Accuracy

像素精度，预测正确的像素占ground-truth的比例，很多比赛常用的指标，但是有一定的局限性。如果分割的目标过小的话，PA可能会一直处在一个较大的值。
$$PA=\frac{TP+TN}{TP+TN+FP+FN}$$

实例分割

1.Precision（P）

分割实例物体的精确度，也就是正确预测部分占预测部分的比例。
$$Precision=\frac{TP}{TP+FP}$$

2.Recall（R）

召回率，也就是正确预测部分占ground-truth的比例。
$$Recall=\frac{TP}{TP+FN}$$

3.Contour Accuracy (F)

轮廓精度，也叫Boundary F measure (F)。将mask的边界轮廓精确度P和召回率R结合在一起组成，体现了实例分割的综合得分。
$$F=\frac{(1+{\beta }^2)PR}{{\beta }^{2}P+R}$$
一般取 β 等于1，则有
$$F=\frac{2PR}{P+R}$$
有关VOS的比赛有YouTube-VOS、DAVIS、VOT、OTB等，每个比赛的评价指标都相近却又不大相同。Youtube-VOS和DAVIS用的指标一致，为IoU和F。VOT除了IoU外，还有跟丢率，追踪速度等。VOT还有时间鲁棒性和空间鲁棒性的指标。

Reference：

1. https://www.jeremyjordan.me/evaluating-image-segmentation-models/
2. Perazzi, F., Pont-Tuset, J., McWilliams, B., Van Gool, L., Gross, M., SorkineHornung, A.: A benchmark dataset and evaluation methodology for video object segmentation. In: CVPR.