MIoU（均交并比）的计算

1 交并比（Intersection over Union，IoU）

1.1 传统 IoU

公式：${\mathrm{S}}_{\mathrm{A}\cup \mathrm{B}}={\mathrm{S}}_{\mathrm{A}}+{\mathrm{S}}_{\mathrm{B}}-{\mathrm{S}}_{\mathrm{A}\cap \mathrm{B}}$

1.2 语义分割中的IoU

  语义分割问题中的两个集合为：真实值（ground truth）和预测值（predicted segmentation）。这个比例可以变形为正真数（intersection）比上真正、假负、假正（并集）之和。在每个类上计算IoU，之后平均。

1.3 语义分割中的MIoU

  均交并比（Mean Intersection over Union，MIoU）：语义分割的标准度量，计算所有类别交集和并集之比的平均值。

2 MIoU 的计算

2.1 MIoU 的计算

  以pascal数据集为例，其包含 21个 类别, 分别对每个类别求 $IoU$ 。令 $k$ 表示类别 $(k+1)$ 表示加上了背景类，$i$ 表示真实值，$j$ 表示预测值，$p_{ij}$ 表示将 $i$ 预测为 $j$，则某一类别的 $MIoU$ 可按如下方式计算：
$$MIoU=\frac{1}{k+1}\sum _{i=0}^k\frac{p_{ii}}{{\sum }_{i=0}^k{p}_{ij}+{\sum }_{i=0}^k{p}_{ji}-p_{ii}}$$
其中，$p_{ij}$ 将 $i$ 预测为 $j$，为假负（FN）；$p_{ji}$ 将 $j$ 预测为 $i$，为假正（FP）；$p_{ii}$ 将 $i$ 预测为 $i$，为真正（TP）。因此，可等价于

（正类：类别 $i$, 负类：非类别 $i$）
TP（真正）: 预测正确, 预测结果 = 真实 = 正类 ；
FP（假正）: 预测错误, 预测结果 = 正类 $\ne$ 真实 = 负类；
FN（假负）: 预测错误, 预测结果 = 负类 $\ne$ 真实 = 正类；
TN（真负）: 预测正确, 预测结果 = 负类 = 真实 = 负类；

$$MIoU=\frac{1}{k+1}\sum _{i=0}^k\frac{TP}{FN+FP+TP}$$
$MIoU$ ：计算两圆交集（橙色部分）与两圆并集（红色+橙色+黄色）之间的比例，理想情况下两圆重合，比例为 1。

2.2 MIoU 计算实例

步骤 1：求混淆矩阵

混淆矩阵：表示预测值和真实值之间的差距的矩阵，形式如下
$$\left[\begin{array}{lc}TP（真正）& FN（假负）\\ FP（假正）& TN（真负）\end{array}\right]$$

步骤 2：计算 MIoU

混淆矩阵的每一行（FN+TP）再加上每一列（FP+TP），最后减去对角线上（TP）的值：
$$MIoU=\frac{1}{k+1}\sum _{i=0}^k\frac{第i个对角线上的值}{第i行的值+第i列的值-第i个对角线上的值}$$

计算 MIoU 例子源码

【参考】

1. 语义分割代码阅读—评价指标mIoU的计算；
2. 语义分割指标计算之miou（交并比）；
3. 混淆矩阵是什么意思？