多标签评价指标

1. 符号系统

记号	含义
$\mathcal{X}$	$d$ 维实例空间 ${\mathbb{R}}^d$ (或 ${\mathbb{Z}}^d$)
$\mathcal{Y}$	标签空间，有 $q$ 种标签 $\{y_1,y_2,\cdots ,y_q\}$
${\mathbf{x}}_i$	$d$ 维特征向量 $(x_1,x_2,\cdots ,x_d{)}^{\top }(\mathbf{x}\in \mathcal{X})$
$Y$	$\mathbf{x}$ 上存在的标签集合 $(Y\in \mathcal{Y})$
$\bar{Y}$	$Y$ 在 $\mathcal{Y}$ 中的补集
$\mathcal{S}$	测试集 $\left\{({\mathbf{x}}_i,Y_i)|1\le i\le p\right\}$
$h(\cdot )$	$h(\mathbf{x})$ 返回对 $\mathbf{x}$ 的预测标签向量
$f(\cdot ,\cdot )$	实值函数 $f:\mathcal{X}\times \mathcal{Y}\to \mathbb{R}$，$f(\mathbf{x},y)$ 返回的是一个向量，其中的值代表标签存在的概率
$ran{k}_f(\cdot ,\cdot )$	$ran{k}_f(\mathbf{x},y)$ 返回根据 $f(\mathbf{x},\cdot )$ 的概率降序排列后，$y$ 的排名
$|\cdot |$	返回集合的基数
$[[\cdot ]]$	如果谓词 $\pi$ 成立，$[[\pi ]]$ 返回 $1$，否则返回 $0$

2. example-based 与 label-based

• example-based：先分别评估 $h(\cdot )$ 对每个测试示例的性能，最后返回在整个测试集上的平均值
• label-based：先分别评估 $h(\cdot )$ 在每个标签上的性能，最后返回在所有标签上的 macro/micro-averaged value

3. example-based

3.1 Subset Accuracy

$$\mathrm{subsetacc}(h)=\frac{1}{p}\sum _{i=1}^p[[h\left({\mathbf{x}}_i\right)=Y_i]]$$

• $[[h\left({\mathbf{x}}_i\right)=Y_i]]$：对一个实例预测出的标签向量和真实的标签向量完全相同，则得 $1$ 分。
• 这实际上是对传统精度的自然推广，当标签向量尺寸非常大时，这个指标是非常严苛的

3.2 Hamming Loss

$$\mathrm{hloss}(h)=\frac{1}{p}\sum _{i=1}^p\frac{\left|h\left({\mathbf{x}}_i\right)\oplus Y_i\right|}{|Y_i|}$$

• $\oplus$：异或，效果是同 $0$ 异 $1$
• $|\cdot |$：返回集合的基数
• 越小越好

示例: 假设有两个样本

• 对样本一的预测值为 $y_{pred}=[0,1,1,0,0]$，真实标签向量为 $y_{true}=[1,0,1,0,0]$，则预测值与真实标签有 $2$ 个值不同，标签向量共有 $5$ 个值，故这里得到 $2/5$
• 对样本二的预测值为 $y_{pred}=[1,1,0,0,0]$，真实标签向量为 $y_{true}=[1,0,1,0,1]$，则预测值与真实标签有 $3$ 个值不同，标签向量共有 $5$ 个值，故这里得到 $3/5$
• 返回 $Hamming\; Loss$ 的值为 $\frac{1}{2}\times (\frac{2}{5}+\frac{3}{5})=\frac{1}{2}$

3.3 Accuracy, Precision, Recall, F

3.3.1 Accuracy

$$Accurac{y}_{exam}(h)=\frac{1}{p}\sum _{i=1}^p\frac{\left|Y_i\cap h({\mathbf{x}}_i)\right|}{\left|Y_i\cup h({\mathbf{x}}_i)\right|}$$

• 越大越好

3.3.2 Precision

查准率，是被预测为正例的样本中，真正的正例所占的比例
$$Precisio{n}_{exam}(h)=\frac{1}{p}\sum _{i=1}^p\frac{\left|Y_i\cap h({\mathbf{x}}_i)\right|}{\left|h({\mathbf{x}}_i)\right|}$$

• 越大越好

3.3.3 Recall

查全率，是真正例中被预测为正例的样本所占的比例
$$Recal{l}_{exam}(h)=\frac{1}{p}\sum _{i=1}^p\frac{\left|Y_i\cap h({\mathbf{x}}_i)\right|}{\left|Y_i\right|}$$

• 越大越好

3.3.4 F

F 值是对查准率和查全率的综合考量，不同场景下查准和查全的重要程度不同，参数 $\beta$ 用来调整查准和查全的权值，当 $\beta$ 为 $1$ 时，退化为标准的 $F_1$ 值
$$F_{exam}^{\beta }(h)=\frac{(1+{\beta }^2)\cdot Precisio{n}_{exam}(h)\cdot Recal{l}_{exam}(h)}{{\beta }^2\cdot Precisio{n}_{exam}(h)+Recal{l}_{exam}(h)}$$

• 越大越好

3.4 One-error

$$one-error\left(f\right)=\frac{1}{p}\sum _{i=1}^p[[\left[\arg \underset{y\in \mathcal{Y}}{\max }f\left({\mathbf{x}}_i,y\right)\right]\notin Y_i]]$$

• $[[\left[\arg \underset{y\in \mathcal{Y}}{\max }f\left({\mathbf{x}}_i,y\right)\right]\notin Y_i]]$：预测的标签向量中，概率最大的那个标签不存在则记 $1$ 分，否则记 $0$ 分
• 越小越好

示例: 假设有两个样本

• 对样本一的预测值为 $y_{score}=[0.3,0.4,0.5,0.1,0.15]$，真实标签向量为 $y_{true}=[1,0,1,0,0]$，则预测值中概率最大的是第 $3$ 个标签，概率为 $0.5$，对应到标签向量中第 $3$ 个标签，其值为 $1$，故记 $0$ 分
• 对样本二的预测值为 $y_{score}=[0.4,0.5,0.7,0.2,0.6]$，真实标签向量为 $y_{true}=[1,0,1,0,1]$，则预测值中概率最大的是第 $3$ 个标签，概率为 $0.7$，对应到标签向量中第 $3$ 个标签，其值为 $1$，故记 $0$ 分
• 返回 $one-error$ 的值为 $\frac{1}{2}\times (0+0)=0$

3.5 Coverage

$$\mathrm{coverage}\left(f\right)=\frac{1}{p}\sum _{i=1}^p\left(\underset{y\in Y_i}{\max }ran{k}_f\left({\mathbf{x}}_i,y\right)-1\right)$$

• $\underset{y\in Y_i}{\max }ran{k}_f\left({\mathbf{x}}_i,y\right)-1$：根据预测的概率将标签降序排序，能把存在的标签覆盖完毕时的个数再减 $1$
• 在 python 的 sklearn 库中对 coverage 的实现没有减 $1$，我也不太理解这里为什么要减 $1$
• 越小越好

示例: 假设有两个样本

• 对样本一的预测值为 $y_{score}=[0.3,0.4,0.5,0.1,0.15]$，真实标签向量为 $y_{true}=[1,0,1,0,0]$，按概率排序有 $[0.5,0.4,0.3,0.15,0.1]$，对应的真实标签变为 $[1,0,1,0,0]$，前 $3$ 个标签将 $1$ 全部覆盖，这里得到 $3-1=2$
• 对本二的预测值为 $y_{score}=[0.4,0.5,0.7,0.2,0.6]$，真实标签向量为 $y_{true}=[1,0,1,0,1]$，按概率排序有 $[0.7,0.6,0.5,0.4,0.2]$，对应的真实标签变为 $[1,1,0,1,0]$，前 $4$ 个标签将 $1$ 全部覆盖，这里得到 $4-1=3$
• 返回 $\mathrm{coverage}$ 的值为 $\frac{1}{2}\times (2+3)=2.5$

3.6 Ranking Loss

rloss ⁡ ( f ) = 1 p ∑ i = 1 p 1 ∣ Y i ∣ ∣ Y ˉ i ∣ ∣ { ( y ′ , y ′ ′ ) ∣ f ( x i , y ′ ) ≤ f ( x i , y ′ ′ ) , ( y ′ , y ′ ′ ) ∈ Y i × Y ˉ i } ∣ \operatorname{rloss}(f)=\frac{1}{p} \sum_{i=1}^p \frac{1}{\left|Y_i\right|\left|\bar{Y}_i\right|} \left|\left\{\left(y^{\prime}, y^{\prime \prime}\right) \mid f\left(\boldsymbol{x}_i, y^{\prime}\right) \leq f\left(\boldsymbol{x}_i, y^{\prime \prime}\right), \quad\left(y^{\prime}, y^{\prime \prime}\right) \in Y_i \times \bar{Y}_i\right\} \right| rloss(f)=p1​i=1∑p​∣Yi​∣ ​Yˉi​ ​1​ ​{(y′,y′′)∣f(xi​,y′)≤f(xi​,y′′),(y′,y′′)∈Yi​×Yˉi​} ​

• 1 ∣ Y i ∣ ∣ Y ˉ i ∣ ∣ { ( y ′ , y ′ ′ ) ∣ f ( x i , y ′ ) ≤ f ( x i , y ′ ′ ) , ( y ′ , y ′ ′ ) ∈ Y i × Y ˉ i } ∣ \frac{1}{\left|Y_i\right|\left|\bar{Y}_i\right|} \left|\left\{\left(y^{\prime}, y^{\prime \prime}\right) \mid f\left(\boldsymbol{x}_i, y^{\prime}\right) \leq f\left(\boldsymbol{x}_i, y^{\prime \prime}\right), \quad\left(y^{\prime}, y^{\prime \prime}\right) \in Y_i \times \bar{Y}_i\right\} \right| ∣Yi​∣∣Yˉi​∣1​ ​{(y′,y′′)∣f(xi​,y′)≤f(xi​,y′′),(y′,y′′)∈Yi​×Yˉi​} ​：即，由为 $0$ 的标签集合与为 $1$ 的标签集合组成的二元组中，将不存在的标签排在存在的标签前面的二元组所占的比例
• 越小越好

示例: 假设有两个样本

• 对样本一的预测值为 $y_{score}=[0.3,0.4,0.5,0.1,0.15]$，真实标签向量为 $y_{true}=[1,0,1,0,0]$，为 $1$ 的标签集合大小为 $2$，为 $0$ 的标签集合大小为 $3$，笛卡尔积为 $2\times 3=6$ 个二元组，按概率排序后得到 $[0.5,0.4,0.3,0.15,0.1]$，对应的真实标签变为 $[1,0,1,0,0]$，即有且仅有概率为 $0.4$ 的值为 $0$ 的标签排在了概率为 $0.3$ 的值为 $1$ 的标签前面这么一个二元组，故这里得到值 $1/6$
• 对样本二的预测值为 $y_{score}=[0.4,0.5,0.7,0.2,0.6]$，真实标签向量为 $y_{true}=[1,0,1,0,1]$，为 $1$ 的标签集合大小为 $2$，为 $0$ 的标签集合大小为 $3$，笛卡尔积为 $2\times 3=6$ 个二元组，按概率排序有 $[0.7,0.6,0.5,0.4,0.2]$，对应的真实标签变为 $[1,1,0,1,0]$，即有且仅有概率为 $0.5$ 的值为 $0$ 的标签排在了概率为 $0.4$ 的值为 $1$ 的标签前面这么一个二元组，故这里得到值 $1/6$
• 返回 $Ranking\; Loss$ 的值为 $\frac{1}{2}\times (\frac{1}{6}+\frac{1}{6})=\frac{1}{6}$

3.7 Average Precision

$$\mathrm{avgprec}(f)=\frac{1}{p}\sum _{i=1}^p\frac{1}{\left|Y_i\right|}\sum _{y\in Y_i}\frac{\left|\left\{y^{\prime }\mid {\mathrm{rank}}_f\left(\mathbf{x},y^{\prime }\right)\le {\mathrm{rank}}_f\left({\mathbf{x}}_i,y\right),y^{\prime }\in Y_i\right\}\right|}{{\mathrm{rank}}_f\left({\mathbf{x}}_i,y\right)}$$

• $\frac{|\left\{y^{\prime }\mid {\mathrm{rank}}_f\left(\mathbf{x},y^{\prime }\right)\le {\mathrm{rank}}_f\left({\mathbf{x}}_i,y\right),y^{\prime }\in Y_i\right\}|}{{\mathrm{rank}}_f\left({\mathbf{x}}_i,y\right)}$：即，对于值为 $1$ 的某个标签，在根据预测出的概率降序排序后，排在它前面的 (含它本身) 值为 $1$ 的标签个数比上它在该排序中的排名。
• 越大越好

示例: 假设有两个样本

• 对样本一的预测值为 $y_{score}=[0.3,0.4,0.5,0.1,0.15]$，真实标签向量为 $y_{true}=[1,0,1,0,0]$，按概率排序有 $[0.5,0.4,0.3,0.15,0.1]$，对应的真实标签变为 $[1,0,1,0,0]$
  • 对第 $1$ 个 $1$，其排名为 $1$，排在它前面(含它本身) 的 $1$ 个数为 1，故得 $1/1=1$
  • 对第 $2$ 个 $1$，其排名为 $3$，排在它前面(含它本身) 的 $2$ 个数为 1，故得 $2/3$
  • 这里总共得到 $\frac{1}{2}(1+\frac{2}{3})=\frac{5}{6}$
• 对样本二的预测值为 $y_{score}=[0.4,0.5,0.7,0.2,0.6]$，真实标签向量为 $y_{true}=[1,0,1,0,1]$，按概率排序有 $[0.7,0.6,0.5,0.4,0.2]$，对应的真实标签变为 $[1,1,0,1,0]$
  • 对第 $1$ 个 $1$，其排名为 $1$，排在它前面(含它本身) 的 $1$ 个数为 1，故得 $1/1=1$
  • 对第 $2$ 个 $1$，其排名为 $2$，排在它前面(含它本身) 的 $1$ 个数为 2，故得 $2/2=1$
  • 对第 $3$ 个 $1$，其排名为 $4$，排在它前面(含它本身) 的 $1$ 个数为 3，故得 $3/4$
  • 这里总共得到 $\frac{1}{3}(1+1+\frac{3}{4})=\frac{11}{12}$
• 返回 $average\; precision$ 的值为 $\frac{1}{2}\times (\frac{5}{6}+\frac{11}{12})=\frac{13}{24}$

3.8 NDCG

$$NDCG\left(f\right)=\frac{DCG\left(f\right)}{IDCG}=\frac{\sum _{i=1}^k\frac{{\hat{y}}_i}{\log \left(1+l\right)}}{\sum _{i=1}^m\frac{1}{\log \left(1+l\right)}}$$

• NDCG 是 DCG 的归一化
• DCG：即，根据预测出的概率进行排序，对该排序的打分
• IDCG：即，完全预测正确时的完美评分
• 越大越好

示例: 假设有多个样本，可以直接将标签矩阵展开成标签向量

• 预测值为 $y_{score}=[0.3,0.4,0.5,0.1,0.15]$，真实标签向量为 $y_{true}=[1,0,1,0,0]$，按概率排序有 $[0.5,0.4,0.3,0.15,0.1]$，对应的真实标签变为 $[1,0,1,0,0]$，完美排序标签为 $[1,1,0,0,0]$
  • DCG 得分为 $\frac{1}{\log \left(1+1\right)}+\frac{1}{\log \left(1+3\right)}$，因为两个 $1$ 的位置在第 $1$ 位和第 $3$ 位
  • IDCG 得分为 $\frac{1}{\log \left(1+1\right)}+\frac{1}{\log \left(1+2\right)}$
  • 得到 $NDCG=\frac{DCG}{IDCG}$

3.9 peak-F1

当 $\beta$ 取值为 $1$ 时，$F^{\beta }$ 退化为标准 $F_1$，此时查准率和查全率一样重要。对得到的一个预测结果，按概率进行降序排序后，依次将每个标签预测为 $1$，可以得到一系列的 $F_1$ 值，其中最大的那个，就记做 peak-F1

• 越大越好

4. label-based

针对每个标签可以由一个二元分类器 $h(\cdot )$ 得到以下四个度量性能的指标，下图被称为分类结果混淆矩阵。

$$\begin{array}{c}T{P}_j=\left|\left\{{\mathbf{x}}_i\mid y_j\in Y_i\wedge y_j\in h\left({\mathbf{x}}_i\right),1\le i\le p\right\}\right|;F{P}_j=\left|\left\{{\mathbf{x}}_i\mid y_j\notin Y_i\wedge y_j\in h\left({\mathbf{x}}_i\right),1\le i\le p\right\}\right|\\ T{N}_j=\left|\left\{{\mathbf{x}}_i\mid y_j\notin Y_i\wedge y_j\notin h\left({\mathbf{x}}_i\right),1\le i\le p\right\}\right|;F{N}_j=\left|\left\{{\mathbf{x}}_i\mid y_j\in Y_i\wedge y_j\notin h\left({\mathbf{x}}_i\right),1\le i\le p\right\}\right|\end{array}$$

4.1 Macro-averaging 与 Micro-averaging

令 $B(T{P}_j,F{P}_j,T{N}_j,F{N}_j)$ 为一种特定的二分类度量，即 $B\in \left\{Accuracy,Precision,Recall,F^{\beta }\right\}$，由此可以得到 Macro-averaging 与 Micro-averaging 两种评价指标

4.1.1 Macro-averaging

$$B_{\text{macro }}(h)=\frac{1}{q}\sum _{j=1}^{q}B\left(T{P}_j,F{P}_j,T{N}_j,F{N}_j\right)$$

• 即，先分别求各个标签的二分类度量，再求均值

4.1.2 Micro-averaging

$$B_{\text{micro }}(h)=B\left(\sum _{j=1}^{q}T{P}_j,\sum _{j=1}^{q}F{P}_j,\sum _{j=1}^{q}T{N}_j,\sum _{j=1}^{q}F{N}_j\right)$$

• 即，先将所有标签的 $T{P}_j,F{P}_j,T{N}_j,F{N}_j$ 各自累加起来，得到一个混淆矩阵，再求得二分类度量

4.2 AUCmacro 与 AUCmicro

4.2.1 单标签的 AUC

AUC 是 Area Under ROC Curve 的缩写，而 ROC 是以假正例率为横轴，真正例率为纵轴所绘制出的图线，具体的绘图过程如下，

1. 按学习器预测结果进行排序
2. 将分类阈值设为最大，所有样例被分为反例，此时可以得到一个混淆矩阵，因而可以绘制出 ROC 图中的一个点 (0, 0)
3. 减小阈值，即依次将阈值设为每个样例的预测值，每次可以在 ROC 图中绘制一个点
4. 用线段连接相邻点即可

注：

1. 假正例率：$TPR=\frac{TP}{TP+FN}$，即，真正例中被预测为正例的比例
2. 真正例率：$FPR=\frac{FP}{TN+FP}$，即，真反例中被预测为正例的反例

4.2.2 AUCmacro

A U C macro  = 1 q ∑ j = 1 q A U C j = 1 q ∑ j = 1 q ∣ { ( x ′ , x ′ ′ ) ∣ f ( x ′ , y j ) ≥ f ( x ′ ′ , y j ) , ( x ′ , x ′ ′ ) ∈ Z j × Z ˉ j } ∣ ∣ Z j ∣ ∣ Z ˉ j ∣ A U C_{\text {macro }}=\frac{1}{q} \sum_{j=1}^q A U C_j=\frac{1}{q} \sum_{j=1}^q \frac{\left|\left\{\left(\boldsymbol{x}^{\prime}, \boldsymbol{x}^{\prime \prime}\right) \mid f\left(\boldsymbol{x}^{\prime}, y_j\right) \geq f\left(\boldsymbol{x}^{\prime \prime}, y_j\right),\left(\boldsymbol{x}^{\prime}, \boldsymbol{x}^{\prime \prime}\right) \in \mathcal{Z}_j \times \bar{\mathcal{Z}}_j\right\}\right|}{\left|\mathcal{Z}_j\right|\left|\bar{\mathcal{Z}}_j\right|} AUCmacro ​=q1​j=1∑q​AUCj​=q1​j=1∑q​∣Zj​∣ ​Zˉj​ ​ ​{(x′,x′′)∣f(x′,yj​)≥f(x′′,yj​),(x′,x′′)∈Zj​×Zˉj​} ​​

• 其中，${\mathcal{Z}}_j=\left\{{\mathbf{x}}_i\mid y_j\in Y_i,1\le i\le p\right\}({\bar{\mathcal{Z}}}_j=\left\{{\mathbf{x}}_i\mid y_j\notin Y_i,1\le i\le p\right\})$
• 即，针对每个标签分别求出 $AUC$ 指标，再求均值

4.2.3 AUCmicro

$$AU{C}_{\text{micro }}=\frac{\left|\left\{\left({\mathbf{x}}^{\prime },{\mathbf{x}}^{\prime \prime },y^{\prime },y^{\prime \prime }\right)\mid f\left({\mathbf{x}}^{\prime },y^{\prime }\right)\ge f\left({\mathbf{x}}^{\prime \prime },y^{\prime \prime }\right),\left({\mathbf{x}}^{\prime },y^{\prime }\right)\in {\mathcal{S}}^{+},\left({\mathbf{x}}^{\prime \prime },y^{\prime \prime }\right)\in {\mathcal{S}}^{-}\right\}\right|}{\left|{\mathcal{S}}^{+}\right|\left|{\mathcal{S}}^{-}\right|}$$

• 其中，${\mathcal{S}}^{+}=\left\{({\mathbf{x}}_i,y)\mid y\in Y_i,1\le i\le p\right\}({\mathcal{S}}^{-}=\left\{({\mathbf{x}}_i,y)\mid y\notin Y_i,1\le i\le p\right\})$，分别代表 ${\mathbf{x}}_i$ 中有 (无) 标签 $y$，二者的并就是 $\mathcal{X}$ 与 $\mathcal{Y}$ 的笛卡尔积
• 该式的含义为，先将 $\mathcal{X}$ 与 $\mathcal{Y}$ 求笛卡尔积，得到的 $(\mathbf{x},y)$ 可以根据 $\mathbf{x}$ 中是否有标签 $y$ 来进行分类，从而划分得到两个集合 ${\mathcal{S}}^{+}$ 和 ${\mathcal{S}}^{-}$
• 再将 ${\mathcal{S}}^{+}$ 和 ${\mathcal{S}}^{-}$ 作笛卡尔积，统计将 ${\mathcal{S}}^{+}$ 的元素排在 ${\mathcal{S}}^{-}$ 前面的元素所占的比例 (根据预测的概率进行排序)
• 即，和 $Ranking\; Loss$ 相反