多标签分类问题的评价指标

多标签分类的评价指标

多标签学习系统中的性能评估与经典的单标签学习问题中不同，在单标签问题中使用的经典度量标准包括准确率，Precision，Recall 和 F-measure.在多标签学习中，评估会更加复杂，对于一个测试集$S=\{(x_1,Y_1),(x_2,Y_2),...,(x_p,Y_p)\}$,有如下评估标准：

1. hamming loss:
   被误分类的instance-label 对的个数，（例如，不属于这个样本的标签被预测，或者属于这个样本的标签没有被预测）。$hlos{s}_S(h)$的值越小，性能越好，如果$hlos{s}_S(h)=0$ 是性能最好的。

$$hlos{s}_S(h)=\frac{1}{p}\sum _{i=1}^p\frac{1}{Q}|h(x_i)\Delta Y_i|$$
其中$\Delta$ 代表两个集合之间的对称差异，实际上汉明损失就是统计true labels没有出现在predicted label set中的次数。

Hamming loss是基于多标签分类器$h(.)$, 下列度量是基于实数值函数$f(.,.)$ 定义的，它关心的是每个样本不同标签的排名质量。

2. one-error:
   评估top-ranked label不在样本的真实标签集中的次数。值越小，性能越好,当$one-erro{r}_S(f)=0$ 时性能是最好的。评估top-ranked label不在样本的真实标签集中的次数。值越小，性能越好,当$one-erro{r}_S(f)=0$ 时性能是最好的。

$$one-erro{r}_S(f)=\frac{1}{p}\sum _{i=1}^p\{[ar{g}_{y\in \mathcal{Y}}maxf(x_i,y)]\notin Y_i\}$$
大括号中的值等式如果成立则其值为1，否则值为0,。注意到，对于单标签分类问题来说，one-error等同于原始的分类错误率。

3. coverage：
   公式表示的意思就是所有文档中排序最靠后的真实标签的排序平均值（rank是从1开始，所以后面减了个1）,同样值越小性能越好。
   $$coverag{e}_S(f)=\frac{1}{p}\sum _{i=1}^{p}ma{x}_{y\in {\mathcal{Y}}_i}ran{k}_f(x_i,y)-1$$

4. ranking loss:
   $$rlos{s}_s(f)=\frac{1}{p}\sum _{i=1}^p\frac{1}{|Y_i||\overline{Y_i}|}|\{(y_1,y_2)|f(x_i,y_1)\le f(x_i,y_2),(y_1,y_2)\in Y_i\times \overline{Y_i}\}|$$
   其中h函数就是预测函数。$Y_i$表示第i篇文档真正包含的文档的数量,$\overline{Y_i}$表示$Y_i$的补集。因此根据公式的意思：相关标签集合与不相关标签集合进行两两比较，然后统计相关标签的预测可能性比不相关标签额预测可能性要小的次数(样本的标签对被相反预测的平均分数)。 其值越小性能越好。

5. average precision:
   $$avgpre{c}_S(f)=\frac{1}{p}\sum _{i=1}^p\frac{1}{|Y_i|}\frac{|\{y^{{}^{\prime }}|ran{k}_f(x_i,y^{{}^{\prime }})\le ran{k}_f(x_i,y),y^{{}^{\prime }}\in Y_i\}|}{ran{k}_f(x_i,y)}$$
   原始用于信息检索系统中来评估查询检索的文档排名性能。
   正确率值考虑了返回结果中相关文档的个数，而没有考虑文档之间的序。对于一个搜索引擎或推荐系统而言返回的结果必然是有序的。而且越相关的文档排序越靠前越好。对于一个有序的列表，计算每个位置上的precision，然后对所有位置的precision做average，如果该位置的文档是不相关的则该位置的precison=0；
   which evaluates the average fraction of labels ranked above a particular label $y\in Y$ which actually are in $Y$.
   $avgpre{c}_S(f)$的值越大，性能越好，当其值是1时性能是完美的。
   MAP(mean average precision)进一步解释

参考资料：
average precision
precision和recall
MAP(mean average precision)