多标签学习发展趋势

多标签学习文献综述

《The Emerging Trends of Multi-Label Learning》-PAMI,2021.

本文系统梳理了多标签学习的发展趋势和SOTA技术。下面这张图概括了本文的研究内容。

从这张图里我们可以看出，多标签学习主要分为：
极限多标签学习（Extreme Multi-label Learning）：嵌入式方法，基于树的方法，以及one-vs-all的方法，作者这里似乎漏掉了深度学习在XC上的应用。
有限监督的多标签学习（Multi-label Learning with Limited Supervision）：缺值的多标签学习，半监督，Partial多标签学习（不懂）。
深度多标签学习：深度嵌入，etc
在线多标签学习
统计多标签学习
以及一些应用领域：机器视觉，自然语言处理，数据挖掘。

先码住，有时间系统阅读本文内容。

极限多标签分类

关于极限多标签分类，也可参考我先前的文章。

嵌入式方法：
说白了，就是将特征空间或者标签空间映射到低维空间，这个过程可以称之为编码（encoding）。
嵌入式方法的主要不同点在于编码和解码方法。

在嵌入式方法中SLEEC是一个经典的，且影响深远的方法。
SLEEC学习标签的低维嵌入，通过保持距离最近的标签向量的距离（比如k近邻），它可以非线性地捕获标签的相关性。
所以，SLEEC试图找到一个低维嵌入，使得在原标签空间下的标签距离在嵌入后依旧能保持，这与局部线性嵌入LLE的思想是一致的。
$$Z^{\ast }=\underset{Z\in {\mathbb{R}}^{\varpi \times n}}{\min }||P_{\Omega }(Y^{\text{T}}Y)-P_{\Omega }(Z^{\text{T}}Z)|{|}_F^2$$

其中$Y\in {\mathbb{R}}^{L\times n}$是原标签矩阵，$Z\in {\mathbb{R}}^{\varpi \times n}$是降维后的标签矩阵，$\varpi \ll L$, $\Omega$为下标对集合，存放了标签的近邻，$(i,j)\in \Omega$表示样本j是样本i的邻居，注意，$(i,j)\in \Omega \nRightarrow (j,i)\in \Omega$.
在上式中，
$$P_{\Omega }(Y^{\text{T}}Y{)}_{(i,j)}=y_i^{\text{T}}{y}_j,\text{ if }(i,j)\in \Omega ,0\text{ otherwise}.$$

在找出最优的$Z$之后，SLEEC试图寻找一个regressor V拟合特征空间:
$$\underset{V\in {\mathbb{R}}^{\varpi \times d}}{\min }||Z^{\ast }-VX|{|}_F^2+\mu ||V|{|}_F^2+\lambda ||VX|{|}_1$$
上式引入了F范数避免over-fitting，引入了$l_1$正则学习regressor $V$的稀疏表示。但上式直接优化不可行，这是因为large-scale，SLEEC将训练集聚类为几个小的局部区域（这一过程是无监督的）。所以，具有相似标签的样本不一定被划分到同一区域，这是SLEEC存在的问题。有些其他的方法试图解决这一问题：比如AnnexML，DEFRAG等方法，这里不再介绍。

关于嵌入式方法，也有引入word2vec这种方法来学习标签的嵌入$Z$ (Gupta2019Distributional)，随后利用SLEEC的优化方法学习regressor $V$.

基于树的方法：
我先前的博文里面总结了一些了，比如FastXML，PFastReXML,SwiftXML, CRAFTXML，PLT等等。这里不再赘述。

未完待续。