读论文：fPML，ML-JMF

两篇ICDM 2018机器学习的论文，来自http://mlda.swu.edu.cn/publication.php

• 首先记录短文（简称fPML）
• 再写长文（简称ML-JMF）
• 最后总结一下异同 (ongoing)

Feature-induced Partial Multi-label Learning (fPML)

ICDM 2018

Problem

• However, the performance of multi-label learning may be compromised by noisy (or incorrect) labels of training instances.

• the ground-truth labels are concealed in a set of candidate noisy labels, the number of ground-truth labels is also unknown.

Most relevant

• partial multi-label learninl [Xie et al. AAAL, 2018]
• to optimize the label confidence values and the relevance ordering of labels of each instance by exploiting structural information in feature and label spaces, and by minimizing the confidence weighted ranking loss.
• However, it has to simultaneously optimize multiple binary predictors and a very large number of confidence rankings of candidate label pairs; hence, suffers from heavy computational costs

Motivetion

Why

• Since labels are correlated, the label correlation and the ground-truth instance-label association matrices have a linear dependence structure, and thus they are low-rank [Zhu et al, TKDE, 2018, Xu et al, ICDM, 2014]
• The low-rank approximation of a noisy matrix is robust to noise [Konstantinides et al, TIP, 1997, Meng et a, ICCV, 2013]

How

• We seek the ground- truth instance-label association matrix via learning the low- rank approximation of the observed association matrix, which contains noisy associations.
• The labels of an instance depend on its features, and thus the features of instances should be used to estimate noisy labels.

Method

• 主要思想是假设一个没噪声的 $\mathbf{Y}$ ，用矩阵分解强制分解成低秩的 $\mathbf{S}$ 和 $\mathbf{G}$
  $$\mathbf{Y}\simeq {\mathbf{S}\mathbf{G}}^T\text{\hspace{1em}(1)}$$
  注意这两个矩阵的维度，

  • $\mathbf{S}\in {\mathbb{R}}^{q\times k}$ 意义是把 $q$ 个label映射成 $k$ 个新的label
  • $\mathbf{G}\in {\mathbb{R}}^{n\times k}$ 表示将 $n$ 个样本映射成 $k$ 个样本

• 此时目标函数是2式，
  $$\underset{\mathbf{S},\mathbf{G}}{\min }{\Vert \mathbf{Y}-{\mathbf{S}\mathbf{G}}^T\Vert }_F^2\text{\hspace{1em}(2)}$$

• 到目前为止仅利用了 label信息， 作者此时的创新是利用了原始数据 $\mathbf{X}$ 的 feature信息，对 $\mathbf{G}$ 进行了约束（原文是说sharing $\mathbf{G}$），加了一层线性变换，参数是 $\mathbf{F}$，变成了3式。
  $$\underset{\mathbf{S},\mathbf{F},\mathbf{G}}{\min }{\Vert \mathbf{Y}-{\mathbf{S}\mathbf{G}}^T\Vert }_F^2+{\lambda }_1{\Vert \mathbf{X}-\mathbf{F}{\mathbf{G}}^T\Vert }_F^2\text{\hspace{1em}(3)}$$
  学习 $\mathbf{F}\in {\mathbb{R}}^{d\times k}$ 是用来抓特征之间的相互关系，${\lambda }_1$ 起调控作用

• 最后为了将label映射回去， 加了一层线性操作 $\mathbf{W}$，4式，转化成了5式
  $$\underset{\mathbf{W}}{\min }{\Vert \mathbf{Y}-{\mathbf{W}}^T\mathbf{X}\Vert }_F^2\text{\hspace{1em}(4)}$$

  $$\underset{\mathbf{W}}{\min }{\Vert {\mathbf{S}\mathbf{G}}^T-{\mathbf{W}}^T\mathbf{X}\Vert }_F^2\text{\hspace{1em}(5)}$$

• 最后将3，5式加起来，并对 $\mathbf{W}$ 进行 $l_1$ norm，得到最终loss，通过迭代优化求解

$$\begin{array}{rl}\underset{\mathbf{S},\mathbf{F},\mathbf{G},\mathbf{W}}{\min }{\Vert \mathbf{Y}-{\mathbf{S}\mathbf{G}}^T\Vert }_F^2+{\lambda }_1{\Vert \mathbf{X}-\mathbf{F}{\mathbf{G}}^T\Vert }_F^2& \\ +{\lambda }_2{\Vert \mathbf{S}{\mathbf{G}}^T-{\mathbf{W}}^T\mathbf{X}\Vert }_F^2+{\lambda }_3\Vert \mathbf{W}{\Vert }_1& \\ \text{ s.t. }\mathbf{S}\ge 0,\mathbf{G}\ge 0& \end{array}\text{\hspace{1em}(6)}$$

• 解决的问题
  • 在 $\mathbf{Y}$ 中的label，如果同时在 $\mathbf{Y}$ 并且confidence很低的话，可能是noisy label.
  • 通过 $f(\mathbf{x})={\mathbf{W}}^T\mathbf{x}$ 可以预测 $q$ 个label的分布

Multi-Label Answer Aggregation based on Joint Matrix Factorization (ML-JMF)

ICDM 2018

问题

• 1
  • 工人的个体背景的差异，他们标注的结果可能不同
  • 存在一些乱标注的情况
  • 所以如何得到高质量的标注是众包中的一个研究重点
• 2
  • 当前的方法都是针对单标签的
  • 多标签通常会又更多的噪声和偏差
  • 工人不会相互进行核实？所以结果更局部了
  • 所以评估他们答案的可靠性很难
• 3
  • 多标签标注中，标签的组合存在组合爆炸的影响

方法核心

• 1
  • 分别对单个工人个体所标注的sample-label进行低秩矩阵分解，
  • motivation: 低秩矩阵分解对噪声具有鲁棒性
• 2
  • 对每组分解的矩阵进行了加权，
  • motivation: 减少低质量的工人或噪声对结果的影响，此时作者认为独立的工人是存在偏差的
• 3
  • 利用了label之间的相关性和工人之间的相关性
  • motivation: 一个multi-label样本的label之间是相关但不同的，有相同背景的工人答案应该是相似的。

方法

• 假设第 $w$ 个工人标注的矩阵为 : $${\mathbf{A}}_w\triangleq \left(\begin{array}{ccc}{a}_{11}^w& \dots & a_{1c}^w\\ ⋮& \ddots & ⋮\\ a_{n1}^w& \cdots & a_{nc}^w\end{array}\right)$$ ，$n$ (row) 表示样本数，$c$ (column) 表示标签。$a_{il}^w\in \{-1,0,1\}$ , 1或者-1表示有无该标签，0表示没答案。

• 根据方法核心1，作者进行了矩阵分解，见2式
  $$\begin{array}{rl}\underset{\mathbf{U},\mathbf{V}>0}{\min }& \sum _{w=1}^m{\mathbf{\mu }}_w{\Vert {\mathbf{A}}_w-{\mathbf{U}}_w\mathbf{S}{\mathbf{V}}^T\Vert }_F^2\\ & \text{ s.t. }\sum _{w=1}^m{\mathbf{\mu }}_w=1,{\mathbf{\mu }}_w\ge 0\end{array}\text{\hspace{1em}(2)}$$
  $\Vert \cdot {\Vert }_F^2$ 是为了优化吧，重点是作者强制性把原sample-label矩阵分解成了分别代表sample和label的两个低秩矩阵： ${\mathbf{U}}_w\in {\mathbb{R}}^{n\times k}$ 表示了sample，$\mathbf{V}\in {\mathbb{R}}^{c\times k}$ 表示了label，$\mathbf{S}\in {\mathbb{R}}^{k\times k}$ 是为了保证非负，因为 $a_{il}^w$ 存在-1。

• 根据方法核心2，2式中的 ${\mathbf{\mu }}_w$ 表示权重，为了避免这种情况：存在一个工人的 ${\Vert {\mathbf{A}}_w-{\mathbf{U}}_w\mathbf{S}\mathbf{V}\Vert }_F^2$ 特别小，因此按照2式，该工人的 ${\mathbf{\mu }}_w=1$ ，那么整体loss ${\sum }_{w=1}^m...$ 也就最小了的情况发生，作者对2式加了 $l_2$ 成了3式，并且加入$\lambda$ 调控，如下：
  $$\begin{array}{r}\min \sum _{w=1}^m{\mu }_w{\Vert {\mathbf{A}}_w-{\mathbf{U}}_w\mathbf{S}{\mathbf{V}}^T\Vert }_F^2+\lambda \Vert \mathbf{\mu }{\Vert }_F^2\\ \text{ s.t. }\sum _{w=1}^m{\mu }_w=1,{\mathbf{\mu }}_w\ge 0\end{array}\text{\hspace{1em}(3)}$$

• 根据方法核心3，作者定义出了4式和5式用于约束loss。首先作者利用了多标签，标签之间的相关性，对2式分解出来的低秩矩阵 $\mathbf{V}$ 进一步研究，定义出了4式，如下：
  $$\begin{array}{rl}\underset{\mathbf{v}\ge 0}{\min }\frac{1}{2}\sum _{i,j}{\mathbf{C}}_{ij}{\Vert {\mathbf{v}}_i-{\mathbf{v}}_j\Vert }_2^2& =\mathrm{tr}\left({\mathbf{V}}^T(\mathbf{D}-\mathbf{C})\mathbf{V}\right)\\ & =\mathrm{tr}\left({\mathbf{V}}^T\mathbf{L}\mathbf{V}\right)\end{array}\text{\hspace{1em}(4)}$$
  $\mathbf{C}\in {\mathbb{R}}^{c\times c}$ 是label之间的相关矩阵，4式就是想让同一个样本中的labels在距离空间中越来越近。

• 然后作者对以相同的思想对 ${\mathbf{U}}_w$ 进一步研究，定义了5式，
  $$\begin{array}{rl}\underset{{\mathbf{U}}_w\ge 0}{\min }& \frac{1}{2}\sum _{w\ne p}{\mathbf{R}}_{wp}{\Vert {\mathbf{U}}_w-{\mathbf{U}}_p\Vert }_F^2\\ =& \sum _{w\ne p}{\mathbf{R}}_{wp}\mathrm{tr}\left({\left({\mathbf{U}}_w-{\mathbf{U}}_p\right)}^T\left({\mathbf{U}}_w-{\mathbf{U}}_p\right)\right)\\ & {\mathbf{R}}_{wp}=\frac{\mathrm{tr}\left({\mathbf{A}}_w{\mathbf{A}}_p\right)}{\sqrt{\mathrm{tr}\left({\mathbf{A}}_w{\mathbf{A}}_w\right)\mathrm{tr}\left({\mathbf{A}}_p{\mathbf{A}}_p\right)}}\\ & \text{ s.t. }{\mathbf{A}}_w={\mathbf{A}}_w{\mathbf{A}}_w^T-\mathrm{diag}\left({\mathbf{A}}_w{\mathbf{A}}_w^T\right)\end{array}\text{\hspace{1em}(5)}$$
  ${\mathbf{R}}_{wp}$ 代表第 $m$ 个和第 $p$ 个工人的相似度

• 最后把3，4，5式加起来成了最后的loss，进行迭代求解

• 解决的问题

  • 通过求解后计算 ${\mathbf{A}}^{\ast }={\sum }_{w=1}^m{\mathbf{\mu }}_w{\mathbf{U}}_w\mathbf{S}\mathbf{V}$ 可以通过 ${\mathbf{\mu }}_w$=0 减少noisy标注的影响
  • 同时通过低秩矩阵的近似可以remove部分噪声标注

---

两篇文章的异同

• 总的来说，两篇文章都是解决multi-label中存在的noisy问题，都是采用的低秩矩阵分解的方法，区别之处在于 ML-JMF 比 fPML 多了一个 worker 的维度，应用的问题背景也不同

  ps: 关于低秩矩阵为什么能降低noisy，可以看这个slides: https://people.eecs.berkeley.edu/~yang/courses/ECCV2012/ECCV12-lecture3.pdf

• 不同之处细节如下

  • fPML label中1,0，ML-JMF是1,0,-1，因此矩阵分解的时候就有差异
  • fPML 是用给予 $\mathbf{F}$ 去学习特征之间的关系，ML-JMF 是根据相关性的先验去约束目标函数
  • fPML 设计有 $\mathbf{W}$ ，可以映射回标签，ML-JMF设有 ${\mathbf{\mu }}_w$ 对worker进行加权

ongoing

因为刚接触这个方向，有理解不对的地方还请交流指正