《Multi-Label Image Recognition with Graph Convolutional Networks》论文理解

0.动机

多标签图像识别的两个重要问题：
（1）如何有效获取目标标签之间的相关性？
（2）如何利用这些标签相关性提升分类表现？
作者使用图（graph）来对标签之间的相互依赖关系进行建模，来灵活地获取标签空间中的拓扑结构：
（1）由于从词嵌入向量到分类器的映射参数在所有类别中是共享的，所以学习到的分类器能够在词嵌入空间中（语义相关的概念在词嵌入空间中彼此临近）保留较弱的语义结构。与此同时，对于可以对标签依赖性进行隐式建模的分类器函数，所有分类器的梯度都会对它产生影响。
（2）基于标签的共现模式，设计了一个全新的标签相关系数矩阵，可显式地用 GCN建模标签相关性，让节点的特征在更新时也能从相关联的节点（标签）聚集信息。

1.ML-GCN框架

ML-GCN模型利用CNN对整幅图像进行卷积操作，经过全局最大池化，得到图像层次的特征；同时以每个类别的词向量作为节点特征，以类别的相关系数矩阵作为邻接矩阵，送入GCN网络，得到基于图的分类器（标签之间具有依赖关系的分类器）；将CNN得到的图像层次特征送入分类器，最后得到图像的多标签。

2.CNN卷积

输入图像为$I$，CNN卷积层的训练参数为${\theta }_{cnn}$，提取图像特征公式化为：
$$x=f_{GMP}(f_{cnn}(I,{\theta }_{cnn}))\text{\hspace{1em}(1)}$$

其中，$f_{cnn}(\ast )$表示卷积网络模拟的函数，$f_{GMP}(\ast )$表示全局最大池化函数。$x\in R^D$为图像特征。

3.相关系数矩阵

论文中的相关系数矩阵就是图卷积中需要的邻接矩阵，但是在多标签图像分类任务中并没有提供该矩阵，需要自己设计。论文中以条件概率的形式定义该矩阵。
将训练集的的标签进行统计，得到矩阵$M\in R^{C\times C}$,$C$表示分类种数，其中$M_{ij}$表示训练集图片同时出现$i,j$类的图片张数。所以$M_{ij}=M_{ji}$。得到条件概率矩阵$P$为：
$$P_i=M_i/N_i\text{\hspace{1em}(2)}$$

其中，$N_i$表示训练集中标签$i$出现的次数。由于$N_i\ne N_j$，使得矩阵不再为实对称矩阵，也就对应着有向图，这个有向图可以理解为条件概率$P(i|j)\ne P(j|i)$。如下图所示：

在使用$P$矩阵时，由于存在标签数据的错误以及训练验证分布不同，可能产生过拟合现象，所以作者利用阈值$\tau$将矩阵$P$二值化：
$$A_{ij}=\{\begin{array}{ll}0& P_{ij}<\tau \\ 1& P_{ij}\ge \tau \end{array}\text{\hspace{1em}(3)}$$
但是二值化将导致图卷积网络过于光滑(over-smooth),可以理解为：在图卷积操作中，会将一个节点和它邻居的特征向量混合起来，从而在有限步之后所有节点的表示都会收敛到一个相同的值的现象，这同时也会导致梯度消失。这种现象将导致节点特征都近似，无法进行分类。
所以作者将二值化后的矩阵$A$再次变换：
$$A_{ij}^{{}^{\prime }}=\{\begin{array}{ll}p/{\sum }_{j=1,j\ne i}^C{A}_{ij}& i\ne j\\ 1-p& i=j\end{array}\text{\hspace{1em}(4)}$$

当$p$趋近于1时，自身节点的特征将分配低权重，自身节点将不被考虑。当$p$趋近于0时，邻域节点的信息将被忽略。

4. GCN卷积

图卷积层可以表示为：
$$H^{l+1}=h(\widehat{A^{{}^{\prime }}}{H}^l{W}^l)\text{\hspace{1em}(5)}$$

其中，$\widetilde{A^{{}^{\prime }}}=A^{{}^{\prime }}+I_N,{\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij},\widehat{A^{{}^{\prime }}}={\tilde{D}}^{-\frac{1}{2}}\widetilde{A^{{}^{\prime }}}{\tilde{D}}^{-\frac{1}{2}}$.
实验中使用了两层图卷积层：
$$W=h(\widehat{A^{{}^{\prime }}}(h(\widehat{A^{{}^{\prime }}}{H}^0{W}^0))W^1)\text{\hspace{1em}(6)}$$

其中$W\in R^{C\times D}$为GCN部分训练的输出的标签分类器，$h$表示激活函数。
最后，要想得到对多标签的预测结果，只需要将图像特征输入该分类器即可：
$$\hat{y}=Wx\text{\hspace{1em}(7)}$$

损失函数可以使用传统的多标签分类损失：
$$L=\sum _{c=1}^C{y}^{c}log(\sigma ({\hat{y}}^c))+(1-y^c)log(1-\sigma ({\hat{y}}^c))\text{\hspace{1em}(8)}$$

其中，$\sigma (\ast )$表示sigmoid激活函数。