Multi-Label Zero-Shot Learning with Structured Knowledge Graphs

未完。。。

 

本文提出了一种用于多标签零样本学习（ML-ZSL）的深度学习架构，它能够为每个输入实例预测未知的类标签。受人类利用对象之间语义知识方式的启发，我们提出了一个框架，包含用于描述多个标签之间关系的知识图谱。我们的模型从语义标签空间学习信息传播机制，该机制可用于建模已知和未知类标签间的相互依存关系。 通过对视觉推理的结构化知识图谱的研究，我们证明了我们的模型可用于解决多标签分类和ML-ZSL任务。与目前性能最好的方法相比，我们的模型可以实现类似或更优的性能。

 

Introduction：

我们不仅仅希望将图片与多个标签相关联，还希望利用标签之间的相关性。一般来说，二元相关性是解决多标签分类问题的最简单方法，它把原始任务转化为多个不相交的二元分类问题。然而，它缺乏建模标签共同出现的能力，因此不是优选的。还可以通过假设标签先验获得交叉标签相关性，如[38，7]。而基于标签嵌入的方法[3，43，6，5，4]将输入图像及其标签投影到潜在空间以利用标签相关性。还提出了利用深度神经网络的方法。BPMLL[50]首先提出了用于对标签间的依赖关系进行建模的损失函数，其他最近的工作也提出了不同的损失函数[18，34]或体系结构[46，45，49]以进一步提高性能。 

多标签零样本学习（ML-ZSL）是零样本学习（ZSL）的一个分支，它从多标签分类扩展而来，要求对训练过程中未定义的未知标签进行预测。传统的多标签方法，如二元相关性或基于标签先验的方法显然不能直接应用于ML-ZSL，因为这些方法缺乏推广到未知的类标签的能力。相比之下，在语义空间中利用标签表示的方法，例如标签嵌入方法，可以更容易地适应ML-ZSL，给定未知类的标签表示。通常，标签表示是从人注释的属性向量中获得的，该属性向量描述特定领域中感兴趣的标签，或者通过从语言资源学习的分布式词嵌入。？？？？

尽管最近提出了诸如[31，16，51，17，39]之类的ML-ZSL方法，但是现有方法没有利用结构化知识和推理的优势。我们利用ML-ZSL的现有结构知识，在已知和未知的标签之间获得适当的依赖关系。

知识图谱中，我们可以对共现和非共现概念建模，并将知识扩展到具有外部结构化知识图谱的未知类。已经有工作利用结构化知识解决多标签问题。[10]引入了一种图形表示，它加强了标签概念之间的某些关系。[21]采用RNN[20,41]对不同概念层之间的正负相关关系进行建模。最近，[30]扩展了图形的神经网络[40,27]，通过在知识图谱中传播信息，有效地学习了一种模型，可以推断不同类标签之间的关系。

现有的工作都没有提出ML-ZSL的结构化知识推理。本文提出了一种新的ML-ZSL方法来观察和整合相关的结构化知识。标签用语义向量表示，信息传播机制是从语义空间中观察到的标签关系中学习的。然后，使用这种标签关系的传播机制来修改每个类标签的初始值。一旦传播过程完成，就可以相应地执行多标签分类（或ML-ZSL）。我们的模型将从WordNet观察到的结构化知识图谱整合到端到端的学习框架中，同时学习标签表示和在语义空间中传播的信息。通过这个框架，我们通过将未知的标签嵌入向量分配到学习模型中来实现ZSL。我们将展示我们的模型在提高结构化知识推理方面的有效性，这将有利于ML-ZSL的任务。

本文主要贡献：

• 最先将结构化知识和知识图谱用于ML-ZSL的模型之一。
• 提出了语义空间的信息传播机制，使得学习模型能够推理未知类别的标签。
• 在标准多标签分类任务上具有相似的性能，优于最新的ML-ZSL。

 

Related work：

近期工作：多标签分类利用标签共现和标签之间的关系。

多标签分类的方法：

1. Binary relevance using neural networks 
2. Label embedding methods： 标签嵌入方法是将标签转换成嵌入的标签向量，从而利用标签之间的相关性。
3. Deep neural networks
4. Exploring explicit semantic relations between the labels
   1. Hierarchy and Exclusion (HEX) graph 捕捉任意两个标签之间的语义关系：互斥、重叠、包含，通过标签关系改进分类
   2. Structured Inference Neural Network (SINN)：想法来自RNN，positive correlation and negative correlation between labels are derived for bidirectionally propagating information between concept layers, which further improves the classification performance.
5. GGNN 
6. GSNN

零样本学习通常通过将属性、词向量等语义信息和视觉内容关联起来来解决视觉问题。