《Knowledge-Embedded Representation Learning for Fine-Grained Image Recognition》论文笔记

中山大学、商汤科技

怎样使用DNN框架来 unify 丰富的专业知识，提出了一个知识嵌入表示学习（Knowledge-Embedded Rpresentation Learning）框架来解决细粒度图像识别问题。

大量以 知识图谱 存在的 视觉概念，使用了Gated Graph 神经网络来传播 node message，然后生成知识表示。

通过引入一种新的门控机制，我们的KERL框架将这种知识表示方法应用到图像特征识别学习中。（1）嵌入的高级知识增强了特征表示，有助于区分子类之间的细微区别 （2）我们的框架可以使用有意义的配置来学习特征映射，highlighted regions 与 知识图谱 的节点（特定属性）完全一致。

数据集：Caltech-UCSD bird dataset

人类根据物体的外形和来自日常生活或者professions的知识来进行进行物体识别任务。通常，这些知识是根据一个复杂的视觉概念体系得到的，这个体系包括类别标签和它们的特性。细粒度的图像分类：attributes用来区分子类别。

---

传统的图像识别方法没有使用到这个知识，只是用了low-level 图像线索。如：使用part-based models；visual attention network定位discriminative regions/parts 以区分不同子类别之间的细微差别。然而，part-based 模型包含了object parts 的 heavy annotations，由于缺少的监督或者指导，visual attention networks只能勉强定位parts/regions，不应用到大规模数据中。

最近的方法[He and Peng, 2017a]使用了自然语言描述来帮助搜索具有信息的区域，然后为最终的预测融合vision stream。这种方法融合了hight-level 信息，但直接建模了图像-语言对儿，且每个图像都需要详细的语言描述。

---

本论文以 知识图谱 的形式组织管理关于categories和part-based attributes的知识，形成一个KERL框架来将知识图谱融入到图像特征学习来促进细粒度的图像识别。

两个重要组件：1）Gated Graph Neural Network（GGNN）在图中传递节点信息，生成知识表示 2）一个新的gated mechanism，这个门将这个表示和图像特征相结合，去学着学习attribute-aware的特征。

具体是，首先创建一个大规模的知识图谱，将category labels与part-level attributes联系起来。通过使用给定图像的信息来初始化图节点，我们KERL框架可以含糊地推理出图像的具有判别力的attributes，并将这些attributes与特征图联系到一起。

我们的KERL框架可以用一个有意义的配置学习feature maps，高亮的regions可以与图中相关的attributes关联。

---

贡献：1）novel knowledge-Embedded Representation Learning framework，这个框架结合了high-level 知识图谱作为图像表示学习的额外指导。2）有了知识的指导，我们的框架可以学习attribute-aware 特征映射，这个映射有meaningful且interpretable的配置：highlighted regions与图中相关的attribute 关联。 3）Caltech-UCSD bird dataset 做的实验成功。