MMKG: Multi-Modal Knowledge Graphs

背景：
知识图谱提供了有效组织和管理信息的方法，但是KG通常是高度不完整的，因此知识图谱的研究主要集中于在知识图谱的完成问题。链接预测（预测KG中实体的缺失关系）、关系提取（语义关系提及分类）、本体匹配（跨KG中实体和关系的对齐和集成）是解决不完整问题的不同方法。现有的知识图谱大多都以纯文本的形式出现，缺乏与真实世界中的链接，多模态知识图谱（MMKG）被提出。
内容的提出：
MMKG以传统的文字知识图谱Freebase为基础，使用常用的子集Freebase15k作为构建的基础，构建的多模态知识图谱是三个知识图谱的集合，包含了所有实体的数字特征和图像（链接）以及还有三个知识图谱之间的实体对齐（通过sameAs进行链接），也通过实验证明了MMKG在相同链路预测任务中的有效性。
MMKG是一个由三个知识图谱组成的集合，用于链路预测和实体匹配研究，包含了所有实体的数字特征和图像。主要贡献如下：（1）依据Freebase15k构建了DBpedia15k和YAGO15k，通过sameAs链接将Freebase中的实体与DBpedia、YAGO中的实体连接起来，同时三个知识图谱都含有丰富的数字文字和图像信息，以及链接这些知识图谱队之间的sameAs谓词、数字文字和实体的图像链接，证明了知识图谱的补全问题可以从受益于多模态数据中。
构建的过程：
（1）以Freebase15k作为基础，提取FB15k中与DBpedia实体之间的对齐，这些对齐通过sameAs关系将FB15k中的一个实体链接到DBpedia中的一个实体。
（2）FB15k中实体大部分可以与DBpedia中的实体相匹配，对于一些不能跨知识图谱对齐的实体，在DB15k中加入额外的实体，收集头实体和尾实体都属于DB15k实体集的所有三元组，构成DB15k的关系图结构。
（3）收集DB15k中的实体与数字字面值相关联的三元组，如/location/geocode/latitude将实体链接到他们的纬度，这些关系称为数值关系。
（4）获得与每个实体相关联的图像。使用wikipadia url作为查询字符串，利用爬虫程序下载每个实体的图像，存储每个浏览器检索到的排名前20的图片，过滤出边长小于224像素的图片，以及边长大于2.5像素的图像，平均每个实体保持55.8张图片，图像缩放为最大高度或宽度为500像素，保持其纵横比，为每个实体分配一个不同的图像给FB15k和DB15k。
创建YAGO15k重复相同的步骤，只有一个不同之处，来自YAGO中的实体只与DBpedia中的实体对齐，将其与之前提取的DB15k与FB15k之间的比对一起使用，创建YAGO与FB15k实体之间的对齐 。
为了保障视觉信息的访问，通过VGG16模型学习图像的嵌入，去掉训练后的softmax层，对所有的MMKG图像进行4096维的嵌入，以hdf5格式提供这些嵌入。
实验：
评估MMKG的技术质量。知识图谱的完成受益于MMKG的多模态数据。近年来，有许多融合特征类型的方法：串联、集成等操作。通过sameAs链接预测任务来证明不同模式对同一链接预测任务是互补的，这里的目标是回答（head？，sameAs，tail）或者（head，sameAs，tail？），其中的头实体和尾实体来自不同的KG，只考虑一对一的假设
模型：
PoE模型：视觉部分只学sameAs的关系类型，图片部分的评分由两个4096维特征向量的余弦相似度计算。其他baseline模型：concatenation（一对对齐的实体，每一对被描述为一个向量，其中两个实体的所有模态特征都被连接起来）、Ensemble（将不同的专家模型组合成一个集成分类器，首先对每个专家模型进行独立训练，在测试的时候，添加专家模型的分数，并且用于实体进行排名）。
实验操作：
评估在两个KG之间对齐比例的低、中、高时不同模态的影响。H是第一个KG的实体，依次用第二个KG的每个实体来替换尾部，根据分数或者概率对三元组进行排序，计算正确实体的排名（MRR、hit@n），并且进行消融实验，分别描述每个模态的性能。
总结：
提出了MMKG，包含多模态数据的三个知识图谱的集合，并且通过大量的实验证明了该数据集在链路预测任务中的有效性。
观点与分析：
依据传统的三个文本知识图谱为基础，在三个知识图谱之间建立sameAs链接，同时补充图片和数值信息到文本中，补全文本知识图谱，图片通过VGG的方式学习嵌入，以hdf5的形式进行存储，保障视觉信息的访问。最后使用PoE模型将多个专家模型进行融合，进行链接预测任务来评估MMKG模型的技术标准。
优点：
将多个文本知识图谱链接起来，通过图像补全文本知识图谱，通过实验评估得到的MKKG模型在链接预测任务中具有有效性。
缺点：
图像没有作为单独的实体存在，是以一种通过向量的形式进行嵌入，最后将嵌入保存在了文件中。