【论文解读】HyTE

HyTE:基于超平面时间感知的知识图谱Embedding

一个人可以非常清贫、困顿、低微，但是不可以没有梦想。只要梦想一天，只要梦想存在一天，就可以改变自己的处境。 — 奥普拉·温弗瑞

Trans系列的主题是基于翻译模型的知识表示学习，主要用来解决知识表示和推理的问题。本文主要介绍TransE和数据集Wordnet、Freebase等。

表示学习：主要面向知识图谱中实体和关系进行表示学习，一般使用建模方法将实体和向量表示在低维稠密向量空间中，然后计算并推理，主要的应用任务有三元组提取(triplet classification)和链接预测(link prediction)。

Trans系列的源头应该就是这篇介绍的与2013年被提出的TransE模型，之后针对TransE模型的改进和补充也成为了近年来知识表示的研究热点。

TransE，NIPS2013，Translating embeddings for modeling multi-relational data。

TransH，AAAI2014，Knowledge graph embedding by translating on hyperplanes。

TransD，ACL2015，Knowledge graph embedding via dynamic mapping matrix。

TransA，arXiv2015，An adaptive approach for knowledge graph embedding。

TransG，arxiv2015，A Generative Mixture Model for Knowledge Graph Embedding

KG2E，CIKM2015，Learning to represent knowledge graphs with gaussian embedding。

TranSparse，AAAI2016，Knowledge graph completion with adaptive sparse transfer matrix。

基于超平面时间感知的知识图谱Embbeding

HyTE: Hyperplane-based Temporally aware Knowledge Graph Embedding
论文/实现

作者

Shib Sankar Dasgupta, Swayambhu Nath Ray, Partha Talukdar

解决的问题

假设有如下事实：E:(C罗，效力于，曼联).
但事实是，C罗在2003至2009年效力于曼联，也就是E的有效期是2003-2009，许多知识图谱在知识嵌入过程中均忽略了这个时间维度。

目的

HyTE，通过一种时间上感知的KG嵌入方法，它通过将每个时间戳与相应的超平面相关联，明确地将时间结合在实体关系空间中。

方法

受TransH的启发，HyTE提出一种利用在时间分布学习知识图谱表示的超平面。

实验

• 数据集
  • YAGO11k
    
    选择其中包含起始、结束时间的样本，共722494条。从中选择10种最依赖时间的关系类型。为了处理稀疏性，递归的删除掉包含只在子图中提到过一次的实体的边。最终，可以得到包含20.5k个三元组，10623个实体的数据集。
  • Wikidata12k
    
    与YAGO11k相仿的处理，取前24种最依赖时间的关系类型，得到一个包含40k个三元组，12.5k个eg实体的数据集。
• 任务
  • Link Prediction
    • 任务一：Entity Prediction
      
      通过给出一个不完整的三元组和时间点，预测缺失的实体。
    • 任务二：Relation Prediction
      
      其主要动机是处理特定时间范围内两个实体间的关系冲突。
  • Temporal Scope Prediction
    
    • 任务：预测三元组的时间范围
• 评价指标
  • Mean rank
    
    对于输入的三元组，通过f(·)函数打分(衡量的是距离，越小越好)，然后为正样本打分，看正样本得分在所有得分中的排序名次，最后对这个名次求均值，得到mean rank，mean rank越小越好。
  • hits@10
    
    指按照上述方法进行f函数值排列，然后看正确的三元组是否能够排在前十，如果在的话就计数+1，最后与总数相除得到一个百分数。hits@10越大越好。
  • hits@1
    
    与上述同理，不过只看三元组能否排第一。

结论与未来工作

• 结论
  
  HyTE利用KG的时间范围事实来执行链接预测以及预测未注释的时间事实的时间范围。通过对真实数据做实验，证明了HyTE对经典的和时间感知的嵌入方法的有效性。

• 未来工作
  
  1、可以通过合并类型一致性信息以进一步改进我们的模型。
  
  2、HyTE的应用，将时间演进模型应用到实际工作中。

  ps：欢迎小伙伴们访问我的个人主页，并与我交流哦！