【paper】 Knowledge Vault: A Web-Scale Approach to Probabilistic Knowledge Fusion
【简介】 本文是谷歌的研究者发表在 KDD 2014 上的工作,提出了一套方法用于自动挖掘知识,并构建成大规模知识库 Knowledge Vault(KV);KV 的构建包括知识提取器、基于图的先验及两者的融合。本来打开这篇文章是为了看 MLP 模型,但 MLP 只是其中的一个组合部分。
本文的主要贡献如下:
KV 包括三部分组成成分:
本文的框架遵循局部封闭世界假说(Local closed world assumption, LCWA)。封闭世界假说是指不存在于 KB 中的事实都被判定为 false。但由于 KB 本身就是不完整的,因此这种假说不合理。因此本文提出一种启发式假说,定义了 O(s,p)O(s,p),对于给定的候选三元组,按照如下规则打标签:
对不同的 web 资源提出了不同的处理方法:
对于自由文本 text documents,首先用 NLP 工具进行命名实体识别、词性标注、共指消解等处理,然后使用远程监督训练关系抽取器,并用 bootstrapping 方式挖掘更多实体对。
对于 HTML trees(DOM),和自由文本的处理方法一样,唯一不同的是从 DOM 树中连接两个实体获取特征而不是从自由文本。
对于 HTML tables,首先进行命名实体链接,然后识别表的每列表示的关系。
人工标注页面(ANO)。只有14个不同属性的子集,三元组的打分由实体链接系统给出。
抽取器融合: 对上面介绍的4种抽取器进行整合,对每个抽取出的三元组分配一个特征向量,并用二分类器计算该特征向量代表的三元组的得分:
分类器为每个抽取器分配一个权重,且每种属性适配一个单独的分类器,最后进行整合。
介绍了两种对三元组进行打分的先验模型:PRA 和 MLP
PRA 学到的路径可以被视为规则,根据规则做推断,进行链接预测。
将 KB 表示为 3d 矩阵 G,若从 s 到 o 的链接 p 存在,则 G(s,p,o)=1G(s,p,o)=1,否则 G(s,p,o)=0G(s,p,o)=0。
三元组成立的概率通过元素点积计算:
其中,激活函数 σσ 为 sigmoid 或 logistic 函数:
K 约为 60,为隐藏层维度。
还有一种是 NTN 的形式:
本文使用的 MLP 形式为:
实验发现,两种用于计算先验概率的图模型的效果相差无几,MLP 的 AUC 是 0.882,PRA 的 AUC 是 0.884。
和抽取器融合类似,也对图模型 priors 进行了融合。
对抽取器和 prior 进行融合,对三元组打分的结果:
与单使用抽取器相比,融合 priors 和抽取器增加了高置信度事实的数量。
【总结】 本文提出了 Web 规模的概率知识库 Knowledge Vault 的构建过程,将多个抽取器与先验知识打分模型结合,自动化构建知识库。
双线性模型(三)(MLP、TATEC) - 胡萝不青菜 - 博客园