2篇ICLR 2020 推理主题论文解读
ICLR专题
知识图谱作为人类知识的载体，蕴含着丰富的语义知识，因此支撑着许多上游的应用，例如问答，推荐等。基于知识图谱的推理作为知识图谱问答的基础，也是有着不同的解决框架，本文解读了两篇不同框架的论文：一篇是基于知识图谱的向量嵌入技术，完全基于向量操作进行推理演算；另一篇是基于Neural Logic Programming框架，并进一步解决了数值推理的问题。
1，Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings
(ICLR 2020, Poster)
Hongyu Ren, Weihua Hu, Jure Leskovec
Code
随着知识图谱向量嵌入的技术发展，衍生出了另一种基于向量的知识图谱推理方法，与之前的Neural-LP（Neural Logic Programming）类似的推理框架不同，这一推理框架将问题和实体都表示成低维向量，随后通过向量计算实体与问题的相似度，从而选取相似度较高的实体作为问题的答案实体。然而，之前的方法都是把问题表示为单个向量，但较为复杂的问题可能具有多个答案实体，所以将这种复杂问题表示成语义单一的单个向量明显是不合理的。本文提出了一种Box Embedding的思想，将问题表示成向量空间中的具有一定空间范围的box，这样的query box中就可以自然的包括所有答案实体，充分表示了复杂问题的语义信息。
具体来说，box embedding是由中心向量和偏移向量所组成，覆盖向量空间中的一定范围，所以，问题中的源实体也可以看成一种偏移量为零的特殊box，通过一系列的逻辑向量操作，就可以得到最终的包含答案实体的box。首先文中定义了合取式的逻辑向量操作，认为合取式都可以用俩种逻辑操作：Projection，Intersection来表示。Projection表示KG中的关系映射，也是由中心向量和偏移向量所组成；Interaction表示多个box embedding的交集，如下图所示：
最终通过比较实体向量与最后得出的box的距离（Distance），就可以得到答案实体。
随后，又进一步加入了逻辑的析取表达。文中证明，若将析取也定义成与合取类似的逻辑向量操作的情况，那么生成的不同问题数量跟知识图谱的实体数目是成正比的，这将使模型很难泛化到大规模知识图谱中。所以文中提出将问题转换成一种由多个合取所组成的析取范式框架(Disjunctive Normal Form)，将析取定义成对所有合取结果的最后一步合并操作，如下图：
这样就可以以一种温和的方式引入析取表达，扩大了模型的表达能力。
模型系统地在三个标准的知识图谱（FB15K,FB15K-237,NELL995）进行了评测，并与另一个相关的baseline GQE (Hamilton et al., 2018)进行了对比：
p(Projection), i(Intersection),u(Union) 代表不同的问题组成。 实验结果表明Q2B在所有情况下都显式的优于Q2E，体现出Box embedding的有效性。
2，Differentiable learning of numerical rules in knowledge graphs
ICLR 2020 (Poster)
Po-Wei Wang, Daria Stepanova, Csaba Domokos, J. Zico Kolter.
先前的基于Neural-LP（Neural Logic Programming）框架的模型一般只能在由<实体，关系，实体>组成的知识图谱结构谓词上进行推理，而不能解决涉及到实体属性数值方面的问题，例如“比A年长的人是谁？”本文是在Neural-LP框架上进行了拓展，加入了数值推理的逻辑，解决了数值比较，属性聚合以及求反等三个方面的推理。
具体来说，文中把实体属性的数值比较也定义了成了一种谓词操作：
其中，p, q表示待比较的属性，这样就可以自然的将属性谓词使用类似于Neural-LP的谓词矩阵运算来实现。但是与关系谓词不同，属性谓词矩阵通常是稠密的，因为属性在实体上较为通用，而稠密矩阵的相乘复杂度特别高，所以文中定义了一种排序正则化的思路，将矩阵相乘转化为排序后的累加，极大地降低了复杂度。有了之前的定义，求反操作就比较容易得出，即对于之前得到的属性谓词矩阵的每一维取非(0->1, 1->0)，但会遵循Local Closed-world Assumption(LCWA)，即至少有一个非0值的行才会取非。
基于定义的数值比较和求反操作，通过在之上施加聚合函数 F 去达到多个属性操作聚合作用的效果，例如下面一条逻辑表达式：
其中 F 代表的聚合操作就是由俩种基础的属性比较操作的某种联合作用，聚合函数可用任意的神经网络来替换，文中使用了简单的MLP。
模型系统地在两个标准的知识图谱（FB15K-237-num, DBP15K-num）上进行了评测，并且为了体现出数值推理的作用，文中又构造了俩个富含属性信息的数据集Numerical-1/2，实验结果如下：
实验结果可以看出，本文基于Neural-LP拓展出的方法Neural-Num-LP在自造的数据集上，达到了一种很好的效果，而另外俩个相关的baseline因为没有加入数值推理的逻辑，所以效果不行；同时，在俩个标准知识图谱上，Neural-Num-LP也能达到一个较好的效果，体现出框架的一方面很好的保存了关系推理的功能，又较好的建模了数值推理的逻辑。
参考文献：
[1] Will Hamilton, Payal Bajaj, Marinka Zitnik, Dan Jurafsky, and Jure Leskovec. Embedding logical queries on knowledge graphs. In Advances in Neural Information Processing Systems (NeurIPS), pp. 2027–2038, 2018.
相关阅读：
ICLR 2020 | 小桃无主，轻带晚鸦---从逻辑表达视角看GNN
ICLR 2020 | PairNorm: Tackling Oversmoothing in GNNs
ICLR 2020 | 预训练图神经网络模型
ICLR 2020 | 探索新的图表征学习思路
ICLR 2020 | NLP预训练模型的全新范式：对比学习
ICLR 2020 | 互信息视角下的表征学习
ICLR 2020 | 反事实因果理论如何帮助深度学习？
ICLR 2020 | 浅谈GNN：能力与局限
ICLR 2020 | 一种高效、表达能力强的可微分归纳逻辑推理模型
ICLR 2020 | 基于谱方法的高效多级图嵌入框架
ICLR 2020 满分论文解读| 一种镜像生成式机器翻译模型：MGNMT