Hierarchical attentive knowledge graph embedding for personalized recommendation

Hierarchical attentive knowledge graph embedding for personalized recommendation

文章目录

  • 1. 背景
  • 2. 模型
    • 2.1 子图构建
    • 2.2 Hierarchical attentive subgraph encoding
      • 2.2.1 实体嵌入学习
      • 2.2.2 子图嵌入学习
    • 2.3 偏好预测

1. 背景

KG可以为user和物品之间的交互提供丰富的补充信息。大多数现有的方法都不足以利用KG来捕获用户偏好,因为它们要么通过具有有限表达性的路径来表示用户-物品的连接,要么通过在整个KG上传播信息来隐式地建模,并带有不可避免的噪声。因为基于路径的方法的线性路径只能捕获用户-物品连接的部分语义,而用户-物品连接最初是由具有丰富语义和非线性拓扑的子图表示的。基于传播的方法不是直接表示用户-物品连接性,而是通过在整个KG上传播信息来隐式地对它们进行建模,其中用户偏好通常是通过聚合来自所有邻居的信息来学习的,会引入与目标物品无关的噪声。

因此作者设计看HAKG利用知识图嵌入进行有效的推荐。HAKG探索了连接KGs中用户-物品项目对的子图,以表征它们的连通性,这在概念上优于大多数现有方法,因为:(1)作为独立路径的非线性组合,子图包含KGs的丰富语义和拓扑,比线性路径更具表现力;(2)子图只保留与特定用户-物品连通性相关的实体和关系,这能够避免从整个KG引入噪声。

HAKG旨在有效地将子图的综合信息编码为低维表示(即嵌入),以更好地揭示用户偏好。子图编码是通过分层关注嵌入学习过程实现的,该过程包含两个核心步骤:(1)实体嵌入学习,通过分层传播机制学习子图中实体的嵌入。特别是,每一层基于从其邻居传播的语义更新实体嵌入,并且多层堆叠以将子图拓扑编码为学习到的实体嵌入;(2)子图嵌入学习,对实体嵌入进行聚合,得到整体子图嵌入。我们采用一种新的自注意机制来区分子图中实体的重要性,从而学习一种有效的子图嵌入,以更好地表示用户-项目的连通性。

2. 模型

Hierarchical attentive knowledge graph embedding for personalized recommendation_第1张图片

2.1 子图构建

将子图挖掘转换为路径采样,然后组装user-item对之间的采样路径去重建子图。

  • Path Sampling
    统一采样连接user与item对的K条路径,每条路径的长度不超过6。
  • Path Assembling
    通过组合(u,i)的采样路径,得到(u,i)的子图。将路径中的object和connect映射道关系和实体。

2.2 Hierarchical attentive subgraph encoding

两个挑战:子图中有丰富的语义信息和高阶拓扑信息,以及不同实体对传播用户偏好的重要性。

分层嵌入学习过程包括:(1)实体嵌入学习,通过分层传播机制利用子图的语义和拓扑,从而学习子图中实体的有效嵌入;(2)子图嵌入学习,将实体嵌入集中起来,得到整体子图嵌入,其中利用自注意机制来区分实体的重要性。

2.2.1 实体嵌入学习

主要包括三种操作:嵌入初始化、语义传播和语义聚合。

  • Embedding Initialization

首先采用Embedding-lookup 层,找到每个实体及实体类型对应的低维嵌入向量,再将这两个向量拼接起来。
Hierarchical attentive knowledge graph embedding for personalized recommendation_第2张图片

  • Semantics Propagation

KG中来自各种关系的丰富语义信息对理解不同用户的意图很重要,因此作者再传播过程中对异构关系进行显示建模。
Hierarchical attentive knowledge graph embedding for personalized recommendation_第3张图片
HAKG从各种实体和关系中充分编码子图的丰富语义,有助于更好的实体嵌入学习。

  • Semantics Aggregation

语义聚合操作聚合来自邻居的语义,以细化目标实体的嵌入。
在这里插入图片描述
最终得到的实体嵌入为:
在这里插入图片描述
然后进一步对子图构造实体嵌入矩阵:
Hierarchical attentive knowledge graph embedding for personalized recommendation_第4张图片

2.2.2 子图嵌入学习

子图嵌入学习通过集中实体嵌入生成整体子图嵌入,其中利用自注意力机制区分子图中实体的重要性以增强嵌入学习。

  • 自注意力机制
    对于有n个实体的子图,自注意力机制以实体嵌入矩阵作为输入,通过注意力网络输出图中实体的重要性:

Hierarchical attentive knowledge graph embedding for personalized recommendation_第5张图片
其中m是注意力头数,n是子图中的实体个数。

基于注意力得分,推导出子图的嵌入:
在这里插入图片描述

2.3 偏好预测

在这里插入图片描述

你可能感兴趣的:(论文阅读,推荐系统,知识图谱,知识图谱,embedding,人工智能)