【论文翻译|KDD2019】MEIRec：Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation

摘要

在移动电子商务普及的今天，一种新型的推荐服务，即意向推荐，被广泛应用于淘宝、亚马逊等移动电子商务app中。不同于传统的查询推荐和项目推荐，意图推荐是用户打开App时，无需输入任何信息，根据用户的历史行为自动推荐用户意图。意图推荐在过去两年中非常流行，因为可以揭示用户的潜在意图，避免繁琐的手机输入。工业上使用的现有方法通常需要劳动特征工程。而且，仅利用用户和查询的属性和统计信息，没有充分利用意图推荐中丰富的交互信息，可能导致性能有限。在本文中，我们提出将意图推荐中的复杂对象和丰富的交互行为建模为异构信息网络。此外，我们提出了一种基于元路径引导的意图推荐嵌入方法(MEIRec)。为了充分利用丰富的结构信息，我们设计了一个元路径引导的异构图神经网络来学习意图推荐中对象的嵌入情况。此外，为了减轻嵌入过程中学习参数庞大的问题，我们提出了一种统一的项嵌入机制，对象的嵌入由相同的项嵌入空间组成。在真实大规模数据上的离线实验表明，与具有代表性的方法相比，该方法具有更好的性能。而且，在淘宝推荐平台的实验结果表明

1 引言

随着移动互联网的发展，电子商务的重心从个人电脑转向了智能手机，各种移动电子商务平台应运而生。推荐系统作为电子商务平台的一项基础服务，其优点是能够根据用户的喜好提供个性化的推荐。在过去的两年中，一种全新的推荐服务(本文称之为意向推荐)出现在许多电子商务app(如淘宝、亚马逊)中，当用户打开电子商务App时，根据用户的历史行为，自动在搜索框中推荐用户意图(以多个词的形式呈现)。在移动互联网时代，意图推荐盛行的原因有很多。首先，由于在移动设备上打字比在台式机上更难，意图推荐可以在无需输入的情况下节省用户时间，提高用户的活跃度和粘性。其次，用户可能没有明显的意图或者不知道如何描述自己的意图，一个个性化的意图推荐可以帮助用户找到他们真正需要的东西。

在意向推荐系统中，历史信息大致可分为两类。第一种类型是属性数据，包含对象的属性信息，如用户配置文件和项目属性。另一种是交互数据，包含用户、项和查询之间的三重交互，如用户点击(项)日志、用户查询(查询)日志和查询指南(项)日志。

在本文中，我们将意图推荐定义为:无需查询输入，根据用户的历史行为，自动为用户推荐个性化的意图。在这里，在我们的应用场景中，意图被表示为查询，由几个简单而直接地反映用户意图的单词或术语组成。然而，意图推荐与传统的查询推荐/建议[3,14,22]在以下两个方面有所不同。(1)它根据用户行为(即交互)推荐查询，而不是以前类似的查询。(2)也不需要用户输入部分查询。另外，与之前仅考虑用户位置-查询关系的移动查询推荐[24]研究不同，意图推荐提供了一个灵活的框架来考虑真实系统中异构对象上的复杂交互。它在许多方面也不同于项目推荐。(1)我们的意向推荐需要考虑三对象(即用户users、项目items和查询queries)之间的交互，而不是项目推荐中用户和项目之间的二元交互。(2)不同于项目推荐中的原子项和静态项，意图(即由单词构成的查询)总是动态变化的。

目前业界使用的意图推荐方法，如淘宝和亚马逊，通常提取手工制作的特征，然后将这些特征提供给分类器，如GBDT[7]和XGBoost[4]。这些方法在很大程度上依赖于领域知识，需要人工特征工程。它们只利用了用户和查询的属性和统计信息，没有充分利用对象之间丰富的交互信息。然而，交互信息在实际系统中非常丰富，这对于捕获用户意图非常关键。
**异构信息网络(HIN)**作为一种通用的信息建模方法，由多种类型的对象和链接组成，在许多数据挖掘任务中得到了广泛的应用[10,17,18]。在本文中，我们提出用一个HIN来建模意图推荐系统，通过HIN我们可以灵活地利用它丰富的交互信息。如图2(a)所示，显然，HIN清晰地展示了意图推荐中的对象(如用户、项目和查询)及其交互关系，如“用户点击项目”、“用户搜索查询”和“查询引导项目”。虽然已经提出了一些基于HIN的推荐方法[8,19,23]，但它们主要是利用用户与物品之间的交互关系，利用基于元路径的特征，这使得它们很难处理意图推荐中的三重对象交互。

---

本文提出了一种基于元路径引导的意图推荐嵌入方法(MEIRec)。为了充分利用意图推荐中丰富的交互信息，我们提出利用异构图神经网络(GNN)学习用户和查询的结构特征表示。具体地，我们提出了元路径引导的邻居来聚合丰富的邻居信息，其中根据不同类型的邻居信息的特点设计了不同的聚合函数。此外,为了处理大规模数据参与意图的建议,考虑到两个查询和标题的物品由数量有限的条件,我们设计一个统一的术语嵌入机制,嵌入的用户和查询嵌入空间是由相同的术语。我们利用现有系统中使用的静态特性，以及从交互信息中学习到的用户和查询的嵌入，建立意图推荐的预测模型。
本文的主要贡献总结如下:

• 我们提出了一个重要但很少被利用的意图推荐问题，即根据用户的历史行为自动推荐个性化的意图。
• 我们提出了一个带有GNN的新的MEIRec模型。通过将意向推荐系统建模为HIN, MEIRec利用元路径引导的邻居来挖掘HIN中丰富的交互信息。此外，设计了统一项嵌入机制，大大减少了参数空间。
• 在大规模真实数据上进行的大量离线实验表明，我们的MEIRec优于具有代表性的基线。我们还在淘宝电子商务平台上进行了在线实验。结果表明，我们的模型显著改善了平台考虑的关键指标。特别是平台吸引了2.66%的新用户通过我们的方法搜索推荐查询。

3 模型

提出的模型MEIRec的基本思想是设计一个异构GNN来丰富用户和查询的表示。在意图推荐系统构建的HIN的帮助下，MEIRec利用元路径来指导不同步长邻居的选择，并设计了异构GNN来获取用户和查询的丰富嵌入。此外，由于条目的查询和标题由少量的条目组成，我们将不同类型的对象用统一的条目嵌入来表示，从而减少了参数学习。
图3显示了MEIRec的总体框架。首先，我们使用包含的三重对象HIN作为输入。其次，我们使用统一术语嵌入生成项目和查询的初始嵌入。第三，我们通过异构GNN聚合元路径引导的邻居信息来学习用户和查询的嵌入。然后，我们分别基于不同的元路径融合用户和查询的嵌入。最后，结合用户和查询的融合嵌入，以及用户和查询的静态特性，预测用户搜索特定查询的概率。我们将在以下小节中详细说明这些步骤。

3.2 统一项嵌入

在以往的基于神经网络的推荐中，每个用户或查询都应该有一个唯一的嵌入。在意图推荐场景中，有数十亿用户和查询。如果采用传统的协同过滤或基于神经网络的方法来表示所有用户和查询，将会使参数数量庞大。注意，项的查询和标题是由术语组成的，术语的数量并不多。因此，我们提出用少量的术语嵌入来表示查询和项。因此，我们只需要学习术语嵌入，而不是所有的对象嵌入。该方法能够显著减少参数的数量

利用来自同一词典的词汇，在统一的词汇嵌入空间中获得查询和条目的嵌入。因此，可以通过同时嵌入所有对象来优化术语嵌入。这导致术语嵌入包含嵌入层中的用户查询和用户项交互信息。此外，我们只需要学习小尺寸的术语嵌入(在我们的实验中，它大约是280000个对象)，这大大降低了我们的模型的复杂性。

3.3 基于元路径的异构图神经网络

结论

在本文中，我们研究了在移动电子商务中对提高用户的活跃度和粘性起着重要作用的意图推荐问题。为了解决意图推荐中存在的问题，我们使用HIN对意图推荐系统中的对象和交互进行建模，提出了一种新的元路径引导的意图推荐GNN方法，称为MEIRec。MEIRec利用元路径引导的邻居来挖掘HIN中丰富的结构信息。此外，在MEIRec中设计了统一的术语嵌入，不仅大大减少了参数空间，而且使其适合新生成的用户和查询。大量的离线和在线实验结果证明了该模型的有效性。

---

总结