元路径指导的异构图神经网络意向推荐
论文地址：http://www.shichuan.org/doc/67.pdf
论文题目：Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
简介：这是阿里在“搜索框”推荐词场景的图卷积应用的论文翻译，具体重点描述可以参考：阿里搜索框的推荐词（图卷积解决办法）你真的懂了吗？
摘要：如今，随着移动电子商务的盛行，一种新型的推荐服务，称为意图推荐，广泛用于许多移动电子商务应用程序，例如淘宝和亚马逊。与传统查询推荐和项目不同推荐，意图推荐是根据用户的历史行为自动推荐用户意图，而无需用户打开应用程序时任何输入。在过去的两年中，用户潜在意图并避免在手机中输入繁琐的内容这一操作非常提高用户体验。工业上使用的现有方法通常需要复杂特征工程。而且，它们仅利用用户和query的属性和统计信息，而没有充分利用user和query的交互信息，这可能导致性能受限。
如今，随着移动电子商务的盛行，一种新型的推荐服务，称为意图推荐，广泛用于许多移动电子商务应用程序，例如淘宝和亚马逊。与传统查询推荐和项目不同推荐，意图推荐是根据用户的历史行为自动推荐用户意图，而无需用户打开应用程序时任何输入。在过去的两年中，用户潜在意图并避免在手机中输入繁琐的内容这一操作非常提高用户体验。工业上使用的现有方法通常需要复杂特征工程。而且，它们仅利用用户和query的属性和统计信息，而没有充分利用user和query的交互信息，这可能导致性能受限。在本文中，我们建议，对意图推荐中的复杂对象和丰富的交互信息进行建模，作为异构信息网络。此外，我们提出了一种新的用于意图的Metapath-guided嵌入方法（称为MEIRec）用于推荐。为了充分利用丰富结构信息，我们设计了以变态为导向的异构图神经网络学习意图中的对象嵌入建议。另外，为了减轻大量学习嵌入中的参数，我们提出了统一的术语嵌入机制，其中对象的嵌入由同一术语嵌入空间。真正大规模的离线实验数据显示，与传统代表性方法相比，MEIRec具有优越的性能。而且，在线结果淘宝电子商务平台上的实验表明，MEIRec不仅将点击率指标提高了1.54％，但也吸引了多达2.66％的新用户来搜索查询。
1 INTRODUCTION
随着移动互联网的发展，电子商务的重点已从个人计算机转移到智能手机，并且出现了各种移动电子商务平台。推荐系统已经被公认是电商软件的一部分，可根据用户的喜好提供个性化推荐。在过去的两年里，一本内容推荐服务（在此篇论文中称为意图推荐），在许多电子商务应用（例如淘宝和亚马逊）中都有出现，它会用户打开电子商务应用程序时自动推断用户意图（根据用户的历史记录）。首先，由于在移动设备上键入query比较困难，相比台式计算机上的意图推荐来说，可以节省用户输入的时间，这会增加用户的活动性和粘性。其次，用户可能没有明显的意图或不知道如何为了描述他们的意图，个性化的意图推荐可以帮助用户找到他们真正需要的东西。
图1展示了一个淘宝app的意图推荐场景。 根据用户的历史信息，用户打开应用程序时，系统会在搜索框中自动填充您的意图（例如，显示为“乔丹”）。 如果用户单击搜索按钮，他/她将跳到相应的项目列表页面。 在意图推荐系统中，历史信息可以大致分为两类。 第一种是属性数据，包含item的属性信息，例如用户个人资料和商品属性。 另一种类型是交互数据，包含用户，item和query之间的三重交互，例如当用户点击日志，用户搜索（查询）日志和意图推荐这个idea的日志
在本文中，我们将意图推荐定义如下：自动根据用户的历史行为为用户推荐个性化意图，而无需查询输入。在这里我们的应用场景中，意图表示为查询，包括简单地直接反映用户意图的几个单词或术语。但是，意图推荐不同于传统查询[3、14、22]。可以从下面两个方面对比 （1）根据用户行为（例如，和item、query交互信息），而不是直接拿和上一次query词类似的词。 （2）不需要用户输入部分查询。也不同于先前的研究[24]-仅考虑用户历史查询数据，意图推荐提供了一种灵活的方法，可以考虑实际系统中在各种item上的交互。它也不同于item推荐（1）我们的意图建议需要考虑三重对象（即用户，商品和查询）之间的互动，而不是用户和item之间的两者交互行为。 （2）不是静态意图，结果始终动态变化。
行业中现有的意图推荐方法，例如淘宝和亚马逊，通常会提取人工提取特征，然后将这些特征提供给分类器，例如GBDT [7]和XGBoost [4]。 这些方法严重依赖领域知识和需要辛苦的特征工程。 他们只利用属性和用户和查询的统计信息，无法充分利用对象之间丰富的交互信息。 然而，交互信息在实际系统中非常丰富，真正掌握用户意图至关重要
作为一种通用的信息建模方法，异构信息网络（HIN）[18]由多种类型的objects和links，已广泛应用于许多数据挖掘任务[10、17、18]。 在本文中，我们建议使用HIN对意图推荐系统进行建模，通过它我们可以灵活地利用其丰富的交互信息。 如图2（a）所示，很明显，HIN清楚地说明了意图推荐中的对象（例如，用户，项目和查询）及其交互关系，例如“用户点击项”，“用户搜索查询”和“query指导item”项目”。 虽然，一些基于HIN的推荐方法具有[8，19，23]被提出，它们主要通过利用用户之间的交互关系来利用基于元路径的特征。和项目，这使得它们很难处理意图推荐中的三重对象交互。
在本文中，我们提出了一种新颖的以Metapath嵌入来进行意图推荐的方法（称为MEIRec）。为了在意图推荐中充分利用丰富的交互信息，我们建议使用异构图神经网络（GNN）学习user、query的结构特征表示。具体来说，我们利用 metapath-guided邻域信息来聚合丰富的邻域信息，其中不同的聚合函数，是根据不同类型的邻域设计的。另外，为了处理在意图推荐中涉及搭配的大规模数据，考虑到query和item的标题由有限的term组成，我们设计了统一的term嵌入机制，其中user和query的嵌入是由相同的term嵌入空间组成。利用现有系统中使用的静态特征，以及从中学习的用户和查询的嵌入互动信息，我们建立了意图预测模型建议。
•我们提出了一个重要但很少开发的意图推荐问题，该问题会根据用户的历史行为进行个性化自动推荐。
•我们用GNN提出了一个新颖的MEIRec模型。 通过将意图推荐系统建模为HIN，MEIRec利用以元路径为导向的邻居来进行丰富的交互HIN中的信息。 此外，统一term嵌入机制旨在大大减少参数空间。
•基于大规模真实数据的广泛离线实验我们的MEIRec优于典型基准。我们还在淘宝电子商务上进行在线实验平台。 结果表明，我们的模型大大改善了平台考虑的关键指标。 尤其，该平台吸引了2.66％的新用户来搜索借助我们的方法推荐的查询
2 PRELIMINARIES
在本节中，我们定义了一些基础的概念
Intent Recommendation：有这样一组集合，U I Q W A B，U的取值是{u1,...,up}，代表了q个用户，I的取值是{i1,...,iq}，代表了q个item，Q的取值是{q1,...,qr}，代表了r个query，W的取值是{w1,...,wn}代表了n个term，A代表了和item的属性，B代表了用户和多个object的交互习惯，在本文中，一个 query或者item都是由若干个term组成的，内容推荐的目的是给推荐最相关的内容（eg:query）
如图1所示，对于一个用户u，当他刷新app时，我们可以从A B中计算他下一个可能输入的query，并且把这个query推荐给他。它值得注意的是，利用用户历史交互信息推荐的query反映了用户的意图。 此外，推荐的query可能不是previous的query，而是现有term组合生成的新短语。
我们在异构信息网络（HIN）的设置中对推荐任务进行建模[20]。 HIN定义为图G =（V，E），它具有多个节点类型或链接类型。在HIN中，提出了网络模式来描述网络的元结构，该元结构描述了对象类型及其相互作用关系。 metapath[20]，连接两个对象的关系序列提，以捕获结构和语义对象之间的关系。
图2（a）显示了HIN的一个小示例，图2（b）是相应的网络架构。 我们可以看到网络由多种类型的对象（例如，用户（U），项目（I），query词（Q））和他们丰富的交互信息。 我们特别感兴趣在淘宝app中，从user、query开始，可以揭示user、query的语义关系。 例如，在图2（c）中，“ U ser-Item -Query（UIQ）”元路径表明user单击item，这些item将受到一些query词的限制（指导）。 和“ Query -U ser-Item（QUI）”表示query被某些user搜索，这些用户最近还点击了一些项目
Metapath-guided Neighbors. 在HIN中给定一个object o，和一个metapath ρ(这个path从o开始)，metapath-guided的邻居定义为，当对象o沿着给定的metapath ρ游走的时候，经过的所有object，我们定义object o第i步的邻居为 Ni ρ (o)，N0 ρ (o)就是o自己
以图2a为例，给定一个metapath(User - Item - Query(UIQ))，用户指定为u2，那么根据这个meta-path，N1 UIQ(u2) = {i1,i2}，N2 UIQ(u2) = {q1, q2, q3}，以metapath-guided的邻居就是 N UIQ(u2) = {N0 UIQ(u2), N1 UIQ(u2), N2 UIQ(u2)} = {u2,i1,i2, q1, q2, q3}.
3 THE MEIREC MODEL
在本节中，我们展示提出的模型，为意图推荐提出的的Metapath-guided嵌入（MEIRec）
3.1 Overview
MEIRec的基本思想是设计一种异构GNN，以丰富用户和query的表示形式。借助意图推荐系统构建的HIN，MEIRec利用元路径来指导不同步骤的邻居选择，并设计异构GNN以获取丰富的用户和查询的嵌入向量。 而且，为了学习更少的参数，我们提出不同类型的object用统一的term-embedding进行表示，因为query和item的标题由一小部分term组成
上面图3所示就是整个MEIrec的总体框架，首先，我们有包含
3.2统一term嵌入
在以前的基于神经网络的推荐中，每个user或query应具有唯一的embedding向量。 在意图推荐方案中，有数十亿用户和query。 如果我们采用传统的协作过滤或基于神经网络的方法来表示所有用户和查询，这将使参数巨大。 请注意，query和item的标题是由term构成并且term的数量并不多。 所以我们建议表示少量的查询和项目术语嵌入。 因此，我们只需要学习术语嵌入，而不是所有对象嵌入。 这种方法能够大大减少了参数数量。
具体来说，我们从查询和商品的标题中提取字词，并建立一个term词典W = {w1，w2，...，wn-1，wn}。 注意查询和项目（即标题）由其中几个w构成。 例如，如图3（a）-（b）所示，query "Hand Bag"由“Hand”和“Bag”以及“ LV Hand Bag”一词组成由“ LV”，“ Hand”和“ Bag”组成。 因为词典W远远少于查询和用户的数量，统一的术语嵌入可以显着减少数量学习的参数。 更重要的是，以前没有被搜过的query或者item也可以进行表示。
接下来我们将说明统一嵌入向量如果进行嵌入，用图3的i2 q2来解释，q2由w1 wn两个term组成，i2由w1 w(n-1) wn组成，我们用多编码来表示
term到embedding的操作，我们定义为函数 f = M->R(d)，M代表了term这个字典，会把每个term转换成d维向量。在look-up层，query和item会去查找每个term的embedding，然后聚合在一起，我们建议按照下面的办法进行聚合
e(wi)是term wi的embedding，g(.)代表了对term的操作方式，在我们的实验中，我们使用平均。
通过使用来自同一词典的术语，我们在统一的术语嵌入空间中获得了查询和项的嵌入。因此，术语嵌入可以通过所有元素的嵌入来优化同时对象。 这导致术语嵌入包含嵌入层中的用户查询和用户项目交互信息。 而且，我们只需要学习术语嵌入体积小（大约28万，比起来千万级别的item来说小多了），从而大大减少了我们模型的复杂性。
3.3 Metapath-guided Heterogeneous Graph Neural Network
受GCN生成对象的embedding的基本思想启发 - 基于局部邻居[12，21]，我们首先提出了metapath-guided的异构GNN。 也就是说，我们利用 metapath 来获取对象的不同邻居的 different-step ，并且user和query的嵌入是在不同metapath下其邻居的聚合
我们在图4中提供了一个玩具示例来说明此过程。在这里，我们描述如何根据多个metapaths获取u2的嵌入，例如UIQ和UQI。 我们首先说明我们如何沿路径UIQ汇总邻居信息。 我们用统一项嵌入以获得的初始嵌入查询。 然后，我们汇总以元路径为导向的邻居信息，以获取用户u2的以元路径为指导的嵌入。在图2(a)中给出的网络实例数据中，对于u2，有第一层邻居（i1 i2），第二层邻居{q1 q2 q3}。我们先聚合第2层邻居信息来表示第一层，也就是说拿q1去获得i1的embedding，q2 q3去获得i2的embedding，最后拿i1 i2获得u2的embedding。前面那样是UIQ的信息，像这样，我们还可以有UQI的信息......
在我们的模型中，我们汇总不同步骤的邻居的信息，以通过元路径引导获得用户ui的表示Ui。异构GNN。 在本小节中，我们将展示MEIRec如何对用户嵌入进行建模。
如图3（c）上方的方框所示，为了获取用户ui的embeddingUi，我们选择从目标用户开始的元路径。我们首先沿着元路径搜索不同步的邻居，然后逐步汇总邻居的嵌入。 沿着元路径UIQ（表示用户点击了某query指导下的item)，我们可以获取用户ui的不同步的邻居。当我们得到第1 2步的邻居set后，我们把第2步的邻居信息(query)进行聚合，来获得第一步的邻居(item)的embedding。整体总结来看，item中的i(j)的embedding是基于metapath UIQ,可以表达为
其中 g(.)是聚合函数，取平均，i(j) 的邻居是 {q1 q2 ... }这些query
然后我们聚合第1步的那些item的embedding，来获得ui的embedding
其中item{i1，i2，···}是用户ui的邻居。 由于用户点击item、查询都是带有时间戳，我们把邻居（可能是user 可能是item query）弄成一个序列数据。 循环神经网络（RNN），尤其是长期短期记忆（LSTM）[2，[5]已被证明对顺序数据表现良好。 所以MEIRec利用LSTM动态建模用户的邻居。也就是说，聚集函数g（·）是LSTM
有多个meta-path，就有多个路径，每个路径都有一个embedding产出
3.5 Query Modeling
和上面提出的用户信息聚合一样，我们也可以获得Q(i)的query-embedding，基于的路径是{ρ1, ρ2, ··· , ρk}
每一个ρ都是以当前query为起点
query的邻居没有时间顺序，所以用CNN来建模query的邻居，也就是说 g(.)是CNN函数