基于注意力机制的群组推荐算法

https://www.cnblogs.com/kyxfx/articles/9181778.html

https://www.cnblogs.com/kyxfx/articles/Attention-based_Group_Recommendation.html

 

TRAN DANG QUANG VINH, Nanyang Technological University, Singapore

TUAN-ANH NGUYEN PHAM, Nanyang Technological University, Singapore

GAO CONG, Nanyang Technological University, Singapore

XIAO-LI LI, Institute for Infocomm Research(I2R), A∗STAR, Singapore

 

译注：文中的群组、组、小组、群体等词均为英文group在不同语境下的汉化翻译。项目一词对应item。

 

推荐系统广泛应用于诸如谷歌、Twitter、LinkedIn和Netflix等大型信息公司。一个推荐系统通过使用用户偏好筛选重要信息片段来处理信息过载的问题。随着深度学习越来越成功，最近的研究证明了在各种推荐任务中使用深度学习的好处。然而，大多数提出的技术都只针对个体，这在群体推荐中是无法有效应用的。

在本文中，我们提出了一种深度学习架构来解决群体推荐问题。另一方面，人们注意到作为个体的用户和群组成员的行为是不同的。为了解决这些问题，我们建议使用注意机制来捕获群组中每个用户的影响。具体地说,我们的模型自动学习群组中的每个用户的影响权重并根据其成员的权重偏好为群组推荐项目。我们对四个数据集进行了广泛的实验。我们的模型显著地优于基线方法，并且在将深度学习应用于群体推荐问题上显示了很有希望的结果。

CCS概念: • 组推荐 • 协同过滤 • 注意力机制

ACM Reference Format:

Tran Dang Quang Vinh, Tuan-Anh Nguyen Pham, Gao Cong, and Xiao-Li Li. 2018. Attention-based Group Recommendation.

1, 1 (April 2018), 17 pages. https://doi.org/0000001.0000001

 

1 简介

推荐系统广泛应用于基于事件的社交网络服务(Meetup)、媒体(Netflix和Last.fm)、餐饮和餐饮服务(Yelp)等。虽然大多数推荐技术都关注于个人推荐[1,18,24,30]，但在很多情况下，推荐的产品或服务都被一群用户所消费。群体推荐的应用场景包括:与同事共进晚餐，与配偶一起看电影，与朋友一起去野餐。例如，图1显示了线下事件 AI周六2018年冬季周期启动! @微软的Meetup1组人工智能周六在新加坡，在那里用户聚集在微软办公室举行一个关于人工智能的小型研讨会。然而，针对个人的传统推荐方法不能有效地应用于群体推荐。因此，许多最近的研究集中于开发有效的推荐系统[3、5、6、13、20、27、37、39]。

图1所示。一个Meetup事件的例子

Facebook和Meetup等社交网络服务的快速增长，让人们越来越容易组织和参与群体活动。这些社交网络服务不仅针对个人，也针对用户群体。群组内用户之间的偏好差异需要一定的权衡，以平衡这种偏好，并向群组推荐最有利的项目。现有的群组推荐方法可以分为基于内存和基于模型的方法[18,32]。基于内存的方法可以进一步分为两个子类:偏好聚合[18,22]和评分聚合[5、11、21、25、28]。偏好聚合策略将所有用户首选项组合成一个群组概要，然后向群组提出建议，而评分聚合策略计算每个成员的推荐列表，然后将单个列表组合起来生成建议。每种策略都有局限性:偏好聚合可能推荐不需要的项，而分数聚合可能无法满足重要的偏好。与基于内存的方法不同，基于模型的方法检查群组成员之间的交互，并对群组的决策过程建模以推荐项目。然而，这些现有的解决方案都有局限性:它们在对群体复杂决策过程建模时不够充分，导致了这些模型的次优性能。

在这一工作中，我们从传统的内存和基于模型的方法中分离出来，我们通过采用深度学习技术来构建模型来解决群组推荐的基本挑战。这里的关键挑战是如何构建一个深度架构，以便在用户参与不同的群组时为其分配不同的权重。通过这种方式，我们可以动态地调整用户的权重，这取决于用户加入的群组，因为用户在不同的群组中行为不同，这取决于用户的相关专业知识。此外，尽管许多现有的前沿方法如PIT[20]和COM[39]为聚合群组中成员的偏好提供了不同的策略，这些方法只考虑群组-项目和用户-项目交互，而忽略了群组中的用户之间的交互。从直觉上讲，团队中的用户在实际做决定之前总是会互相讨论他们的意见和偏好，而不是单独做决定。因此，如何有效地建模团队中用户之间的交互是我们需要解决的另一个挑战。
AGR（Attentive Group Recommendation）采用注意力机制，假设群体中的成员倾向于听从最重要成员(领导/专家)的意见，而不是平等地考虑所有成员的偏好。与现有的最前沿的方法相比，AGR对用户之间的交互进行建模，探索每个用户对群组的影响，并捕获不同群组中一个用户的变化影响。本文的主要贡献是:

•所提出的注意力群体推荐模型采用了一种新颖的深度学习方法来解决群体推荐问题。虽然基于图和概率的模型已经得到了广泛的研究，但是AGR是第一个将注意力机制技术应用到群体推荐中的。

•我们开发了基于AGR的推荐方法。该模型速度快，参数效率高，理论上优于其他前沿的概率模型，如PIT或COM。

•我们对四个数据集进行了广泛的实验，结果表明，AGR始终比许多其他前沿的方法取得更好的结果。AGR说明深度学习是进一步研究群体推荐的一个有前途的方向。

论文的其余部分组织如下:第2节概述现有文献;第3节介绍了初步情况，包括注意机制和贝叶斯个性化排名(BPR);第4节提出注意力群组推荐模型;第5节展示了模型在四个数据集上的实验;和第六节总结。

2相关工作

2.1群组推荐

群组推荐是社交媒体[28]、旅游[23]、娱乐等社会活动和行业中的相关问题[11,25,38]。尽管针对个人的推荐技术得到了广泛的研究，但针对群体推荐的研究却很有限。CF方法可以分为基于内存的CF和基于模型的CF[18,32]，而基于内存的方法可以进一步分为偏好聚合方法和分数聚合方法[3]。偏好聚合方法基于组合了所有用户首选项的群组概要进行推荐[22,38]。另一种方法是，分数聚合方法为每个用户计算一个项目的推荐分数，然后将各个用户的分数进行汇总，从而得出该项目的群组推荐分数[5,11,21,25,28]。

在这两种方法中，分数聚合比偏好聚合更灵活，因此更受到研究社区的关注[3,17,25]。最常见的两种得分聚合策略是平均(AVG)和最小痛苦？(LM)策略。AVG策略将群体中个人的平均得分作为最终得分，从而最大化整体的群体满意度[22,38]。另外,LM策略通过选择所有个人评分中的项目最低分数为项目在群组中的最后得分而取悦每个人[5] 。这两种方法都有主要的缺点。AVG策略可能会返回对某些人有利的项目而对另一些人不利，而LM策略最终可能会推荐没有人喜欢也没有人讨厌的平庸物品。Baltrunas et al.[5]指出，两种策略的性能都取决于群组大小和组内相似度，因此这两种策略可能没有可比性。Yahia等人提出了关联与分歧的新概念。讨论了群体成员之间对每一项的偏好差异是不可避免的，作者通过实验证明，加入分歧，可以显著提高AVG和LM策略的推荐质量。

最近对更高级的群组推荐技术的需求导致了基于模型的新方法的开发[2,18,32,36]。例如,Seko等[31]模型在推荐中包含项目类别,认为项目类别影响群组决策，并且不同类别的项目严格来说并不具有可比性。塞科等方法,然而,只适用于预定义群组(也称为静态群组)如夫妻,而在实际中常常是临时的（ad-hoc）。更具体地说，预定义的群组是持久的群组，如家庭或班级中的学生，我们可以将这些群组作为伪用户，并应用单用户推荐技术。另一方面，临时群组通常是短暂的，它们只是为了一次性或少量的活动而形成的。因此，由于这些群组不是持久的，并且带来了一些挑战，所以在本文中我们实际上更关心临时组。在组推荐中应用博弈论,卡瓦略等[6]认为每一个组项目作为一个非合作博弈,或成员之间的竞争博弈,并建议推荐的目标应该是纳什均衡的。然而，由于纳什均衡可以是一组项目，博弈理论方法可能不能推荐一个特定的项目。

概率模型也被广泛应用于解决群体推荐问题。刘等[20]提出个人影响主题(PIC)模型组建议,假设最具影响力的用户组的代表,因此应该对组决策产生重大影响。然而,这种假设并不反映在现实中用户喜好的影响导致组决策最后的决定,如果她是一个领域的专家。例如，一位电影爱好者可能会决定，当和她的朋友一起去看电影时，该小组应该看哪部电影。但是她可能不是决定他们之后要去哪家餐馆吃饭的那个人。Yuan等人也提出了群体推荐的共识模型(consensus model, COM)。模型假定(1)用户决策影响取决于决策的主题,和(2)群体决策过程是同时到组偏好的主题和每个用户的个人喜好的影响。尽管有这样的假设，COM还是受到与PIT相似的限制:两个模型都为每个用户学习一个固定的特征参数。PIT理所当然地认为一个有影响力的用户在她所有的团队中都占据着主导地位，COM期望一个用户在不同的团队中拥有同样的影响力。另外，等[13]假设参与项目的分数不仅取决于其对群体中每个成员的相关性，还取决于其对整个群体的相关性。他们开发了一种基于信息匹配的群组推荐模型，但该模型存在时间复杂度高的问题。最近，Hu等人开发了一个名为DLGR的深层架构模型，该模型学习了群体偏好的高级综合特征，避免了数据的脆弱性。然而,由于这个模型只关注预定义的组而不是特别的组，所以我们不比较DLGR和我们在本文中提出的模型。

本文提出的AGR模型学习并灵活地提取了不同群体的每个用户的影响权重参数的不同值。我们还给出了AGR和最先进的模型之间的比较结果

 

2.2基于深度学习的推荐系统

推荐系统是一种信息过滤系统，目的是根据用户的喜好向用户推荐项目，从而使得对用户推荐的项目相对较新。随着深度学习的普及，深度学习技术由于其先进的性能和高质量的推荐而被广泛应用于推荐系统[7,8,10,14,26,33,34]。深度学习能够捕获用户与项目之间的非线性和复杂的关系，从而更好地理解用户需求和项目特征，以及它们之间的交互。将深度学习集成到推荐系统的巨大成功表明，在各种各样的推荐任务中，专注于构建神经推荐系统的工作正在涌现，在[40]中可以找到全面的回顾。其中，利用深度学习技术进行群组推荐的作品非常有限。

我们提出的AGR模型使用基于用户评级历史的深度学习技术给出推荐结果，因此可以归类为基于CF模型的方法。特别地，AGR利用注意力机制来调整群组的表示，稍后将在第3节和第4节介绍更多的细节。模型设计还允许在需要时使用辅助信息，如用户内容特性，尽管这种模型的开发超出了本文的范围，在未来的工作中仍有待探索。

 

3 PRELIMINARIES

让U = {u1,u2，…，um}， I = {i1, i2，…， in}为M个用户和N个项目的集合。我们表示历史日志{⟨g1、s1⟩⟨g2,s2⟩...⟨gn,sn⟩},表示一个临时小组,表示该小组选中的项目。

 

给定目标组，我们的目标是生成组成员可能感兴趣的项目的推荐列表。

 

3.1贝叶斯个性化排名(BPR-Bayesian Personalized Ranking)

基于矩阵分解方法，贝叶斯个性化排序方法(BPR)旨在解决隐式反馈推荐[29]的挑战。BPR为一个用户和两个项目建立了三元模型:正项目被观察到，负项目没有被观察到。BPR 三元模型假设，如果用户u已经查看了一个项目i(正项)，那么用户肯定更喜欢这个项目而不是所有其他未观察到的(负面的)。因此，该模型将正项比负项排序更高。

BPR优化目标是基于最大后验估计器进行最优个性化排序。具体来说，BPR模型可以描述为:

其中(u, i, j)为属于集合Ds的三元组，集合Ds包含每个用户的所有正项和负项对;Θ表示模型参数;ˆRui(Θ)是用户u对项i的预测评分;σ是logistic sigmoid函数，λ 是正则化参数。我们采用BPR作为学习模型的基础

 

3.2注意力机制

注意力机制是最近深度学习中最令人兴奋的进展之一[4,9,35]。注意力的概念已经在神经科学和计算神经科学中得到了探索[12,16]。直觉上，当动物视觉上访问一个对象时，它会关注(注意)对象的某些重要部分，而不是整个对象，以得到一个响应。这一原则对于计算神经科学是必不可少的，因为它允许基于最相关的信息而不是所有可用的信息进行分析。

神经科学中关于注意力的思想激发了深度学习中注意机制的发展。注意机制已成功应用于各种机器学习任务，如机器翻译[4]，图像和视频字幕[35]，语音识别[9]。本文采用软注意机制模型，通过对一组特性的学习和分配，使更重要的特征得到更大的权重。具体来说,我们使用注意力来衡量每个小组成员在小组最后决策中的影响。

图2 注意机制

 

图2展示了注意机制的一个示例。注意模型采用x1, x2，…xn和上下文c。然后它返回xi的参考了上下文相关信息的组合，即向量y。具体地说,给定一个上下文c模型返回每个xi的加权算术平均数,权重αi根据xi的相关性得出。

 

尽管注意机制有许多不同的变体，上面示例中所示的版本是最流行的版本之一。注意模型的一个有趣的特性是,权重αi可以很容易地提取并绘制,使我们能够可视化特征xi的重要性并根据这些图表进行分析。

 

注意力机制在计算机视觉、自然语言处理等各个学科中都表现出了灵活性和有效性。我们提出的AGR是第一个基于注意力的群体推荐模型，从而将注意力机制的使用扩展到群体推荐中。

 

4注意力群组推荐

 

本节介绍我们的群组推荐(AGR)模型。首先，我们展示了模型背后的直觉和动机。然后，我们描述了通用框架，并将设计框架与其他最先进的模型进行了比较，以展示AGR的优势。

 

4.1 模型设计

 

AGR模型的目的是模拟基于以下直觉的群体决策:

 

•直觉1:当用户选择一个项目作为团队成员或个人时，她会以不同的方式调整自己的行为。具体来说,在群组的决策过程中，一个用户倾向于调整她的喜好,以适应群组偏好,而不是只考虑自己的兴趣。

 

直觉2:组中的用户通常有不同的背景和经验，用户在不同组中的行为会因其相关的专业知识而不同。例如，一个对电影有扎实了解的用户可能会主导为一个群体选择电影的决策，但可能不会对选择露营地点的决策做出任何贡献。

 

直觉3:群体的偏好是由成员的偏好决定的[3,13]。此外,用户选择一个项目时总是考虑他们的个人喜好和群体偏好[39]。用户决策因此受到其他小组成员的影响。

 

总的来说,我们观察到成员之间的相互作用对群组决策的产生非常重要:在做群组决定前，用户总是互相讨论他们的意见和偏好。在现有的方法中还没有对成员交互的重要性进行检验。AGR的一个主要贡献是，该模型探索用户如何影响组决策中的其他用户，以及组决策如何相应地变化。

图3 注意力群组推荐

 

4.2总体框架

AGR使用一种基于注意力的神经网络对群组与候选项的偏好得分进行建模。具体来说，我们利用注意力网络来学习每个组员的偏好程度

直觉上，我们认为，在群体决策过程中，(i)每个用户i提名一定的用户作为群体的主要决策者，(ii)然后得票最多的用户为群体选择一个条目。这样一个投票方案意味着相关领域的专家用户群组偏好通常获得高票。投票方案还假定每个用户在投票时同时考虑她的个人偏好和群组偏好(直觉1)。模拟群体决策的步骤(i)中,我们可以考虑影力响权重参数αi,j,代表i对用户j的投票偏好。可以假设影响力权重参数αi,j 对用户对(i,j)在所有包含i、j的用户群组中是常量。然而，由于用户i在不同的群体中，对用户j的影响力可能有不同的感知(直觉2)，这样的假设在现实中可能不成立。例如，用户j在与她的专业相关的群体中应该比在她不熟悉的群体中有更大的影响力。因此，影响力权重αi j应该根据不断变化的动态群组偏好进行计算。

我们建议使用基于注意力的模型来估计跨组的影响权重的变化，该模型假定每个用户只考虑对群组决策中相关主题重要的少数用户。正式的，给定组成员{u1,u2，…un}在群组g,我们定义αi,j作为用户j在子群组i（包含除了用户i以外的其他用户）中的偏好程度,。AGR因此学习权重αi,j作为用户j对整个群组的重要性,而不是仅仅特定用户i的影响。换句话说,注意力模型学习权重αi,j 考虑整个团队在用户i上的影响,包括用户j。我们从包含n个用户的g组中创建n个子组，探究每个用户对其余成员的影响(直觉3)，每个子网络注意力支持一个子群组。

AGR通过两个因素向量对每个用户i进行建模:用户潜在向量ui和用户上下文向量ci。这两个向量同时被学习。注意模型使用上下文向量ci来估计其他用户对于用户i的影响({u1,u2，…,ui−1,ui+1,,,un})。 群组g的表达式为

,同时。我们考虑，也就是说，投票方案对所有用户的投票平等的进行计算。

 

群组g的表示可以进一步改写为，这个方程说明了AGR在学习每个用户j在不同群组中的动态权重时的灵活性。

 

子网络注意力模型。每个子网络注意力模型学习用户的偏好以便学习群组的表达。我们评估每个群组成员i和组内其他成员的交互以学习出i 对群组决策产生的影响。给定一个用户上下文向量ci和一组用户潜在向量{u1,u2，…un}，我们使用一个两层网络来计算注意力得分ai,j :

其中矩阵wc、Wu和bias b为第一层参数，向量w和bias c为第二层参数。我们简单地使用一个线性ϕ(x)= x,但还可以使用ReLU函数ϕ(x)= max(0,x)。

我们利用Softmax函数对ai,j进行归一化，得到最终的注意权重:

因此，我们得到项的分数为，其中

 

 

 

目标函数。AGR利用BPR两两学习来优化正负项目对的两两排序:

 

其中U、C和I是用户潜在向量、用户上下文向量和项目向量的集合;(g, j, k)是属于集合Ds的三元组，它包含每个群组g的所有正项和负项对;αi,l是用户l在子群组i的权重。

图3展示了AGR的架构。对于给定的组，我们创建n个子网络注意模型。每个子网络的注意模型，我选取了上下文向量ci和成员用户潜在向量的集合{u1,u2，…,ui−1,ui+ 1...un},然后返回每个用户j(j!=i)的注意力权重αi,j。尽管AGR的工作流程分为n个子网络注意力模型,所有子网络注意力模型在学习过程中共享相同的权重。每个子网络注意力模型i的输出使用加权求和计算并给出上下文ci。然后将所有子网络注意力的结果相加，形成最终的群潜在向量。最后，我们将BPR应用于最终的群潜伏向量，推导出BPR两两学习目标函数。

4.3方法的改进

AGR结合了最先进的模型优势和新的、灵活的深度学习应用，克服了PIT的局限性，极大地改善了群体决策过程。在本节中，我们将AGR与PIT进行比较，而不是COM，因为COM不像PIT和AGR那样学习个人影响权重的数值。

为每个群组的每组用户学习自定义权重而不是像PIT算法那样为一个用户在所有群组中分配相同权重，因此AGR能够检测到用户在不同的群组决策中的的影响。AGR因此为群组推荐提供了一个动态框架。AGR的一个显著优势是，该模型不仅可以了解不同组中的每个用户的动态权重，而且还允许我们提取权重值以进行进一步的可视化和评估。我们下一节的实验将比较AGR和矩阵分解模型，该模型为所有用户分配相同的权重，以及其他前沿方法，以展示AGR的优越灵活性。

未完

 

原论文地址： https://arxiv.org/abs/1804.04327  

Attention-based Group Recommendation

转载请注明出处 https://www.cnblogs.com/kyxfx/articles/9181778.html

https://www.cnblogs.com/kyxfx/articles/Attention-based_Group_Recommendation.html

 

转载于:https://www.cnblogs.com/kyxfx/p/Attention-based_Group_Recommendation.html