SIGIR 2021 | 多样性推荐：增强领域级别和用户级别的自适应性

©PaperWeekly 原创 · 作者 | 云航

学校 | 武汉大学硕士生

研究方向 | 推荐系统

 

多样性推荐对提升用户体验和系统销量均有重要意义，然而，如何在推荐结果的准确性和多样性之间取得平衡始终是一个难题。此外，现有推荐系统忽略了领域和用户在多样性偏好上的分布差异，例如有的用户倾向于购买过去常买的物品（回头客），而有的用户倾向于不断尝试新的物品。

论文提出在多样性推荐中建模领域级别和用户级别的多样性偏好，并设计了带有自适应平衡策略和度量学习的双分支网络架构。首先，双分支架构使得模型具备了自动调整准确性和多样性重要程度的能力；其次，自适应平衡策略通过自适应地确定双分支中的学习重点来建模领域级别的多样性；最后，在每个分支中，构建了双向自适应度量学习骨干网络，可以捕获用户对特定物品的兴趣（用户级别的多样性）和物品对目标用户的定位。

论文在三个真实数据集进行了大量的实验，结果表明论文方法在总体指标上取得了显著的改进。论文代码和数据集均已公布在 GitHub 网站。

论文标题：

Enhancing Domain-Level and User-Level Adaptivity in Diversified Recommendation

作者：梁贻乐（武汉大学）、钱铁云（武汉大学）、李青（香港理工大学）、阴红志（澳大利亚昆士兰大学）

论文链接：

https://dl.acm.org/doi/pdf/10.1145/3404835.3462957

代码及数据链接：

https://github.com/NLPWM-WHU/EDUA

 

摘要：由于能够融入用户的个人品味，推荐系统在在线平台中发挥着至关重要的作用。除了准确性之外，多样性被认为是扩大用户视野和促进企业销售的关键因素。然而，如何在推荐结果的准确性和多样性之间取得平衡仍然是一个巨大的挑战。更重要的是，现有的方法都没有考虑领域级别和用户级别的多样性分布差异。

论文着重于在多样性推荐中增强领域级和用户级的自适应性。具体而言，我们首先用自适应平衡策略将领域级的多样性编码为一个广义的双向分支网络；其次我们为每个分支构建双向自适应度量学习的主干网络，进一步捕获用户级的多样性。我们在三个真实世界的数据集上进行了广泛的实验。结果表明，我们提出的方法相较于现有的方法有显著的提升。

 

引言

多样性推荐可以被视为双目标优化问题，即最大化推荐列表的整体相关性，并尽量减少列表中物品之间的相似性。该领域的早期工作通常采用后处理（两阶段）策略，首先基于准确性生成一个候选集，然后通过最大化多样性度量来选择几个物品作为推荐结果。

最近部分方法将 determinantal point process（DPP）应用于建模集合多样性，也有少量改进将多样性推荐设置成端到端（一阶段）的监督学习。图 1(a)-(c) 展示了普通推荐、一阶段和两阶段的多样性推荐模式，同时也在图  1(d) 中显示了论文方法的独特之处：将领域级别和用户级别的多样性偏好纳入推荐框架。

尽管现有的多样性推荐方法已取得不错的效果，但其仍然存在固有的局限性。

局限一：现有方法没有考虑领域级别和用户级别的多样性分布差异。首先，即使用户的兴趣比较固定（多样性较低），这些方法仍然会给用户推荐一个多样化的结果。其次，现有方法的推荐策略不会随着领域的不同而做出改变。

局限二：所有的后处理方法和基于 DPP 的方法，都需要额外的参数来平衡多样性与准确率，端到端的方法 DCF 也同样需要参数来生成最后的推荐结果。

局限三：目前的研究将推荐视作为用户寻找物品的任务，但是，产品在设计和生产时也往往有其自身的市场定位，这不应被忽视。

图 2 绘制了三个领域的用户多样性偏好分布。每个用户的多样性分数通过交互类别的数量除以交互物品的数量来计算，分数越高，多样性就越丰富。可以观察到不同领域的多样性分布具有显著差异。有趣的是，大多数用户在选择电影类别时都有很大的变异性，而部分用户对音乐类型有相对固定的偏好，我们将其称为领域级别的多样性。

同时还发现，即使在同一领域，每个用户也有自己的多样性偏好。例如，在 MovieLens 中，尽管大多数用户的多样性偏好都很大，但少量用户的多样性值很小，我们将其称为用户级别的多样性。

领域级别和用户级别的多样性分别反映了领域数据和个体用户的特征，应该在推荐系统中得以反映。如果平等对待所有领域和所有用户，将明显降低推荐的性能，并影响用户体验。不幸的是，现有的任何方法都没有考虑到这两种类型的多样性。

为解决上述问题，论文提出了一个新的框架 EDUA，以增强多样性推荐系统中领域级和用户级的自适应性，并解决费力的参数调优和产品导向问题。论文的主要贡献在于：

• 论文采用视觉领域的双边分支网络作为基本架构，两个独立分支的体系结构使模型具备权衡准确率和多样性的能力，而无需对参数进行调优（对应局限二）；

• 论文进一步提出了一种自适应平衡策略，通过自动确定双边分支之间学习重点来编码领域级的多样性（对应局限一）；

• 每个分支内设计了一个双向自适应度量学习骨干网络，用于捕获了户对特定物品的兴趣和物品对目标用户的定位（对应局限三），然后将用户级多样性作为连接用户与物品的特殊关系（对应局限一）。

问题定义

是一组用户， 是一组物品，其中 M 和 N 表示相应的数量。设 为用户-物品交互矩阵，表示用户是否购买/点击物品。交互矩阵的定义为：

 

交互矩阵中，观察到的项反映了用户的兴趣，未知项是用户未接触数据和负样本的混合。推荐系统的任务是，根据交互矩阵为用户推荐最有可能交互的 Top-K 个物品。

除此之外，论文特别关注推荐的多样性，旨在为每个目标用户产生多样化的推荐。一方面，推荐质量是通过推荐列表和真实列表之间的匹配分数来评估。另一方面，多样性是通过列表的类别覆盖范围（category coverage, CC）和列表内距离（intra-list distance, ild）来测量。

论文方法-EDUA

双分支网络（BBN）的基本思想起源于视觉识别任务，用于表示学习和分类器学习，以提高长尾数据的识别性能。直觉上，BBN 结构能够分离两个目标的优化过程，对应多样性推荐任务时，其中一个目标是准确性，另一个目标是多样性。然而，直接应用 BBN 并不适合我们的任务。

• 固定的学习顺序妨碍了 BBN 适应领域级的多样性。在 BBN 中，表示学习始终是分类器学习的基础，应该首先进行训练。相比之下，在多样性推荐中，多样性或准确性都可能成为首要目标。

• BBN 的分支采用传统的残差网络骨干，而这不适合我们的任务。原因在于我们需要测量用户和推荐物品之间的距离，而且我们还希望捕获每个用户的多样性偏好。

为此，我们开发了一个新的 BBN 范式，有以下两个关键属性来解决上述两个缺陷：

（1）我们提出一个自适应学习策略编码领域层面的多样性，通过自动选择学习重点，取代了原来双分支之间的固定学习顺序。

（2）我们设计了一个双向自适应度量学习骨干，用于建模用户到物品和物品到用户的关系，并且能够自适应地捕获用户级别的多样性。

EDUA 模型的总体框架如图 3 所示：

 

具体地，我们采用双分支网络为主要架构，其中一个分支用于提高传统推荐的准确性，另一个分支关注个体多样性，分别称为“传统学习分支”和“自适应学习分支”。此外，每个分支中，都采用具有独立参数的双向自适应度量学习骨干网络。

 

3.1 增强领域级的适应性

现有的推荐系统存在偏向于推荐和用户兴趣类似的热门商品的问题。例如，如果用户最近看了一部浪漫电影，典型的推荐将是一系列冗余和类似的电影。为了解决这个问题，我们使用 BBN 作为主要架构，其中一个传统的学习分支保持了推荐相关物品的能力，而一个自适应学习分支专注于被传统学习所忽略的物品。此外，为了提高领域级别多样性的自适应性，我们首先根据领域偏差选择两个分支的学习焦点，然后使用不同的采样策略将采样的结果送到对应的分支中去。

3.1.1 确定两个分支学习的重点

首先我们计算了用户多样性分布X的偏度（skewness）分数，其定义为：

具有零偏度的分布是正态分布，正负分布表示左右偏度的分布。对于偏态分布，模型应更加强调自适应学习分支，对于正态分布，则应强调传统的学习分支。为此，对偏态分布，控制参数 ɑ 对应于自适应学习分支，1-ɑ 对应于传统学习分支。对正态分布，控制参数 ɑ 对应于传统学习分支，1-ɑ 对应于自适应学习分支。

3.1.2 确定每个分支的采样策略

对于传统学习分支，采样策略不变，即均匀采样。

对于自适应学习分支，采样策略结合了用户的多样性偏好。假设用户 的交互物品集合为 ，用户交互过的物品的类别为 ， 中类别 i 在 中的个数为 。假设用户 u 的多样性分数为 。 的值越高，说明用户 u 的兴趣多样性程度越高。在采样前，首先确定 中类别 i 被采样的两种概率：反向采样概率 和正常采样概率 ：

其中， 。在采样时，生成一个随机数 Uniform 。如果 z 小于 ，使用反向采样概率 采样得到一个类别。反之，使用正常采样概率 采样得到一个类别。最后从该类别中均匀采样得到物品。通过上述方式，我们的模型可以根据用户的多样性偏好，动态地关注更广泛或更窄小的类别范围。

3.2 增强用户级的适应性

每个用户都有其独特的多样性偏好，决定其更有可能改变购物习惯或保持现状，推荐系统应该有能力捕获用户级别的多样性。为了实现这一点，我们提出了双向自适应度量学习骨干网络，并应用于每个分支。关系度量学习的基本思想是使用公式 来评估用户和物品之间的距离，其中 是用户 u 和 v 的相关性关系。

我们提出的双向自适应度量学习骨干具有以下特性：

首先，我们的方法将用户/物品的多样性偏好注入到关系编码中，即关系 由相关性关系和多样性关系组成。

其次，我们的方法同时执行 u→v 和 v→u 的关系编码，而不是单向 u→v 关系编码，这样可以将产品的市场定位结合进来。

1. Embedding 层

通过用户和物品的 one-hot ID，获得用户和物品的表示  、 。

2. 自适应测量相关性关系

我们使用自注意力机制来自适应测量用户和物品在向量空间中的相关性关系。给定用户物品对（u、v），我们通过选择相关的历史行为来学习相关关系向量 和 。假设 是用户 u 的交互项，相关性关系表示为自适应聚合值：

注意力向量 的每个元素定义为：

通过同样的步骤，可以得到物品-用户的相关性关系。

3. 自适应测量多样性关系

除了用户 u 与物品 v 之间的相关性关系外，我们认为用户对多样性的偏好也会影响关系的编码过程。例如，具有更广泛兴趣的用户更有可能观看各种类型的电影，对于物品也是如此。有鉴于此，我们将用户/物品对多样性的偏好视为连接 u 和 v 的附加多样性关系 ，并将其表示一个高斯分布，即：

其中， 和 为用户 u（物品 v）通过学习得到的平均向量和标准偏差向量。为了从 执行反向传播，我们采样 并重新参数化 ，其中 ⊙ 表示元素级乘积。请注意，参数 µ、σ 不是特定于物品或用户的，因为很难直接从交互中学习这些特性。

相反，我们将参数与粗粒度的 aspect 联系起来。具体地，我们首先从交互矩阵计算从每个用户到 |C| 类别的频率向量，再使用 PCA 降维和最小最大标准化将频率向量降维，得到用户在 k 个 aspect 的注意力分布 ，随后我们将均值和标准偏差向量构造如下：

其中， 为可学习的参数矩阵。物品的均值和标准变差向量可以通过同样的方法得到。

4. 双路关系翻译

我们已经提取了两种类型的关系来对应相关性和多样性。我们现在将这些关系纳入最终的连接关系中：

我们进一步设计了每个用户-物品的距离函数。经典的基于单向翻译的度量学习表达能力有限。事实上，用户不仅根据自己的兴趣选择更好的商品，而且物品也有面向的消费群体。因此，我们在模型中执行了双向翻译，即同时考虑从用户到物品，和从物品到用户的双向关系。给定用户物品对（u、v），其距离函数定义为：

3.3 损失函数

在 BBN 架构下，两种类型的训练样本被输入到相应的分支中以计算损失。我们将 、 分别定义为传统学习分支和自适应学习分支的损失。我们使用 pairwise margin loss，以确保用户 u 与正例物品 v 之间的距离小于用户 u 与负例物品 之间的距离。具体公式如下：

此外，由于两个分支中是在不同的参数空间中进行的，因此它们之间可能会存在一些 gap。因此，我们定义了额外的一致性损失 来测量两个分支之间的分布差异：

其中， 指 Kullback-Leibler divergence， 、 分别是传统学习分支和自适应分支得到的概率分布。下标“fw”和“bw”分别表示用户到物品的方向和物品到用户的方向。

最后，我们将整体损失函数 L 定义为：

其中 α 是控制两个分支权重的参数，由 计算， 是用户 u 的多样性得分，T 和 是当前和总训练轮数。还要注意，α 或 1−α 可以与 或 相关联，这取决于领域有一个偏态的或正态的多样性分布。实际上，真实世界的数据可能并没有严格遵循正态分布。作为经验法则，如果偏态在 -1/2 和 +1/2 之间，则分布是近似对称的。因此，我们在研究中将 ϵ 设置为 0.5。

实验与分析

论文在三个真实数据集上进行了实验，数据集的统计信息如表 1 所示。

对于所有实验，我们从准确性、多样性、F-score 三个方面评估推荐性能。

4.1 总体结果

我们将基准模型分为两部分。第一部分包括为提高准确度而设计的经典方法。第二部分包括为平衡准确性和多样性而开发的多样性推荐方法（后处理、DPP 和端到端）。

• 第一部分：LFM、NCF、CML、TransCF、ENMF

• 第二部分：MMR、DPP、PD-GAN、BGCF；

对于每个用户，随机选择 80% 的历史交互作为训练集，其余 20% 的数据作为测试集。在测试阶段，对用户所有未交互过的物品进行排序。

实验结果如下表所示：

与多样性推荐基线方法相比，我们的 EDUA 在保持准确性的同时取得了较好的多样性性能。

4.2 参数分析

论文分析了 EDUA 中超参数的影响，包括负样本数 P 和 aspect 数 k。图 4 和图 5 通过调整 {5、10、15、25、20、25} 之间的负样本数，并分别改变 {5、10、15、20、25} 的 aspect 数来显示结果。由于空间的限制，我们只在 Music 和 Beauty 数据集上呈现召回和 ILD 的结果。

可以看出，随着负样本个数 P 的增大，系统性能有一定的提升，但是过大的负样本则有反作用。另一方面，aspect 的个数 k 则没有太大的影响，系统性能相对均比较平稳。

4.3 消融与替换实验

我们进行了一系列的消融研究，以评估我们模型中组件或策略的贡献，包括学习顺序、双分支和双向自适应度量学习的影响。在三个数据集上的消融结果见表 3。

学习重点决定了哪个分支在后期阶段被仔细训练，不同的数据集应该有不同的顺序来编码领域级的多样性。本实验通过改变其学习顺序来研究其影响。 将学习焦点从传统的学习分支转移到自适应分支，而 则相反。很明显，所有相反的顺序都会导致性能不佳。

最后，我们研究了双向自适应度量学习的影响， 和 分别从两种连接关系中删除相关关系和多样性关系中的对应向量。 只保留常用的用户到物品的方向，删除物品到用户的方向。

的准确性略有变化，但其多样性比标准 EDUA 下降了很多。另一方面， 准确性比多样性下降的更加明显。

总结

论文提出了一种新的多样性推荐的 EDUA 模型。其采用双边分支网络作为双目标优化的主要架构，该架构既保持传统学习分支的准确性，又提高自适应学习分支的多样性。此外，模型能自适应地平衡两个分支之间的学习过程，以编码领域级别的多样性。模型还设计了双向度量学习机制作为每个分支的骨干，将用户级别的多样性视为连接用户和物品的特殊关系。论文在三个真实数据集上进行了大量实验，结果证明了模型及其不同的部件及学习策略的有效性。相关代码链接可扫描下方二维码获取。

 

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

???? 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

???? 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·