论文阅读——《Session-aware Linear Item-Item Models for Session-based Recommendation》

摘要

基于会话的推荐旨在根据会话中消耗的先前项目序列预测下一个项目，例如，一个商业或多媒体流媒体服务。具体而言，会话数据集表现出一些独特的特性，即会话一致性和会话中项目的顺序依赖性、重复项目的消耗和会话及时性。在本文中，我们提出了一个简单而有效的线性模型，用于考虑会议的整体性。我们模型的全面性提高了基于会话的推荐的质量。更重要的是，它为反映会话数据的不同视角提供了一个通用框架。此外，由于我们的模型可以通过封闭形式的解决方案来求解，因此它们具有高度的可扩展性。实验结果表明，所提出的线性模型在多个真实数据集的各种度量中表现出了竞争性或最先进的性能

引言

推荐系统已被广泛用于帮助用户在各种应用程序（如电子商务（如亚马逊和阿里巴巴）和在线流媒体服务（如YouTube、Netflix和Spotify）中过载和呈现有用信息。传统推荐系统[2,5,8,9,13,19-21,34,37]通常在用户帐户上进行个性化设置，假设该帐户由一个人所有，并且随着时间的推移是静态的。然而，这种假设通常是无效的。首先，基本用户信息，例如人口统计数据，可能无法验证。同一帐户也可能由多个人共享，例如，跨家庭成员混合浏览和单击行为。即使是同一个用户，也可能根据上下文以不同的方式使用其帐户，例如，与工作相关的目的。因此，完全依赖用户帐户可能会导致次优个性化。最近，基于会话的推荐[1,3,15,31,43]在克服上述问题时得到了广泛关注。与传统推荐相比，基于会话的推荐系统具有一些独特的特点。首先，在同一会话中观察到的项目通常是高度一致的，并且与用户的特定意图一致，例如，相同类别的产品列表或具有类似情绪的歌曲列表的会话一致性。例如，图1中“会话B”中的全新智能手机高度相关。其次，有些项目倾向于按特定顺序使用，即顺序依赖，例如，电视剧的连续情节。如图1中的“会话A”所示，智能手机配件后面通常是智能手机，但不是相反。第三，用户可能会在一个会话中重复消费相同的项目，称为重复项目消费。例如，用户可能会重复听她最喜欢的歌曲，或者选择相同的智能手机进行比较，如图1的“会话C”所示。最后，最近的会话通常是用户兴趣的一个重要指标，即会话的及时性。在图1中，“会话B”和“会话C”在时间上是相近的，并且共享几个流行的项目。上述四个属性并不一定出现在所有会话中，其中一个属性可能占主导地位。最近基于会话的推荐系统通过利用深度神经网络（DNN）表现出了卓越的性能。递归神经网络[10–12]或注意机制[22,24]被应用于序列依赖模型，图形神经网络（GNNs）[6,30,44,45]是表示会话一致性的有效方法。然而，它们主要关注会话的某些方面，因此不能很好地推广到各种数据集。如第5节所述，任何单一模型都不能保证各种数据集的竞争性能。此外，它们通常需要较高的模型训练和推理计算成本。为了克服基于DNN的模型的可伸缩性问题，最近的研究[4,25]建议使用基于邻域的模型进行基于会话的推荐，这些模型具有很高的可伸缩性。令人惊讶的是，在几个基准数据集上，它们也实现了与基于DNN的模型相当的竞争性能[26,27]。然而，基于邻域的模型仅利用相邻会话，仅限于捕获会话的全局模式。本文提出了感知会话的线性模型，以弥补基于DNN和基于邻域的模型的不足。具体来说，我们设计了一个简单而有效的模型，该模型（i）综合考虑了基于会话的推荐的各个方面（ii），同时实现了可伸缩性。线性模型的思想已成功地应用于传统的推荐系统（如SLIM[29]和EASER[39]）。值得注意的是，EASER[39]凭借其封闭式解决方案，已显示出令人印象深刻的性能提升和高可扩展性。受最近成功研究[16,38–40]的启发，我们重新构建了线性模型，该模型捕捉了会话的各种特征。首先，我们针对会话的不同属性设计了两个线性模型：（i）会话感知线性项相似性（SLIS）模型旨在更好地处理会话一致性；（ii）会话感知线性项转换（SLIT）模型更关注顺序依赖性。对于SLI和SLI，我们放松约束，将重复的项目纳入其中，并引入加权方案，以考虑会话的及时性。结合这两种类型的模型，我们提出了一个统一的模型，称为session-aware-Item-Similarity/Transition（SLIST）模型，它是一个广义的解决方案，可以全面覆盖session的各种属性。值得注意的是，SLIST在具有不同属性的各种数据集上一致地显示了竞争性或最先进的性能，证明了其泛化能力。此外，SLIS和SLIT由封闭形式的方程求解，具有很高的可扩展性。

综上所述，SLIST的主要优点如下：（i）它通过捕获会话的各种属性，是基于会话的推荐的通用解决方案。（ii）由于线性模型的封闭式解决方案，它具有很强的可扩展性。（iii）尽管它很简单，但在多个基准数据集（即YouChoose、Diginetica、Retail Rocket和NowPlaying）上，它在各种指标（即HR、MRR、召回率和地图）上实现了具有竞争力或最先进的性能。

模型

我们介绍了会话的有用特性。前三个是关于会话中项目之间的相关性，即会话内属性，而最后一个是关于跨会话的关系，即会话间属性。

•会话一致性：会话中的项目列表通常是主题一致的，反映了特定且一致的用户意图。例如，用户生成的播放列表中的歌曲通常有一个主题，例如，相似的情绪、相同的流派或艺术家。

•顺序依赖性：某些项目往往以特定的顺序观察。在大多数会话中，通常先消耗一个项目，然后再消耗另一个项目。一个直观的例子是一部电视连续剧，其情节通常是按顺序观看的。因此，当前会话中的最后一个项目通常是预测下一个项目的信息量最大的信号。

•重复项目消费：用户可以在一个会话中多次重复消费一个项目。例如，奥瑟可能会反复听她最喜欢的歌曲。此外，用户可能会多次单击同一产品以将其与其他产品进行比较。

•会话的及时性：会话通常反映用户当前的兴趣，而此类会话的集合往往反映了最近的趋势。例如，许多用户倾向于更频繁地观看新发布的音乐视频。因此，最近的会话可能比过去的会话更好地预测用户当前的兴趣。

最近基于会话的推荐模型已经隐式地利用了其中一些属性。基于RNN的模型[10–12]或基于注意力的模型[22,24]假设会话中的最后一项是最关键的用户意图，主要关注顺序依赖性。基于GNN的模型[6,30,44,45]也可以利用会话一致性。它们利用项目之间的图嵌入来分析隐藏的用户意图。一些研究还通过使用注意机制（例如RepeatNet[32]）解决了重复项目消费问题，通过使用加权方案（例如STAN[4]）解决了会话的协调性问题，从而提高了预测精度。然而，这些现有研究都没有全面地处理各种会话属性。每个模型都经过优化以处理少量属性，忽略了其他基本特征。此外，不同的数据集表现出相当不同的趋势。例如，与其他属性相比，Yoochoose数据集倾向于显示更强的顺序依赖性，而Digineticadataset中的会话对顺序依赖性的依赖性较小。因此，在多个数据集[25–27]中，没有一个单一模型优于其他模型，无法对其进行概括。此外，由于缺乏可扩展性，现有的基于DNN的模型不适用于资源有限的环境。为了克服这些限制，我们开发了会话感知线性模型，该模型不仅可以同时容纳会话的各种属性，而且具有高度的可扩展性。

3.2会话表示

我们描述了如何为线性模型表示会话。尽管会话具有顺序性，线性模型仅将一组项作为向量处理。如图2所示，我们考虑两种会话表示。

•完整会话表示：整个会话表示为一个向量。具体地说，会话=（s1，s2，…，s | s |）被视为一组项ss={s1，s2，…，s | s |}，忽略项的顺序。如图2所示，培训示例的数量（m）等于课程的数量。它更适合于会话中的项目之间具有较强相关性，对消费顺序相对不敏感的情况。请注意，会话中的重复项目被视为单个项目，因为完整会话表示主要处理项目之间的会话一致性。

•部分会话表示：会话分为两个子集，过去和未来，以表示项目之间的顺序相关性。对于一段时间步长t，过去的集合包含在此之前已消费的项，即s1:t−1={s1，…，st−1} ，未来集合由在或之后消耗的项目组成，即st:| s |={st，…，s | s |}。我们可以生产|−1如此部分

图2：两个会话表示的示例。在完整会话表示中，会话中的所有项都是相互关联的。在部分会话表示中，项目之间存在顺序相关性

3.3会话感知线性模型

首先，我们设计了两个线性模型，分别利用完整和部分会话表示。然后，我们统一了两个线性模型，以充分捕捉会话的多方面。

3.3.1会话感知线性项目相似性模型（SLIS）。

我们使用完整会话表示提出了一个线性模型，重点关注项目之间的相似性。如第3.2节所述，输入和输出矩阵（X）与现有线性模型[29,39]中处理的相同，即X=X·B。然而，现有模型除了会话一致性外，不处理会话的各种特征，使其处于次优状态。我们通过重新表述SLIM[29]的目标函数，提出了一个新的线性模型以适应会议的及时性和会议中重复的项目消耗。首先，我们采用了权重矩阵xw∈Rm×n对应于∥X−X·B∥2F.假设会话的及时性随时间衰减，Wis用于区分会话的及时性。其次，我们放松了零对角约束来处理重复项目消费。由于对角元素是松散惩罚的，我们的模型允许我们重复预测同一项目和下一个项目。形式上，SLIS的目标函数由（7）形成。

EASER[39]的主要优势在于其闭式解。尽管进行了这些修改，我们仍然可以通过闭式解来求解等式（7）中的目标函数吗？我们仍然可以通过Karush–Kuhn–Tucker（KKT）条件实现松弛对角约束的封闭形式解。然而，对于任意权重矩阵xw，获得一个闭式解是非常重要的。为了解决这个问题，我们处理了两种特殊情况，即会话权重和项目权重。如[38]所示，项目的权重不影响学习b。因此，我们只考虑会议的权重；W被视为会话的权重向量，以区分会话的重要性。让Wfull表示每个会话的权重向量。然后，W被会话权重的外积和一个向量替换，即Wfull=Wfull·1⊤,用闭式方程求解线性模型

3.3.2会话感知线性项目转换模型（SLIT）。

使用第3.2节中的部分会话表示，我们设计了一个线性模型，用于捕获项目之间的顺序依赖关系。与之不同的是，每个会话被分成多个部分会话，形成不同的输入和输出矩阵。与SLIS类似，我们也将会话的权重加入到SLIT中。同时，我们忽略了对角元素的约束，因为不同的输入和输出矩阵自然不存在平凡解。

在形式上，我们使用部分会话表示来建立SLIT的目标函数.

最后，我们描述了如何调整过去和未来项目子集的重要性。如[4]中所采用的，我们利用两个项目之间的位置间隙作为项目的重量. 当给定目标项目时，可能会按照顺序衰减部分会议中项目的重要性。

3.3.3统一两个线性模型。

由于SLIS和SLIT捕获会话的各种特征，我们通过联合优化两个模型，提出了一个统一的模型，称为会话感知线性相似/转换模型（SLIST）：

式中，α是控制LIS和SLIT重要性比的超参数。尽管看起来不可能获得封闭形式的解，但我们仍然可以推导出它。直觉是，当SLI和SLIT的两个矩阵（例如，X和）叠加时，SLIST的目标函数与SLIT的目标函数相似。形式上，闭式解由

3.3.4模型推论。

我们使用一个学习的项目项矩阵来预测给定序列中的下一个项目，即，t= s＝s b。为了推断，有必要考虑项目的重要性，这取决于项目INS的序列。与式（12）类似，我们通过winf（i，s）=exp随时间衰减项权重以进行推断.换句话说，SLIST以部分表示的向量作为输入，并将其与项目权重一起使用。

4实验设置

基准数据集。我们在从电子商务和音乐流媒体收集的四个公共数据集上评估了我们提出的模型服务：YooChoose1（YC）、Diginetica2（DIGI）、RetailRocket3（RR）和NowPlaying（NOWP）。对于YC和DIGI，根据现有研究[10,22,24,44]，我们使用单分裂数据集（即YC-1/64，YC-1/4，DIGI1）。为了对大规模数据集进行评估，我们进一步使用了五个分割数据集（即YC、DIGI5、RR、NOWP），用于最近的基于会话的推荐模型的实证分析[25–27]。表1总结了所有基准数据集的详细统计信息。

作为预处理，我们放弃了只有一个交互作用的会话，以及在约定之后出现少于五次的项目[25]。为了测试的目的，我们从最后N天开始举办课程，并将培训集中的最后一天用于验证集。请参阅我们网站4.的详细预处理和所有源代码

对比模型。我们将我们的模型与八个竞争模型进行比较，这些模型大致分为四组：基于马尔可夫链的、基于邻域的、线性的和DNN模型。SR[18]是一个有效的马尔可夫链模型和关联规则，在基于邻域的模型中，我们选择了SKNN[14]和STAN[4]。STAN[4]是SKNN[14]的一个改进版本，它考虑了顺序依赖性和会话最近性。对于linearmodel基线，我们使用会话项矩阵（名称为EASER）将EASER[39]应用于基于会话的回复问题。对于基于DNN的模型，我们采用GRU4Rec+[10,11]、NARM[22]、STAMP[24]和SR-GNN[44]。GRU4Rec+[10]是原始GRU4Rec[12]的改进版本，使用了顶级KGAIN目标函数。NARM[22]和STAMP[24]是基于注意力的模型，用于促进长期和短期的顺序独立性。SR-GNN[44]利用一个图形神经网络捕获会话中的复杂顺序依赖。

评估协议。为了评估基于会话的推荐模型，我们采用了盈利披露方案[12,22,44]，该方案将会话的项目公开给模型。会话中的每个项都被顺序地附加到模型的输入中。因此，此方案对于反映整个会话中的顺序用户行为非常有用。

评估度量。我们在以下两个应用场景中使用各种评估指标，例如，电子商务中的一组推荐产品和音乐流媒体服务中agiven playlist的下一首推荐歌曲。（i） 预测未来在一个会话中，我们使用命中率（HR）和平均倒数秩（MRR），在现有的研究中广泛应用[11]，[24]，[4]。（ii）考虑会话的所有后续项目，我们将Euland AND平均平均精度（MAP）作为标准IR度量。实现细节。对于SLIST，我们在{0.2,0.4,0.6,0.8}，δpos和δinfamong{0.125,0.25,0.5,1,2,4,8}之间调整α，在{1,2,4,8,16,32,64,128,256}之间调整δtimes。对于基线模型，我们使用[25,26]中报告的最佳超参数。注意，我们对先前报告的所有基线模型结果的再现性进行了评估。我们使用NUMPY实现了提出的模型和STAN[4]。我们使用[44]发布的SR-GNN5和[27]发布的其他基线模型6的公共源代码。（请参阅附录B中详细的超参数设置。）我们在配备2台NVidia TITAN RTX、256 GB内存和2台Intel Xeon处理器E5-2695 v4（2.10 GHz、45 M缓存）的桌面上进行所有实验。

表2：在[26,27]中的实验设置之后，我们的模型和竞争模型的精度比较。收益表明，最好的提议模型比最好的竞争模型好多少。建议的最佳模型用粗体标出，最佳基线模型用下划线标出