论文笔记：NAIS: Neural Attentive Item Similarity Model for Recommendation

一、基本信息

论文题目：《NAIS: Neural Attentive Item Similarity Model for Recommendation》

发表时间：IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 30, NO. 12, DECEMBER 2018

论文作者：

 

二、摘要

项目对项目协同过滤（又称基于项目的协同过滤）长期以来被用于在工业环境中构建推荐系统，因为它具有可解释性和实时个性化的效率。它构建了一个用户的profile作为她的历史互动项目，推荐类似于用户的profie的新项目。因此，基于项目的CF方法的关键在于对项目相似性的估计。早期的方法使用诸如cosine相似度和pearson coefficient等统计指标来估计项目相似度，因为它们缺乏针对推荐任务的定制优化，因此不太准确。近年来，有几项工作试图从数据中学习项目相似性，将相似性表示为基础模型，并通过优化建议感知目标函数估计模型参数。在广泛应用浅线性模型学习项目相似性的同时，探索基于项目的CF的非线性神经网络模型的工作相对较少，本文提出了一种基于项目的CF的神经网络模型，称为神经注意项目相似性模型（NAIS），设计NAIS的关键是一个注意力网络，它能够区分用户档案中哪些历史项目对预测更重要。与目前最先进的基于项目的CF方法因子项相似模型（Fism）[1]相比，我们的NAIS具有更强的表示能力，并且只需注意网络带来的一点点附加参数。对两个公共基准进行的大量实验证明了NAIS的有效性。这项工作是为基于项目的CF设计神经网络模型的第一次尝试，为神经推荐系统的未来发展开辟了新的研究可能性。

 

三、主要内容与工作

1、FISM模型是目前最先进的推荐模型之一，它的缺点是用户所有交互过的项目对预测的贡献度相同，这显然与实际情况不符。在这项工作中，我们基于FISM提出了一个增强的项目相似性模型，改进出在于区分了交互项目对用户偏好的贡献的不同重要性。

2、我们的一个关键发现是，由于用户历史记录长度的巨大差异，标准关注机制无法从用户历史数据中学习。为了解决这个问题，我们通过平滑用户历史来调整注意力设计。我们在两个公共基准上进行了全面的实验，以评估Top-K建议，证明我们的NAIS优于FISM，在NDCG方面相对提高了4.5%，并实现了竞争力的表现。为了便于研究界对NAIS进行验证和进一步的开发，我们在：https://github.com/aaronheee/neuric-consident-item-collagency-model中发布了我们的实现代码。

3、However, such heuristic-based approaches for estimating item similarities lack optimization tailored for recommendation, and thus may yield suboptimal performance. In what follows, we introduce learning-based methods which aim to boost the accuracy of item-based CF by adaptively learning item simi-larities from data.

4、SLIM模型

5、SLIM模型的两个缺点，一个是线下训练S时间复杂度为I的平方。其次，它只能学习两个共同被评级的项目之间的相似性，但未能捕获项目之间的可传递关系。为了解决该限制，之后的工作提出了FISM，通过embedding后的低维向量来计算两项目之间的相似性。具体的FISM的模型如下：

6、本文的NAIS模型

因为softmax方差太大，修正后：

 

 

四、总结

在这项工作中，我们发展了神经网络方法的项目到项目协同过滤。我们的关键论点是，用户档案的历史项目对预测用户对某个项目的偏好的贡献并不相等。为了解决这一问题，我们首先从表象学习的角度重新审视了FISM方法，然后逐步设计了几种注意机制，以增强其表象能力。我们发现，传统的神经注意网络设计[15]、[16]、[17]、[19]在基于项目的CF中效果不佳，因为用户历史长度存在较大差异。我们提出了一个简单而有效的SoftMax变体来解决用户行为的大方差问题。我们进行了实证研究，以验证我们的NAIS方法的有效性。实验结果表明，NAIS显著优于FISM，实现了项目推荐任务的竞争力。
据我们所知，这是第一个为基于项目的CF设计神经网络模型的工作，为神经推荐模型的未来发展开辟了新的研究可能性。在未来，我们特别有兴趣探索NAIS方法的深层架构。目前，我们的NAIS设计考虑了成对的相似性，即项目之间的二阶交互，因为考虑了保持模型在在线个性化中的简单性。这主要是出于推荐方法的实际考虑。为了进一步提高推荐精度，可以通过在嵌入层上方放置完全连接的层或卷积层来扩展NAI，这已被证明有助于通过建模高阶和非线性特征交互[40]。从技术上讲，另一个值得探索的方向是将深部神经网络与基于图的方法[42]、[43]结合起来，这种方法具有独特的优势，也被广泛应用于排名。此外，我们有兴趣探索最近基于项目的CF的对抗性个性化排名学习，以研究可能的性能改进[37]。最后，我们将研究推荐系统的可解释性，这是最近一个很有前途的方向[28]、[41]、[44]、[45]，并且可以通过引入基于项目的CF方法的关注网络来促进。