【论文阅读笔记】Deep Learning based Recommender System: A Survey and New Perspectives

本文只是提取了《DeepLearning based Recommender System: A Survey and New Perspectives》这篇文章中的一些主要内容进行翻译，对于文中的详细算法感兴趣的读者请参考原文中的相关参考文献。本文发表在ACM2017上。主要内容如下：

1.     推荐系统模型主要分为三个大类：基于协同过滤、基于内容和混合模型。推荐系统要完成的任务也可以分为三类：评分(rarting)、排名(ranking)、分类(classification)。

2.     深度学习相关技术用于推荐体统的包括：

多层感知机（MLP）、自动编码器(AE)、CNN（擅长处理格子类型的数据）、RNN（擅长处理序列数据）、深度语义相似度模型(DSSM)、受限波尔茨曼机（RBM）、神经自回归分布预估(NADE)、GAN（生成式对抗网络）。

3.     本文按照仅仅使用深度学习的推荐系统和混合使用多种技术的推荐系统进行分来阐述。在仅仅基于深度模型的推荐系统中，MLP可以很容易地对用户和项目之间的非线性交互进行建模；CNN能够从异构数据源，如文本和视觉信息提取局部和全局表示。RNN 能够对用户动态的评分数据、内容信息的序列影响进行建模，DSSM能够执行用户和项目之间的语义匹配。

4.     从2007年以后关于推荐系统的论文数量上看，基于AE、RNN、CNN和MLP的推荐系统数量很多，基于RBM和DSSM的模型近期被大量研究。

使用最多的数据集：Movielens 3 and Netfix。其他使用的数据集包括：Amazon , Yelp和 CiteUlike。

从评估方法上看：均方根误差(RMSE)、平均误差(MAE)经常被用来对评分预测进行评估。归一化累计折扣增益(NDCG)和AUC曲线经常被用于评估排名中的召回率和精确度。精确度、召回率和F1-Score经常被用于分类结果评估。

推荐系统使用的领域很多，本文主要关注以下几个领域的推荐系统：图片、音乐、兴趣点、新闻、兴趣标签、引用、引文。

5.     基于MLP的推荐系统

（1）仅仅基于MLP的推荐系统

（2）传统推荐系统与MLP整合的系统

使用引入注意力模型的协同过滤。注意力模型是一个MLP，包含item-level 和component-level。其中item-level用于选择最具用标识用户特征的item。component-level用于从每个用户的多媒体辅助信息中捕获最具信息量的特征。
6.基于自动编码器

基于自动编码器的推荐系统通常在模型中加入随机噪声和正则化项进行训练以增强模型鲁棒性。

7．基于CNN

CNN在其中主要用于特征提取。

8.基于RNN

RNN擅长处理动态特征和序列特征。

9.基于DSSM

深度语义相似度模型被广泛用于信息检索领域。它将不同的条目映射进共同的低维空间，用Cosine函数计算他们的相似度。基本的DSSM由MLP组成，卷积和池化层也可以很容易的加入以实现更复杂的功能。

10.基于受限波尔茨曼机

11.NADE和GAN

12.混合模型，同时使用多种以上模型进行推荐

13.未来的研究方向：

(1)更深层次的理解用户意图，从社交媒体及现实世界提取并研究用户footprint目前研究还很少，充分利用这些side information将有助于实现更加精确的推荐系统。

(2)推荐系统中的特征工程研究还较少，目前主要通过手工选择特征，而深度神经网络是一个比较有潜力的特征工程工具。

(3)动态时间(Temporal Dynamics)。长时间跟踪用户交互不太可行，但是跟踪用户短期交互是可行的，RNN在会话建模(session modeling)上的优势可以做这一工作。另外深度序列建模对于系统演变的时间动态性建模也很有潜力。

(4)跨领域的推荐系统，如使用迁移学习，将在一个领域学习到的推荐模型演变应用在另一个推荐领域，目前这一方式的研究还很少。

(5)多任务学习

(6)注意力机制。可以帮助网络用来更好的记忆输入信息，通过将信息量较少的信息过滤，保留最值得关注的信息，给模型提供更好的可解释性。

(7)可测量性。为了使推荐系统更加高效，未来需要探索一下问题：对于如持续不断到来的用户选择数据和选项数据之类的流数据进行增量学习的方法；对于高维传感器和多媒体数据如何进行高效计算；随着模型参数的增长，如何平衡模型复杂度和可测量性。