SIGIR 2017&2016 关于深度学习和推荐的相关文章摘要阅读笔记
概述
从sigir最近两年的录用的文章来看，2016年推荐系统仍然主要关注协同过滤，多臂赌博机算法。问题领域集中在推荐，排序（learning to rank），web search等。从全部录用的论文来看，深度学习技术有一些文章提及到，但整体上，对深度学习的研究和应用都相对较少。2017年的文章，关于深度学习的文章出现的比较多，应用也在了多个领域都有体现，如推荐，排序，分类等。所以如果要研究深度学习在推荐领域的应用，重点关注sigir2017的部分文章即可。
SIGIR2017
2017年sigir收录的文章中，选出了10篇相关的文章，具体应用领域有推荐，文本分类，排序等。
- Rijke M D, Rijke M D, Rijke M D, et al. Leveraging Contextual Sentence Relations for Extractive Summarization Using a Neural Attention Model[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2017:95-104. +++++
语句回归具有广泛应用，但现有的方法忽视了语句之间的上下文关系特征。本文提出一个基于注意力的神经网络模型， Contextual Relation-based Summarization (CRSum)，利用语句的上下文关系，提升语句回归的效果。本文设计了双层的注意力机制，首先在词语级别上构建句子的注意力卷积圣经网络，然后在句子级别上构建上下文的注意力卷积神经网络。本文在六种数据集做了实验，效果比较显著。 - He X, Chua T S. Neural Factorization Machines for Sparse Predictive Analytics[J]. 2017:355-364. +++++
本文提出一种Neural Factorization Machine(NFM)方法，解决稀疏分类特征的高阶交互关系。在很多应用场景下，稀疏的分类特征非常多，FM用于解决这类问题。但是FM采用线性方法处理二阶特征，它不能捕获特征之间的非线性关系和复杂的内部结构。Google的Wide&Deep以及Microsoft的DeepCross的提出就是为了解决这类问题，但是这些模型的深度部分通常难以训练。本文提出的NFM方法，紧密结合了FM一阶特征的线性，二阶特征的交互性，并通过神经网络表达高阶特征的非线性。概念上，FM可以视为NFM的特例。实验结果表明，NFM的效果比FM相对提升7%。和Wide&Deep以及DeepCross相比，NFM结构更简单，但效果更好。 - Li W, Li W, Li W. Neural Network based Reinforcement Learning for Real-time Pushing on Text Stream[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2017:913-916. ++++++
本文提出了一种强化学习的方法实现文本信息流的实时push。本文将文本流的实时push作为一个序列决策制定问题，提出一种基于强化学习的神经网络算法，该算法考虑了用户历史的信息处理和未来的不确定性因素，网络结构包含一个LSTM层和三个全链接的网络层。实验基于TREC 2016实时数据流进行，实验结果说明了算法的有效性。 - Li P, Wang Z, Ren Z, et al. Neural Rating Regression with Abstractive Tips Generation for Recommendation[J]. 2017. +++++
本文将深度神经网络应用到电商贴士的摘要抽取和评分预测问题上。当前，电商APP上的贴士是重要的用户交互模块，用户通过贴士表达他们的经验感受以及提供建议。书写购物经历和打分是两个重要的评估操作，表达着用户的喜好。本文提出了一种深度学习框架NRT，用于预测评分和生成贴士的摘要。贴士摘要是基于循环神经网络，将用户和物品之间的隐式关系显式的“翻译”为一个句子，精准表达用户的经验感受。实验在不同领域的基准数据集上进行，实验结果表明，算法效果优越，生成的摘要能够准确预测用户的经验感受。 - Chua T S, Chua T S, Chua T S, et al. Embedding Factorization Models for Jointly Recommending Items and User Generated Lists[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2017:585-594. ++++
本文基于用户-物品交互和用户生成列表，提出一种嵌入因子模型进行推荐。用户生成列表典型有书单，歌曲单等，传统的推荐算法通常只考虑了用户-物品的交互，并没有考虑用户生成列表。本文提出的模型能够解决用户冷启动的问题。 - Yang Y, Yang Y, Yang Y, et al. Deep Learning for Extreme Multi-label Text Classification[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2017:115-124. ++++
**本文是首次采用深度学习的方法处理超级多标签文本分类问题（XMTC）。**XMTC（Extreme multi-label text classification）是从一个超大的标签集合中为一篇文档打上最相关的几个标签，数据的稀疏以及海量使得该问题面临诸多挑战。在6种基准数据集上，本文采用了7种经典处理方法，CNN实验结果处于前列。在Wikipedia数据上，CNN比次优方法具有明显优势。 - Fang Y, Fang Y. Neural Citation Network for Context-Aware Citation Recommendation[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2017:1093-1096. ++++
本文主要解决引用推荐的情景感知问题。科技论文出版的加速使得我们准确的发现相关引用和相关工作越来越困难。本文通过文章的短摘要生成高质量的候选集。传统方法采用背包模型解决，但是这种方式会造成语义和元数据的缺失。本文提出的引用神经网络Neural Citation Network（NCN），是一种灵活的编码结构，通过最大时间延迟，生成引用内容的稳定表示。实验在数据集CiteSeer上展开，结果表示NCN比基准方法有明显优势。 - Yang C, Yan H, Yu D, et al. Multi-site User Behavior Modeling and Its Application in Video Recommendation[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2017:175-184. +++
本文探讨了将多个网站的用户数据应用到在线视频推荐服务上。对于视频服务而言，不同网站的用户数据是隔离的，对多个网站的用户数据进行联合分析的工作还处于空白阶段。本文研究发现，从多网站上观察用户行为，用户既表现出交叉网站的共同兴趣，也表现出单一网站的特有兴趣。本文提出多网站概率因子模型Multi-site Probabilistic Factorization (MPF)，讨论了模型的设计原则，并进行了充分的实验验证。本文的研究成果推动不同视频服务商之间的合作。 - Tay Y, Phan M C, Tuan L A, et al. Learning to Rank Question Answer Pairs with Holographic Dual LSTM Architecture[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2017:695-704. +
本文将深度学习应用到问答领域的学习排序上。作者对LSTM做了一定拓展，使其表达能力更加丰富，同时降低了巨大变量计算的开销，对问题和答案之间的表示关系，能够做出很好的解释。 - Croft W B, Croft W B, Croft W B, et al. Neural Ranking Models with Weak Supervision[J]. 2017:65-74. +
本文提出一种弱监督方法训练基于神经网络的排序模型。该模型中，无需任何外部资源（例如用户点击数据），标签可以自动生成。作者采用无监督的排序模型（BM25）的输出，作为弱监督的信号，训练一个前馈神经网络。采用point-wise，pair-wise研究模型的有效性。实验结果表明，我们的弱监督模型比BM25有更大的优势。
SIGIR2016
2016年sigir收录的文章中，选择了9篇文章，其中关于推荐系统有4篇文章，其他涉及的技术主要有Learning to rank， web search 等。
- Wu H, Wu H, Wu H. Learning to Respond with Deep Neural Networks for Retrieval-Based Human-Computer Conversation System[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2016:55-64. +++++ （Speech and Conversation Systems）
人机会话系统涉及的技术比较复杂，它的挑战在于保持会话的相关性和一致性。Web2.0的成功为我们提供了大量的，种类丰富的会话数据，所以我们能够建立一个基于检索的会话系统。这个系统里，人们的一次提问，可以视为对索引系统的一次查询。本文提出了一种使用深度学习框架的基于检索的会话系统，该系统能够通用于不同的会话场景。我们设计了实验，和其他先进的基准算法相比，该系统仍有显著的效果提升。 - Salles T, Salles T. Generalized BROOF-L2R: A General Framework for Learning to Rank Based on Boosting and Random Forests[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2016:95-104. +++++ （Learning to rank）
学习排序是信息检索领域中的重要方法。学习排序最有效的算法是树的集成和boosting技术。本文提出了一种更加通用的框架，能够组合boosting和trees技术，并将out-of-bag样本纳入权重更新策略，用于优化排序效果。基于该算法的实验在所有的数据集都表现了不凡的效果。 - Wang X, Bendersky M, Metzler D, et al. Learning to Rank with Selection Bias in Personal Search[J]. 2016:115-124. +++++ （Learning to rank）
点击数据是影响排序质量的重要因素。尽管对于搜索引擎而言，点击数据很容易收集，但是对于不同类型的数据，又存在大量的偏差使得点击数据难以完全利用。过去，人们提出了很多用于个性化搜索的点击模型，但是这些点击模型需要大量的个体点击数据，显然从系统的角度而言，个体数据都是非常稀疏的。本文研究了如何利用稀疏的个体点击数据，引进了一个新的选择偏差问题，并在学习排序框架内解决该问题。本文还提出了一些偏差估计方法。最后，本文从实验上说明了所提方法的有效性。 - Zhao Y, Liang S, Ren Z, et al. Explainable User Clustering in Short Text Streams[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2016:155-164. +++++ （Microblogs）
用户群集通过两种方式构建：基于行为，对有相同浏览和搜索行为的用户做聚类；基于内容，对有共同兴趣的用户做聚类。用户群集可以用于推荐和个性化策略。目前，基于内容的用户群集是基于相对较长的文档以及文档的静态属性（如文档类别等）构建的，基于微博的动态用户群集构建面临一系列问题，因为微博是动态的，而且相对比较短。本文提出了一种用户动态主题模型，该模型能够从动态变化的短文本中对用户的主题分布进行预测。本文模型的主要改进是采用了一种Gibbs采样算法对用微博的word-pair进行采样。和其他模型相比，本文模型是可解释的，并且易于理解，效果也很好。 - Zoghi M, Li L, Jose D, et al. Click-based Hot Fixes for Underperforming Torso Queries[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2016:195-204. +++++ （Web Search）
对于频繁发生的查询，使用历史点击通过率对文档排序能够提升排序结果的相关性，这种查询通常称为头查询（head queries）。但是对于非头查询，使用点击数据比较困难。本文提出了主干查询（Torso queries）的概念。主干查询是指在查询结果集频繁出现，所以不能视为是长尾结果，但是用户点击的又不够充分，这种结果构成了搜索引擎的大部分流量，其排序结果影响了搜索引擎整体的效果。本文解决了主干查询排序效果不好的问题。本文解决方法的灵感来自于学习排序（learning to rank）。本文方法不需要每篇文档很大的绝对点击量，它能够将文档的相对很少的点击量生成很强的重排序特征。对生产系统排序结果添加试探，并抽取文档之间的相关特征，排序效果获得了重大的效果提升。本文的方法应用到了商业搜索引擎，我们采用包含试探的实际用户点击数据，验证了该算法的有效性。本文在公开数据集上也进行了实验，进一步验证了算法的有效性。 - Xia L, Xu J, Lan Y, et al. Modeling Document Novelty with Neural Tensor Network for Search Result Diversification[J]. 2016:395-404. +++++ （Recommendation Systems）
当用户需求不明确或者需要多方面信息时，搜索结果的多样性能够吸引用户注意力。结果多样性的一个关键问题是新奇度。显然，一篇文章的新奇度是和其他相关文章有关系的。采用启发式算法，新奇度基于预定义的文章相似度函数定义；采用学习算法，新奇度基于一系列人工选择的特征定义。在实际问题中，因为问题本身的复杂性，用这两种方法通过人工定义新奇度都比较困难。本文提出了一种基于神经网络定义文章新奇度的方法，能够自动学习一个非线性的新奇度函数。于是，一种新的多样性学习排序框架就可以从基本的学习排序框架推导出来的。本文设计了广泛的实验，和基本LTR算法比，本文算法效果卓越。 - Wu Q, Wang H, Gu Q, et al. Contextual Bandits in a Collaborative Environment[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2016:529-538. +++++ （Recommendation Systems）
下文赌博算法提供了平衡探索和利用的原则，现在已经被广泛的使用在许多重要场景上，例如，广告，内容推荐等。通常，人们将未知参数归结于用户个体的独立性。这种选择性忽略用户之间的依赖性常导致一些子解决方案，特别是在强社会组织的应用上。本文提出了一种协同上下文赌博算法，该算法通过邻接图利用了用户之间共享的场景信息。我们严格的证明了该算法相比其他赌博算法的效果提升，并通过了充分实验验证。 - Li S, Karatzoglou A, Gentile C. Collaborative Filtering Bandits[J]. 2016:539-548. +++++ （Recommendation Systems）
经典协同过滤和基于内容的协同过滤都是在给定的训练数据集上，学习一种静态的推荐模型。在动态推荐领域诸如新闻推荐和计算广告，用户和物品都是动态变化的，这种推荐方法的效果就极其不够理想。本文在内容推荐的基础上，提出一种自适应的聚类技术，能够平衡E&E问题。我们的算法考虑了用户和物品之间的交互产生的协同效果，并动态的从共同物品的基础上对用户聚类，同理也可以从用户群体的角度对物品做聚类。最后，我们对该算法做了实验。 - He X, Zhang H, Kan M Y, et al. Fast Matrix Factorization for Online Recommendation with Implicit Feedback[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2016:549-558. +++++ （Recommendation Systems）
本文提升了计算隐式反馈的矩阵分解法的效果和效率。目前，隐式反馈的计算存在两个问题。首先，由于存在大量的未观测到的反馈，人们在很多重排序的工作中，常常对缺失数据分配一个统一的权重以降低计算的复杂度，但是实际上，统一权重的设计通常是无效的。其次，许多方法设计了离线实验，但是忽视了线上数据的动态变化特性。我们采用了具有学习能力的MF模型解决这两个问题。我们首先提出基于缺失数据的流行度设计其权重，这样会比统一权重更加有效和灵活，但是这种非统一权重的模型效率很差。为了提升效率，我们设计了一种新的学习算法：基于元素的交替最小二乘算法。最后，基于两个公开的数据集，我们设计了离线和在线实验，我们验证了效果，并开源了我们的实现。