2020-12-03 - 2020-12-06 京东RL论文整理

把京东系的强化学习的论文复习整理一下。

读论文：Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning(SIGKDD2018)

这篇论文也是旨在对sequential interactions进行建模。选用的算法框架是DQN。DQN相对于传统表格型学习的优势如下：

DQN相对于表格型学习的优势

主要在于不用进行建模得到转换概率，也不用存储Q table。更加灵活并且增强了一般性。
这篇文章的创新点在于：

1. 同时结合了正反馈的样本和负反馈的样本，而不是只利用正反馈样本来进行推荐。具体的结构如下：

   
   
   正负反馈样本结合进行训练
2. The Pairwise Regularization Term：在优化时为当前推荐的动作选择一个竞争对手，这个竞争对手需满足以下3个条件：

1. the “competitor” item belongs to the same category with the target item;
2. user gives different types of feedback to the“competitor” item and the target item;

3. the “competitor” item is at the closest time to the target item.
   存入replay buffer的样本如下：

   
   
   replay buffer中的样本
   
   

   优化目标：

   
   
   优化目标
   
   更新梯度：

更新梯度

算法过程：

算法过程

推荐系统中的pair-wise和point-wise

https://www.zhihu.com/question/338044033
暂且先看看这个吧。我的理解是同一类目下挑选出不同行为的商品作为竞争对手就是pair-wise，而只着眼于一个item就是point-wise。

读论文：Deep Reinforcement Learning for Page-wise Recommendations （2018）

这也是2018年京东团队的一篇推荐系统论文，发表在Recsys上。这篇文章是直接推荐一页商品，将一页商品当做图来做。用Actor- Critic框架进行推荐。
RL用于推荐系统需要面对的2个挑战：

RL用于推荐系统的挑战

文中解释了Actor-Critic框架相对于DQN和传统Qlearning的优势：

Actor-Critic相对于DQN和传统Qlearning的优势

Acor网络

Actor network采用了encoder-decoder的结构。encoder的结构如下：

Actor：初始状态的encoder

Actor：实时训练的encoder

input layer输入的向量有历史记录里的item embedding，item所属的类别以及用户反馈f。

Actor里面的decoder网络由DeCNN实现。

Actor：decoder

Critic网络

Critic网络第一部分与Actor网络的encoder部分一样，将历史记录以及相关信息转变成状态S，第二部分是将当前动作变成一张图a：

最后将得到的s和a输入到DQN网络得到其对应的Q值。

action mapping

因为actor产生的动作是连续的，而实际动作是离散的，所以需要有mapping算法。
本文是用求夹角cos的方法，认为cos越小，2个向量越接近。

计算最接近的向量

mapping算法

注：文中所用的item-embedding也是用word-embedding训练得到的，但是是公司提供的，并且可用性已由公司验证得到。

item embedding来源

读论文：Deep Reinforcement Learning for List-wise Recommendations（2019）

同样是zhao xiangyu组的作品，京东出品。
首先这篇论文解决的问题是list推荐，解决问题的框架依然是DDPG。
本文的2个创新点：

1. 建了一个模拟器用于计算数据库里用户对未打分的电影的评分
2. 提出了用于list推荐的算法框架。

此文略写。

贴出模拟器的算法：

模拟器的算法

simulator的实现主要是基于相似用户对相同电影的打分相同。

actor输出到最终推荐item的mapping：

actor-item mapping

整体算法流程：

整体算法流程

读论文：Deep Reinforcement Learning for Search, Recommendation, and Online Advertising: A Survey

同样是这个团队的文。综述性文章。将RL在搜索、推荐和广告方面的应用。关于推荐系统这块儿没有太多启发点吧。
对未来方向的启发有以下几点：

1. 用户在各个模块（如搜索、推荐、广告）的行为是孤立的，可以考虑进行融合，同时决策；
2. reward函数在不同的场景下差别很大，可以考虑设计一个更智能的reward函数；
3. 用户和系统的多种交互（如打分，放购物车、重复购买等）可以融合进RL框架；
4. online environment simulator or offline evaluation method based on historical logs are necessary;

5. an increasing demand for an open online reinforcement learning environment for information seeking, which can advance the RL and information seeking communities and achieve better consistency between offline and online performance.

   
   

读论文：Deep Reinforcement Learning for Information Retrieval: Fundamentals and Advances

2020的一篇综述。
Information retrieval：search、recommendation、online advertising.
将RL用在信息检索的挑战：extreme data sparsity, power-law distributed samples, and large state and action space.

1. sample efficiency
2. sparse & Biased Feedback Data
3. online Deployment: From industry perspective, deploying DRL solution onto production IR platform is challenging. The common model pipelines in IR platforms center on relevance estimation models, e.g., relevance or CTR estimation, while the DRL model pipelines center on the policy module. Bridging gap between two generations ofmodel pipelines should be positioned as high priority for applied research team in this field.