辅助读懂Reinforcement Learning for Slate-based Recommender Systems

基础知识准备

强化学习入门简单实例 DQN
强化学习入门 第一讲 MDP
随笔分类 - 0084. 强化学习

中文翻译

强化学习RL应用在youtube推荐系统 2019谷歌论文解读

强化学习应用k推荐的问题

slate在文中的意思大概就是一次性推荐k个item给用户。由于是k个item的组合,动作空间是非常大的。
辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第1张图片

Choice Model

在本文的强化学习中使用到了choice model模型的技巧。简单来说choice model就是预估用户在推荐的动作A中选择某个item的概率。
辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第2张图片
辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第3张图片

Slate-Q的分解

因为动作空间过大,文中对Slate-Q进行了分解。
辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第4张图片
得到q的更新公式:
辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第5张图片

Slate优化

前面提到了Slate-Q的分解,以及分解后的q的TD更新方式。那么如何根据这个q值来获得推荐的动作A呢?作者提出三种方式:标准方式、top-k、贪心。
标准方式:
目标函数定义为,注意作者的P是由模型预测出来的。
辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第6张图片
辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第7张图片
辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第8张图片
top-k和贪心:
这两种启发式方法效果也不错。
辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第9张图片

伪代码

辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第10张图片
辅助读懂Reinforcement Learning for Slate-based Recommender Systems_第11张图片

你可能感兴趣的:(deep,learning)