Latent Cross: Making Use of Context in Recurrent Recommender Systems 论文阅读

由于我最近把GRU用到推荐系统中后感觉效果并不好，所以带着问题读的文章，写的也比较简单，各位见谅啦~
其实这篇文章我个人觉得写的真的有点confusing，在符号的应用上和主流不太一样，导致看的时候感觉不是很舒服

摘要

主要关注context的用法，采用了RNN-based 方法，然后引入latent cross把context特征融合进来。

各种算法的比较：

DNN缺陷（一阶算子）

虽然它可以拟合任意函数，但是和CF类算法还是有区别。通过特征之间的点乘，CF类算法可以学到low-rank关联，因此这一部分就做了一个实验来验证这种first-order神经元是否能完美学习这类low-rank关联。
结果如下图，r代表矩阵data的秩，m代表m个特征。结果是网络层数越多，拟合的越好，但是效率肯定不高。

Youtube RNN 推荐算法

对于user i在时刻t之前的观看历史，其中j为video， t为时间，Xi是用户i看的所有视频

用$e^{(\tau )}$表示第$\tau$个event（就是视频）,$y^{(\tau )}$表示此时的label，ψ(j)是上传者，网络就是要预测 j+1

网络的输入如下，第一项是video的embedding， 第二项是上传者的embedding，第三项是context的embedding，也就是$c^{(\tau )}$

RNN baseline

对每个$e^{(\tau )}$，RNN的输入是$x^{(\tau )}$和前一个cell的隐状态$z^{(\tau -1)}$。输入之前会把$x^{(\tau )}$过FC，得到

RNN的输入就是$h_0^{(\tau )}$和$z^{(\tau -1)}$，自然可以得到一个输出和此时的隐状态$h_1^{(\tau )}$和$z^{(\tau )}$。预测时，会把RNN的输出过MLP

Context Feature

A、TimeDelta：两次点击之间的时间差

B、Software Client客户端：不同的客户端想看的东西不同（电脑想看长的视频，手机端想看短视频）

C、Page频道：Home page的人对推荐的东西更包容，Watch Next Watches的人会更想深层次的看某一个topic的内容

D、融合方式

（1）pre fusion：加在RNN之前，作为RNN的输入

（2）post fusion：和RNN输出拼在一起进行预测

本文采用的是把$c^{(\tau -1)}$用作pre fusion，把$c^{(\tau )}$用作post fusion

Latent Cross

直接把context features和$h^{(\tau )}$一 一点乘

实验结果

证明了Latent Cross的有效性，但是RNN是负向的

实验也证明了DNN不是越深、越多就越好，因为层数加多之后训练起来难度变大，收敛也不一定就比浅层好