GRN: Generative Rerank Network for Context-wise Recommendation

总结

generator: GRU，policy gradient优化，self reward + differential reward，从粗排到精排
evaluator: bi-lstm+self-attention，交叉熵损失，对final list做rank

细节

generator

把gru当作一个policy，reward有2部分：self reward + differential reward。
self reward
$$r^{self}(x_o^t|u,O)=E(x_o^t|u,O;{\Theta }^E)$$
differential reward，虽然$x_o^t$在当前list中不合适，但是如果$x_o^t$可以促进其他item被选，那$x_o^t$也是一个好item
$$r^{diff}(x_o^t|u,O)=\sum _{x_o^i\in O}E(x_o^t|u,O;{\Theta }^E)-\sum _{x_o^i\in O^{-}}E(x_o^t|u,O^{-};{\Theta }^E)$$
其中：

1. $O$代表当前policy generate出的list
2. $O^{-}$代表不包含$x_o^t$的list

evaluator

self-attention对multual influence建模

实验

数据集
公开数据集：https://tianchi.aliyun.com/dataset/dataDetail?dataId=56
私人数据集：taobao
评估指标: auc, gauc, ndcg@5
baseline: dnn, deepFM, DLCM, PRM
在线a/b test: pv, ipv(item pv)