Personalized Re-ranking for Recommendation

总结

先用rank模型进行rank init，然后用 item emb; user emb + position emb得到输入向量，再transformer，再softmax输出

细节

除了考虑物品，还要考虑user-item, item pair之间的特征

input-encoding-output

input layer
用旧rank模型给出一个序列$\mathcal{S}=[i_1,i_2,\dots ,i_n]$

对item x，加上一个user-specific feature $pv$，concat起来得到新的item embedding
$$E^{\prime }=\left[\begin{array}{cc}{x}_{i_1};& p{v}_{i_1}\\ x_{i_2};& p{v}_{i_2}\\ \dots & \\ x_{i_n};& p{v}_{i_n}\end{array}\right]$$
再加上position embedding/pe，有：
$$E^{{}^{\prime \prime }}=\left[\begin{array}{cc}{x}_{i_1};& p{v}_{i_1}\\ x_{i_2};& p{v}_{i_2}\\ \dots & \\ x_{i_n};& p{v}_{i_n}\end{array}\right]+\left[\begin{array}{c}p{e}_{i_1}\\ p{e}_{i_2}\\ \dots \\ p{e}_{i_n}\end{array}\right]$$
再加一个dnn做下投影

encoding layer
transformer+ffn，其中transformer用的是multi-head attention，stack了多层

output layer
linear layer + softmax

user emb学习
user emb是pre-trained model，用了点击日志，架构：

其中：$H_u$是用户侧的信息，包含gender, age等一次性信息，以及点击日志等长期行为信息
loss用了交叉熵损失
使用的sigmoid前一层的hidden layer

实验

训练阶段用的是被点击的样本，loss取了交叉熵

dataset

1. Yahoo Letor dataset：http://webscope.sandbox.yahoo.com
2. rerank：https://github.com/rank2rec/rerank

baseline

1. L2R：svmrank, lambdaMart, dnn-based L2r
2. rerank：DLCM

评估指标

1. precision@k
2. map@k