CTR预估 论文精读(十四)--Deep Rerank: Personalized Re-ranking for Recommendation(PRM)

Deep Rerank: Personalized Re-ranking for Recommendation 论文解读

0. 论文摘要

Ranking is a core task in recommender systems, which aims at providing an ordered list of items to users. Typically, a ranking function is learned from the labeled dataset to optimize the global performance, which produces a ranking score for each individual item. However, it may be sub-optimal because the scoring function applies to each item individually and does not explicitly consider the mutual influence between items, as well as the differences of users’ preferences or intents. Therefore, we propose a personalized re-ranking model for recommender systems. The proposed re-ranking model can be easily deployed as a follow-up modular after any ranking algorithm, by directly using the existing ranking feature vectors. It directly optimizes the whole recommendation list by employing a transformer structure to efficiently encode the information of all items in the list. Specifically, the Transformer applies a self-attention mechanism that directly models the global relationships between any pair of items in the whole list. We confirm that the performance can be further improved by introducing pre-trained embedding to learn personalized encoding functions for different users. Experimental results on both offline benchmarks and real-world online e-commerce systems demonstrate the significant improvements of the proposed re-ranking model.

1. 创新点

该论文延续了阿里实用风格，其模型结构不复杂，建模思想很直接，使用 Transform 建模精排后 item-pairs 之间的相互影响，使用预训练的 Personal vector 建模 user-item 交互特征，最终在离线和线上都取得一定收益，思路方法值得借鉴学习。

Specifically, the Transformer applies a self-attention mechanism that directly models the global relationships between any pair of items in the whole list. We confirm that the performance can be further improved by introducing pre-trained embedding to learn personalized encoding functions for different users.

2. 引入重排原因

1. 首先，精排模型没有考虑候选列表商品之间的相互影响：精排模型考虑的是 user-item 之间的打分，但是不能考虑到候选列表商品之间 item-item 之间的上下文影响，因此本文提出deep re-rank建模候选商品列表上下文影响，旨在重新得到一个考虑展示商品之间上下文影响的商品列表；

2. 其次，不同用户对不同item之间影响的反馈都不一样：比如展示的10个商品里面有类似的商品，对于有购买某商品意图的用户，这种类似的商品如果排在一块，用户点击价格低的那个商品概率会变大。对于没有购买意图的用户，这种时候把同类商品打散可能更适合让用户去发现。所以会基于第一个的基础上映入第二个问题。

3. 精排模型中的 pairwise, listwise 开始考虑 item pair，item list 建模，但是只是优化算是函数来更好的利用点击label信息，不能显式建模后续商品间的相互影响（rank 与 re-rank与目标不同，前者旨在学习 user-item 打分，后者尝试考虑候选商品间相互影响，进行再次排序，旨在得到一个更符合用户偏好的序列，因此说re-rank拟合rank的残差这种说法是不正确的）

3. 现有方案

1. 使用 GRU, LSTM, Pointer Network建模候选商品之间的序列特征，缺点是并行程度低， 耗时大；
2. 使用 解码器生成方式生成候选序列，使用 $t-1$ 时刻的 item 产出 $t$ 时刻的 item，无无法并行，并且需要 n 次推理，无法在线上使用；（n 为商品数）

4. 重排

4.1 重排建模公式

1. LTR Loss

$$\mathcal{L}=\sum _{r\in \mathcal{R}}\ell \left(\left\{y_i,P\left(y_i\mid {\mathbf{x}}_i;\theta \right)\mid i\in I_r\right\}\right)$$
$\mathcal{R}$ 是推荐系统中用户请求集合，$I_r$ 是对请求 $r\in \mathcal{R}$ 的候选商品集，${\mathbf{x}}_i$ 是item $i$ 的特征空间，$y_i$ 是 item label(click or not)，$P\left(y_i\mid {\mathbf{x}}_i;\theta \right)$ 是对 item 的点击预测概率；$\theta$ 是参数，$l$ 是通过 $y_i$ 与$P\left(y_i\mid {\mathbf{x}}_i;\theta \right)$ 计算出来的 Loss；

2. 本文 Rerank Loss

$$\mathcal{L}=\sum _{r\in \mathcal{R}}\ell \left(\left\{y_i,P\left(y_i\mid \mathbf{X},\mathbf{P}\mathbf{V};\hat{\theta }\right)\mid i\in {\mathcal{S}}_r\right\}\right)$$
传统LTR loss 没有建模 item pair的相互影响，re-rank 加入了候选商品列表之间的 item pair loss，引入了个性化矩阵 $PV$ 来学习指定用户的编码器，能够建模 item-pair 之间的相互影响；

${\mathcal{S}}_r$ 是排序模型得到的排序列表，$\hat{\theta }$ 是重排模型参数，$\mathbf{X}$ 是精排后所有 item 的特征矩阵；

其中 PV 采用精排模型 user-item 打分最后隐层即可，作者提出预训练比较好；

4.2 Deep Re-rank 建模

4.2.1 模型结构

主体模型结构主要包含输入层，编码层和输出层，其中 re-rank 输入为精排打分降序输出列表，输入为固定长度列表 ${\mathcal{S}}_r=\left[i_1,i_2,\dots ,i_n\right]$，则特征输入 $\mathbf{X}$ 为 $\mathbf{X}\in {\mathbb{R}}^{n\times d_{\text{ feature }}}$，$\mathbf{X}$ 的每行 $x_i$ 对应 item $i\in S$，$d_{\text{ feature }}$ 为每个 item 的特征。

4.2.2 输入层

Personalized Vector (PV)

PV 是个性化矩阵，采用预训练模型产生， $PV\in {\mathbb{R}}^{n\times d_{\mathrm{p}\mathrm{v}}}$ ，$X\in {\mathbb{R}}^{n\times d_{\text{ feature }}}$ 是原始输入特征，两者合并得到输入矩阵 $E^{\prime }\in {\mathbb{R}}^{n\times \left(d_{\text{feature }}+d_{pv}\right)}$：

$$E^{\prime }=\left[\begin{array}{c}{x}_{i_1};p{v}_{i_1}\\ x_{i_2};p{v}_{i_2}\\ \cdots \\ x_{i_n};p{v}_{i_n}\end{array}\right]$$

Position Embedding(PE)

PE 为一个维度与输入特征矩阵相同的可训练矩阵，$PE\in$ ${\mathbb{R}}^{n\times \left(d_{\text{feature }}+d_{pv}\right)}$ ，作者提出，使用一个可学习的位置向量比固定位置 embedding 效果要好：
$$E^{\prime \prime }=\left[\begin{array}{c}{x}_{i_1};p{v}_{i_1}\\ x_{i_2};p{v}_{i_2}\\ \cdots \\ x_{i_n};p{v}_{i_n}\end{array}\right]+\left[\begin{array}{c}p{e}_{i_1}\\ p{e}_{i_2}\\ \cdots \\ p{e}_{i_n}\end{array}\right]$$
然后采用一个前馈神经网络做矩阵变换，将输入矩阵 $E^{\prime \prime }\in {\mathbb{R}}^{n\times \left({\hat{d}}_{\text{feature }}+d_{pv}\right)}$ 转换到 $E\in {\mathbb{R}}^{n\times d}$，其中 $d$ 是编码层输出维度：
$$\mathbf{E}=\mathbf{E}{\mathbf{W}}^E+b^E$$
其中 $W^E\in {\mathbb{R}}^{\left(d_{\text{feature }}+d_{pv}\right)\times d}$ 是变换矩阵，$b^E$ 是一个 $d$ 维矢量；

同时，结合 DIN, DIEN, DSEN, BST 这种可训练位置矩阵编码应该是一种较为可取的位置编码方案；

4.2.3 编码层

编码层作用是用于编码精排序列 item-paris 和其他信息的影响，主要包含 用户偏好 和 原始精排序列顺序；

Attention Layer

作者使用Mult-head attention 建模精排原始序列 item-paris 的相互影响，
$$\begin{array}{rl}{S}^{\prime }=& MH(E)=\text{ Concat }\left({\text{ head }}_1,\dots ,{\text{ head }}_h\right)W^O\\ {\text{ head }}_i& =\text{ Attention }\left(E{W}^Q,E{W}^K,E{W}^V\right)\end{array}$$
其中 ${\mathbf{W}}^Q,{\mathbf{W}}^K,{\mathbf{W}}^V\in {\mathbb{R}}^{d\times d}.{\mathbf{W}}^{\mathbf{O}}\in {\mathbb{R}}^{\mathbf{h}d\times d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}$ 是映射矩阵，$h$ 是 head 个数.

Attention 采用 self-attention 标准结构：
$$\text{ Attention }(Q,K,V)=\mathrm{softmax}\left(\frac{Q{K}^T}{\sqrt{d}}\right)V$$
Feed-Forward Network 与 Stacking The Encoding Layer​ 同标准 Transformer 相同，但是 FFN 是 position-wise 级别；

其实，作者这里采用了原始 Transformer 建模精排序列 item-paris 之间的相互影响，在代码层面就是直接将 batch size 设置为精排序列程度 $n$，输入 batch size 为重排固定长度 $n$;

4.2.4 输出层

输出层采用 softmax 输出 $P\left(y_i\mid \mathbf{X},\mathbf{P}\mathbf{V};\hat{\theta }\right)$ 作为用户对各 item 的点击概率，依据该分数进行重排得到输出，
$$\text{ Score }(i)=P\left(y_i\mid X,PV;\hat{\theta }\right)=\mathrm{softmax}\left(F^{\left(N_x\right)}{W}^F+b^F\right),i\in {\mathcal{S}}_r$$
其中 $F^{\left(N_x\right)}$ 是 $N_x$ 个 Transformer 的编码输出， ${\mathbf{W}}^F$ 是可学习的映射矩阵， ${\mathbf{b}}^F$ 是偏置项，$n$ 是输入重排的初始序列长度；

在训练阶段，我们使用点击作为label，最小化下面损失函数
$$\mathcal{L}=-\sum _{r\in \mathcal{R}}\sum _{i\in S_r}{y}_i\log (P\left(y_i\mid \mathbf{X},\mathbf{P}\mathbf{V};\hat{\theta }\right)$$

这个就设计模型训练的样本组织了，作者一提而过，其实反倒是最难得点；

4.2.5 PV预训练

承接 2.2.1 输入层中的个性化矩阵 PV，采用预训练得到，而非直接随机初始化在重排中学习，原因是重排的任务是修正精排任务，在重排阶段训练出的任务指定型的用户个性化表征（user-item）缺乏用户一般性偏好，因此使用一个预训练的神经网络参数用户个性化偏好矩阵PV：

用户 $u$ 对 item $i$ 的点击概率 $\left(P\left(y_i\mid {\mathcal{H}}_u,u;{\theta }^{\prime }\right)\right)$ 考虑了用户 $u$ 所有历史行为 $\left({\mathcal{H}}_u\right)$ 和用户的其他特征包含性别、年龄、购买等级等；

Loss函数使用一个 point-wise 交叉熵：
$$\begin{array}{rl}\mathcal{L}=\sum _{i\in \mathcal{D}}& (y_i\log \left(P\left(y_i\mid {\mathcal{H}}_u,u;{\theta }^{\prime }\right)\right)+\left(1-y_i\right)\log \left(1-P\left(y_i\mid {\mathcal{H}}_u,u;{\theta }^{\prime }\right)\right)\end{array}$$
其中 $\mathcal{D}$ 为展示给用户 $u$ 的商品集，${\theta }^{\prime }$ 是参数矩阵，$y_i$ 是用户对 item $i$ 的点击label，其中模型结构不限，也可以采用 FM, FFM, DeepFM, DCN等等；

将最后一层隐层作为 $p{v}_i$ ，即用户 $u$ 对 item $i$ 的个性化矩阵（对应PV中的一行）；

个人建议直接采用精排模型中最后隐层作为 $p{v}_i$；

5. 实验结论

• 切除实验证明Position embedding对提升效果很重要，侧面证实了初始序列信息的重要性，

• 实验采用了 4 层transformer block，效果最好；再多会过拟合；

• head数量无明显影响，作者建议只使用1个head（这点与NLP不同，因为重排阶段是建立在精排的前提上，所以重排的输入同质性是很严重的，因此多头对应的原始特征向量到不同特征子空间提升有限）；

• 预训练PV很重要，预训练模型可自行适配（DNN, DCN, DeepFM等），提升明显；

6. 个人总结

该论文延续了阿里实用风格，其模型结构不复杂，建模思想很直接，建模重排后 item-pairs 相互影响，同时引入user-item 个性化偏好信息，秉着这个思想进行建模尝试：

• 实验结果验证使用 Transformer 建模 item-pairs 效果最好 （使用可训练 Position bias embedding）；
• 使用预训练的 PV(personal vector) 效果比直接在重排中训练效果好；

最终在离线和线上都取得一定收益，思路方法值得借鉴学习。

7. 参考文献

[1] Personalized Re-ranking for Recommendation