SDM，长短期兴趣融合召回

SDM简述

CIKM ’19， 阿里巴巴的一项推荐工作。

贡献

在已有的 sequence-based 工作基础上，解决两个问题：

• session 中存在 multiple interest tendencies
• long-term behaviors are various and complex. 为此设计 long-short term gated 作长短期兴趣融合

网络结构

user profile preference

使用 $e_u=concat(\{e_u^p|p\in P\})$ 表达用户向量。where $P=\{age,gender,life\_stage\}$.

short-term preference

1. 使用 $e_i=concat(\{e_i^f|f\in F\})$ 表达商品向量。where $F=\{id,cate\_first\_level,cate\_leaf\_level,shop,brand\}$. due to the sparsity caused by the large-scale items, encoding items only by item_id is far from satisfaction.
2. 送往LSTM，得到 $[h_1^u,...,h_t^u]$
3. 送往self_att， 得到$[{\hat{h}}_1^u,...,{\hat{h}}_t^u]$
4. user_attention，权重由$softmax(<e_u,h_i^u>)$得到，不再像self_att那样先线性投影 Q,K 空间再点积相乘。该步得到短期偏好$s_t^u$

long-term preference

1. $L^u=\{L_f^u|f\in F\},l_k^u\in L_f^u，l_k^u\in R^d$, F 为field的集合，同上。$L_f^u$ 为某个field的偏好list，同一field共享embedding 矩阵。
2. $z_f^u=user\_attention(e_u,L_f^u)\in R^d$ , 起到 pooling 作用。
3. $z^u=concat(\{z_f^u|f\in F\})$，得到长期偏好 $p^u=tanh(W{z}^u+b)$.

long-short term fusion gate

“we elaborately design a gated neural network”,$G^u=\sigma (W_1{e}_u+W_2{s}_t^u+W_3{p}^u+b)，G^u\in R^d$,该gate用来控制短期兴趣的占比。
$\odot$为element-wise multiplication,进一步得到$o_t^u=G^u\odot s_t^u+(1-G^u)\odot p^u$用于召回。

candidate matching

$score(ite{m}_i)=<o_t^u,v_i>,score(ite{m}_i)\in R,v_i\in V$,$V$是另一个item emb矩阵。

数据集

用人家JD数据集，有意思吧。

图：user/item 交互数据

图：item的side_info

图：user 的side_info

模型对比及ablation study

• SDMMA. Sequential Deep Matching with Multi-head Attention is our multi-head self-attention enhanced model.
• PSDMMA. Personalized SDMMA adds user attention module to mine fine-grained personalized information.
• PSDMMAL. PSDMMA combines representations of shortterm sessions and Long-term behaviors.
• PSDMMAL-N. Based on PSDMMAL, during training, we take the following N items as target classes as Tang and Wang [24] does at the current time step. N = 5 in this experiment.
• PSDMMAL-NoS. PSDMMAL does Not contain the embeddings of Side information in short-term sessions and long term behaviors except for the ID feature of item and user.

小结

以下指标指相对提升。

• 添加 user_profile， +$1.7\%$
• 添加 side_info， +$8\%$
• 添加 长期兴趣融合， +$1.8\%$ .
• following N as target。 在淘宝数据集上取得sota，上线也是用的这一版，pCTR+7%;pGMV+4%;discovery+24%.
• gate 设计。 SHAN 方法也用了user_profile与长期兴趣，但做法是att(query=user_profile,keys=[long_interest,short_interest]),这样的设计不如 gate 有表现力，更好的捕捉correlation，相互关系。

官方代码

代码参考性太差，作者称"只是核心代码，数据处理看不到，因为用的内部odps，故而删去"。 但很多核心方法也找不到定义，参考性差.

我的讨论

参考

1. paper，SDM
2. github, official code