推荐系统之阿里广告：Deep Interest Evolution Network for CTR

前言

阿里又出了篇DIEN，据传提高了20.7%，让我们拿来一睹为快。

亮点

1）构建兴趣提取层，并加入辅助loss来更有效学习兴趣状态。
2）构建AUGRU（GRU with Attention Update Gate），可以接住兴趣状态来model用户兴趣演化。
直接上图

辅助 loss

用GRU的隐状态来提取每一步的用户兴趣状态，由于点击与否只在最后一步上对隐状态有最大化的指导作用，引入了辅助loss来帮助中间步的隐状态学习用户兴趣状态的表达。每个$T_i$都跟着一个无点击的采样。$$L_{aux}=-\frac{1}{N}(\sum _{i=1}^N\sum _{t}log\sigma (h_t,e_b^i[t+1])+log(1-\sigma (h_t,{\hat{e}}_b^i[t+1])))$$
其中$\sigma (x_1,x_2)=\frac{1}{1+exp(-[x_1,x_2])}$，$h_t$表示GRU的隐状态，$e_b\in R^{T\times n_E}$表示时序的点击向量序列，${\hat{e}}_b[t]$表示时序$T=t$时的负样本向量序列。$N$表示共有$N$对$\{e_b^i,{\hat{e}}_b^i\}$来作一批训练集。类似负采样，但是仅仅一次采样负样本。总loss$L=L_{target}+\alpha \ast L_{aux}$，其中$L_{target}$是负log似然。

AUGRU

为了描述用户兴趣演化，借助上面的兴趣状态，对用户兴趣演化建模，将GRU的update gage替换为attention-score*update-gate。$$u_t^{\prime }=u_t\ast a_t⟶a_t=\frac{exp(h_{t}W{e}_a)}{{\sum }_{j=1}^{T}exp(h_{j}W{e}_a)}$$
标准的GRU组件，如下：
$$\{\begin{array}{cc}{u}_t=\sigma (W_u{i}_t+U_u{h}_{t-1}+b_u)& \\ r_t=\sigma (W_r{i}_t+U_r{h}_{t-1}+b_r)& \\ {\tilde{h}}_t=tanh(W_h{i}_t+r_t\otimes U_h{h}_{t-1}+b_h)& \\ h_t=(1-u_t)\otimes h_{t-1}+u_t\otimes {\tilde{h}}_t& \end{array}$$
将GRU的第四个式子的$u$替换为$u_t^{\prime }$即为AUGRU。

思考

1） 采样负样本时，是从哪些无点击data-set中采样的？是该用户有展现无点击里面采样，还是所有用户有展现无点击里面采样，还是所有用户点击中但该用户无点击里面采样？
2） 新闻推荐中，是否也适合这种方法呢？估计可以有很大提高。