DIEN模型介绍

DIEN介绍

在CTR预估中，捕捉用户行为背后隐式的兴趣是非常重要的，而且因为外部环境和用户心智的变化，用户的兴趣会随着时间不断演化。
传统的CTR预估把用户行为直接表示为兴趣，缺少在具体行为背后的隐式兴趣，而且很少有工作考虑兴趣的演化。
DIEN设计了一个兴趣抽取层捕捉了用户历史行为的兴趣，在这层中提出了一个辅助loss来监督每一步的兴趣抽取。因为用户兴趣是多样的，提出了一个兴趣演化层去捕捉和当前物品相关的演化过程。并且把注意力机制很巧妙的嵌入了序列结构当中。

兴趣抽取层

采用GRU对用户的行为信息背后的隐式兴趣进行建模.

辅助loss

ht只能捕捉行为之间的关联，并不能有效地表示兴趣。Target label仅仅包含最终兴趣的预测值，但是历史的隐状态ht无法获得有效的监督。
如我们所知，每一步的兴趣状态会直接引导下一步的行为。所以DIEN提出了辅助loss，用bt+1去监督兴趣状态ht。除了用真实的下个行为作为正样本，也在非行为样本中进行了负采样。也就有N个行为序列的pair对
辅助loss如下：

最终loss为：

兴趣演化层

因为内部意识和外部环境的影响，用户不同的兴趣随着时间不断变化。用衣服作为例子，随着潮流和用户口味的变化，用户对衣服的偏好也在变化。这种变化会直接影响候选集合的CTR预估分数。这样做的优点有两个：

1. 可以为最终的兴趣表示提供更多相关的历史信息。
2. 跟随兴趣演化趋势预估CTR会更好。
   兴趣在演化过程中有两个特征：
3. 由于兴趣的多样性，兴趣会偏移。比如一段时间看书，一段时间看衣服。
4. 尽管兴趣会互相影响， 每一种兴趣有它自己的演化过程。但我们仅仅关系和当前物品相关的兴趣演化过程。
   在第一阶段，我们已经获取了用户的隐式兴趣表达，为了分析用户兴趣演化的特性，我们结合attention机制和GRU序列学习的能力去建模用户兴趣的演化。局部attention可以加强相关兴趣的影响，并减弱兴趣偏移的影响。
   
   文章提出了带attention更新门的GRU，去无缝结合attention和GRU
   
   在AUGRU中，保持了更新门的维度信息，这些决定了每个维度的重要性。基于分化的信息，用attention score去缩放更新门的所有维度，这可以让不相关的兴趣造成更少的影响。

整体模型结构图

实验对比

参考

Deep Interest Evolution Network for Click-Through Rate Prediction