DIN

1. DIN(Deep Interest Network)优点

  使用用户兴趣分布来表示用户多种多样的兴趣爱好。

  使用Attention机制来实现Local Activation,局部激活相关的历史兴趣信息,与当前候选Ad相关性越高的历史行为,会获得更高的Attention Score。

  针对模型训练,提出Dice激活函数,自适应正则,显著提升模型性能与收敛速度。

2. 整体网络结构

  DIN_第1张图片

  利用Goods与Ads之间的相关性,引入注意力机制。DIN模型的输入分为2个部分:用户特征和广告(商品)特征。用户特征由用户历史行为的不同实体ID序列组成。在对用户的表示计算上引入了attention network 。DIN把用户特征、

用户历史行为特征进行embedding操作,视为对用户兴趣的表示,之后通过attention network,对每个兴趣表示赋予不同的权值。这个权值是由用户的兴趣和待估算的广告进行匹配计算得到的,如此模型结构符合了之前的两个观察:

用户兴趣的多峰分布以及部分对应。Attention network 的计算公式如下:

                              

其中, 代表用户表示向量, 是用户行为 的embedding向量,代表广告的表示向量。核心在于用户的表示向量不仅仅取决于用户的历史行为,而且还与待评估的广告有直接的关联。

3. 数据自适应激活函数

  PReLU

  

其中为指示函数,PReLU函数不适用每层输入为不同分布时的情况。

  自适应激活函数

  

 其中在训练阶段,分别为每个mini-batch的均值和方差。

  DIN_第2张图片

 4. 评价指标

  

 其中为用户数,为第个用户的权重和AUC的值。

5. 参考博客

  https://www.cnblogs.com/rongyux/p/8026323.html

  https://www.jianshu.com/p/a356a135a0d2

 

你可能感兴趣的:(DIN)