推荐系统深度学习篇-阿里DIN算法介绍(4)

DIN(Deep Interest Network for Click-Through Rate Prediction)算法

一、din简介

该论文是18年由阿里巴巴的盖坤团队提出，论文地址为：https://arxiv.org/pdf/1706.06978.pdf
原论文的网络结构为

在深度学习推荐系统这本书中，王喆绘制了这么一幅图，更好理解

注意
架构图中的红线，发现每个ad会有 good_id, shop_id 两层属性，shop_id只跟用户历史中的shop_id序列发生作用，good_id只跟用户的good_id序列发生作用

1 论文优化点

1.1注意力机制

注意力机制顾名思义，就是模型在预测的时候，对用户不同行为的注意力是不一样的，“相关”的行为历史看重一些，“不相关”的历史甚至可以忽略

va是候选集的embedding，ej是行为序列的embedding，一般要求sum(wj,j=1,2,…n)=1,为了达到这种目的，对attention做了softmax处理

1.2 mini-batch aware regularization

在大规模稀疏场景下，采用SGD对引入L2正则的loss进行更新时计算开销过大的问题。该方法只对每一个mini-batch中参数不为0的进行梯度更新

B代表总mini-batch的size，Bm代表第m个mini-batch，amj=max(x,y)I(xj!=0) ,(x,y) in Bm，I为指示函数；nj代表在所有样本中特征j出现的次数

1.3 适应激活函数Dice

主要是缓解每一个batch分布不一致，而提出的一种自适应调整rectified point的位置的激活函数

E[s] and Var[s]每一个mini-batch的期望和方差，当期望为0，方差为1退化为PReLu
PReLu的结构为

参考

1、https://zhuanlan.zhihu.com/p/78015378

---

Edited by ：Eshter
date ：20201119