Bert4rec : sequential recommendation with bidirectional encoder representations from transformer

局限性：

• 之前的模型时从左到右的
• 单向结构限制了用户行为序列中隐藏表示的能力；
• 它们通常假定一个严格有序的序列，而这并不总是实用的。

提出了 bert4rec 是应用deep biderectional self-attention 来对用户的行为序列进行建模的。
为了避免信息泄露，高效的训练双向模型，我们采用Cloze目标来进行顺序推荐，预测序列中的随机蒙面项，通过对其上下文的联合条件进行预测序列中随机mask的items。

贡献

为了解决上述局限性，我们寻求使用双向模型来学习用户历史行为序列的表示

在一个双向的深度模型中训练可能会造成信息的泄露 允许每个item 看到了下一个item 。为了解决这个问题，引入了Cloze 任务来代替单向任务的目标。
随机的mask一些item，（将他们替换成[mask]),然后基于它们的周围上下文来预测这些掩蔽项的ID。这样，我们避免了信息泄漏，并通过允许输入序列中每个项的表示融合左右上下文来学习双向表示模型。 除了训练双向模型之外，cloze模型的另一个优点是它可以产生更多的样本，在多个时期训练一个更强大的模型。但是，完形填空任务的一个缺点是它与最终任务(即顺序推荐)不一致。为了修正这个，在测试的时间，我们增加了一个特殊的【mask】在输入句子的结尾来表示这个item是我们需要预测的，然后根据它的最终隐藏向量提出推荐。

• 我们提出了通过cloze 任务来对用户的行为序列使用双向self-attention进行建模。 这是第一个将cloze任务引入推荐系统领域的

自我注意机制赋予BERT4Rec直接捕获任意距离依赖关系的能力。这一机制产生了一个全局接受场，而cnn基于cnn的方法如Caser通常有一个有限的接受场。此外，与基于RNN的方法相比，自我关注直接并行化。.

Transfomer中的 feed-forward-network 进行了修改：

它由两个仿射变换组成，两者之间有一个高斯误差线性单元（GELU）激活

其中Φ(X)是标准高斯分布的累积分布函数。GELU 更加smooth 相比relu

positional embedding 不是之前的固定的正弦函数，而是新的可学习的embedding。

output layer

model learning

training

引入了 masked language model 到sequential recommendation （完型填空）

损失函数

实验

数据

1. Amazon beauty :
   http://jmcauley.ucsd.edu/data/amazon/

2.steam
https://cseweb.ucsd.edu/~jmcauley/datasets.html#steam_data3

. 3 movielens 1M 和movielens 20M
3.
4. 将所有的评分置为1
5. 我们将用户对交互记录进行分组，根据时间戳对交互记录进行排序，为每个用户构建交互序列。
6. 让每个用户至少有5个反馈

数据集分法：

使用leave-one-out 测试任务，对每个用户，我们将行为序列的最后一个商品作为测试的数据集，将前一个商品作为验证集。因此，task将这些负样本与每个用户的groundtruth项进行排序。

为了公平，我们将每一个测试集中的 ground truth item 与随机采样的100个用户没有交互的样本进行搭配。为了保证抽样的可靠性和代表性，对这100项负样本按其受流行程度进行抽样。

评价指标

• hit ratio
• normalized discounted cumulative Gain
• mean reciprocal rank