BERT4Rec:基于双向transformer编码表示的序列化推荐

BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

摘要

这篇阿里提出的论文，将BERT中提出的双向transformer编码器用于序列化推荐中。然而在双向深度模型中，同时基于左右两个条件会使训练不起作用，因为每个item都可以直接看到terget item。为了解决这个问题，论文采用完形填空任务(Cloze task)训练双向模型。预测序列中被mask掉的item，基于被mask item的左右环境。

关键词

序列化推荐，双向序列模型，完形填空

模型

基于bert的模型