腾讯联合西湖大学发布首个大规模多用途推荐系统数据集, 可评估超10种推荐任务...

嘿，记得给“机器学习与推荐算法”添加星标

---

针对当前数据集存在的小规模以及有限的用户反馈形式等问题，腾讯联合西湖大学发布了一个大规模的多用途推荐系统数据集Tenrec。基于该数据集，还验证了10种不同的推荐任务上的基线性能。

论文：https://arxiv.org/abs/2210.10629

对于论文所涉及的代码、数据集以及榜单可在以下链接获取：
https://github.com/yuangh-x/2022-NIPS-Tenrec

该数据集来自腾讯的两个信息流（文章和视频）推荐平台，分别是OK平台和QB平台，每个平台有两个信息源，即文章和视频，两个平台有不同程度的重叠比例。

该数据集的统计信息如下，分别统计了每个平台的用户数量、物品数量、点击数量、喜欢数量等常用的指标。

针对于该数据集，收集了2021年9月17日至12月7日的QK和QB的用户行为日志。具体收集过程如下：首先从QK-video数据库中随机抽取约502万用户，要求每个用户至少有5次视频点击行为；然后，提取他们的反馈（约4.93亿），包括正面反馈（即视频点击、分享、喜欢和关注）和负面反馈（有曝光但没有用户行动）；最后，得到约1.42亿次点击、1000万次喜欢、100万次分享和86万次关注，同时还有375万个视频。此外，还有用户的年龄和性别特征，以及物品的视频类型特征。另外对QK-article、QB-video和QB-article执行类似的数据提取策略。

值得说明的是，该数据集（1）所有user和item及相关特征都经过脱敏处理；（2）sota结果可以通知作者，及时更新leaderboard；（3）基于Tenrec的新任务可以建立新的leaderboard。目前相关网站正在建设中。

具体来说，该数据集包含以下特点：

1. 大规模，包含大约500万用户和1.4亿次交互数据；

2. 反馈形式多样，不仅包含正反馈，还包含真正的负样本；

3. 用户/物品存在重叠，其在4个场景中存在重叠的用户和物品；

4. 正反馈形式多样，包括点击、喜欢、分享等；

5. 边信息丰富，除了用户和物品ID外，还有其他辅助信息。

下图a和b展示了QK-video数据集点击行为的物品流行度分布，其明显的呈现出长尾分布的特征。图c展示了会话的长度分布，可以看出大部分的长度分布在[0-20]区间段。

基于以上优势，Tenrec可以被用来评估广泛的推荐任务。在本文中，其通过十个推荐任务来研究它的特性，包括（1）点击率预估，（2）基于会话的推荐，（3）多任务推荐，（4）跨域推荐，（5）用户属性预测，（6）冷启动推荐，（7）终身用户表示学习，（8）模型压缩，（9）模型训练加速，和（10）模型推理加速。在这些任务之外，可以很容易地整合上述的一些特点，提出更多的或新的任务。

接下来介绍每个推荐任务的实验结果，对于每个任务具体的实验设置以及所用数据集可移步原文进行精读，在此只列出部分实验数据。

点击率预估实验结果

会话推荐实验结果

多任务推荐实验结果

跨域推荐实验结果

用户属性预测实验结果

冷启动推荐实验结果

终身表示学习实验结果

推荐模型压缩实验结果

模型训练加速实验结果

模型推理加速实验结果

本文提出了Tenrec，其是最大和最通用的推荐数据集之一，涵盖了具有各种用户反馈类型的真实世界场景。为了显示其广泛的效用，在十个不同的推荐任务上进行了实验验证，并对经典的深度模型进行了测试。通过公布代码、数据集和每个任务的排行榜，以促进推荐社区的研究。

感兴趣的读者可移步原文进行精读。

---

欢迎干货投稿 \ 论文宣传 \ 合作交流

推荐阅读

论文周报 | 推荐系统领域最新研究进展

基于隐私保护的联邦推荐算法综述

CIKM2022 | 快手提出移动端实时短视频推荐系统

由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。

喜欢的话点个在看吧