KDD2020debias赛道赛题介绍

背景

本专题重点介绍曝光的范围，即如何推荐过去很少曝光的物品，以对抗推荐系统中经常遇到的马修效应。 尤其是，在对点击数据进行训练时，减少偏差对于该任务的成功至关重要。 就像现代推荐系统中记录的点击数据和实际在线环境之间存在差距一样，培训数据和测试数据之间也会存在差距，主要是关于趋势和项目的受欢迎程度。

• 获奖的解决方案需要在历史上很少接触的产品上表现良好。
• 培训数据和测试数据是在多个时期内收集的，甚至包括大规模的销售活动。
• 由于趋势的变化，对于可靠的预测不可避免地要执行偏差减小。
• 我们提供了商品的多模式功能以及一些（匿名的）关键用户功能，以帮助参与者探索能够抵抗数据偏差并能够很好地处理未开发商品的解决方案

数据集

数据集下载

数据集由训练和测试集组成。 参与者需要构建自己的验证集。

文件为CSV格式，采用UTF-8编码。 CSV文件的列为：

• item_id：商品的唯一标识符
• txt_vec：项目的文本特征，它是由预先训练的模型生成的128维实值向量
• img_vec：项目的图像特征，它是由预先训练的模型生成的128维实值向量
• user_id：用户的唯一标识符
• 时间：点击事件发生的时间戳，即（（unix_timestamp-random_number_1）/ random_number_2
• user_age_level：用户所属的年龄段
• user_gender：用户的性别，可以为空
• user_city_level：用户所在城市的等级

文件
数据收集时间超过十天，其中包括一次销售活动。它涉及超过100万次点击，10万项和3万用户。数据集的总大小约为500MB。

训练数据：underexpose_train.zip

• 它包含一个名为underexpose_item_feat.csv的文件，其列为：item_id，txt_vec，img_vec

• 它包含另一个名为underexpose_user_feat.csv的文件，其列为：user_id，user_age_level，user_gender，user_city_level

• 它包含十个加密文件，其名称格式为underexpose_train_click-T.zip。在这里T = 0,1,2，…，9表示我们处于比赛的阶段T。当比赛进入阶段T时，我们将在论坛中释放underexpose_train_click-T.zip的密码。underexpose_train_click-T.zip的内容为underexpose_train_click-T.csv，其列为：user_id，item_id，时间

测试数据：underexpose_test.zip

• 它包含十个加密文件，其名称格式为underexpose_test_click-T.zip。在这里T = 0,1,2，…，9表示我们处于比赛的阶段T。当比赛进入阶段T时，我们将在论坛中释放underexpose_train_click-T.zip的密码。underexpose_test_click-T.zip的内容为underexpose_test_click-T.csv和underexpose_test_qtime-T.csv。

• underexpose_test_click-T.csv的列为：user_id，item_id，时间

• underexpose_test_qtime-T.csv的列为：user_id，query_time

  • 这里的query_time是用户单击下一项的时间戳。这项比赛的任务是预测出现在underexpose_test_qtime-T.csv中的每个用户点击的下一项。特别是，参与者需要为每个用户推荐五十个项目。如果五十个推荐项目中的任何一个与实际情况相符，则参与者将获得积极的分数。
  • 我们确保真实的下一项在underexpose_item_feat.csv中。但是，虽然不太可能，但是在训练数据中观察到的点击次数可能为零。

提交

比赛进入阶段T时，参与者需要提交对underexpose_test_qtime-0,1,2，…，T.csv的预测。

• 提交文件名：underexpose_submit-T.csv

• 提交的文件应为51列的CSV文件。 不需要包括标题，即列的名称。 提交文件的51列应为：

  • user_id，item_id_01，item_id_02，…，item_50

  • 这里item_id_01，item_id_02，…，item_id_50是为user_id推荐的五十个项目。 这五十个项目的顺序很重要。 请把最可能被用户点击的项目放在前面。 换句话说，item_id_01应该是最可能的。

  • 我们确保每个user_id不会出现在多个阶段中。 因此，您无需指定提交的每一行用于哪个阶段。

• 确保您已阅读论坛上发布的官方评估脚本。

评价

对于本次比赛，我们使用NDCG @ 50来衡量推荐列表的质量。

• 我们将计算两个指标：NDCG @ 50满和NDCG @ 50稀有。

  • NDCG @ 50-full是对整个测试集（即underexpose_test_qtime-T.csv中的所有测试用例）进行计算的。

  • 在underexpose_test_qtime-T.csv中的一半测试用例上计算NDCG @ 50稀有度。 所选的一半包括其下一个要预测的项目比过去训练集中的另一半更少探索的案例，即underexpose_train_click-0.zip，underexpose_train_click-1.zip，…，underexpose_train_click-T.zip。

• T = 0,1,2，…，6期正在开发中。 参与者的最终排名将基于T = 7,8,9进行计算。

  • 完整的NDCG @ 50获胜团队需要跻身前10％，同时要在合格团队中获得最佳NDCG @ 50稀有度。