工业界推荐_Industrial RS(2)
Industrial RS
Alibaba
Wentao et al. Representation Learning-Assisted Click-Through Rate Prediction. arXiv, 2019.
整个模型包括三个部分
- matching subnet
用来匹配user-ad之间的关系，论文中说就是一个ad是否匹配一个用户的兴趣 - correlation subnet
用来探索ad-ad之间的关系，主要处理的是在用户点击历史的windows中的ads的关系 - prediction subnet
建模feature-CTR的关系，给出最终的CTR_pred_rate
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NHYy7vNO-1647688292632)(upload://2Kq5DZtvQZeL2Cc6mseioyPdZvQ.png)]
Fuyu et al. SDM: Sequential Deep Matching Model for Online Large-scale Recommender System. CIKM, 2019.
用户存在短期偏好与长期偏好，文章认为，一方面，在一个session中可能存在多个兴趣倾向(session可以根据浏览时间划分，若一定时间没有浏览，再次浏览即为一个新的session)，另一方面，当前session的兴趣可能会受长期偏好的影响。基于以上考虑，本文提出SDM模型，融合了长期偏好与短期偏好，分别对二者进行向量表示，然后利用long-short term gated fusion将长期兴趣向量与短期兴趣向量融合后，预测用户行为进行推荐。
文章贡献
- 提出SDM模型：同时考虑长短期行为，对两部分分别建模，表示用户不同时期的兴趣水平
- 利用多头自注意力机制对短期兴趣行为建模；利用gated fusion模块结合长期兴趣对当前的购物需求，捕捉影响关系
- 在两个数据集线下实验，并利用淘宝线上实验，表现良好
Wentao et al. MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction. CIKM, 2020.
现有的工作主要针对单一领域CTR预测，即仅利用ad数据进行CTR预测，并对特征交互、用户行为历史和上下文信息等方面进行建模。然而，广告通常伴随着自然内容显示，这为跨域CTR预测提供了机会。在本文中，我们解决了这个问题，并利用源域的辅助数据来提高目标域的CTR预测性能。我们的研究基于UC今日头条(如下图)，源域为自然新闻feed(新闻域)，目标域为广告(广告域)。跨域的一个主要优势CTR预测是指通过跨域丰富数据，可以缓解目标域的数据稀疏性和冷启动问题，从而提高预测性能。模型大体分为两个部分：
- 主要部分Main part：这个部分是模型主要的部分，他为使用用户的三种兴趣（interest）和目标广告（target ad）进行建模。三种兴趣分别是通过源域被点击过的新闻序列训练获得的源域短期兴趣（Short-term interest from the source domain），通过目标域被点击过得广告序列训练获得的目标域短期兴趣（Short-term interest in the target domain）和通过用户profile训练获得的跨域长期兴趣（Long-term interest across domains）。
- 辅助部分Facilitation part： 该部分是为了便于学习跨域长期兴趣设置的。输入为跨域长期兴趣和源域的新闻一条（可能点击过也可能没有）。
为了有效地利用跨域数据，在MINet的主要部分建模了三种类型的用户兴趣:
- 跨领域的长期利益 Long-term interest across domains。
该模型采用基于跨域数据共同学习的用户profile特征的embedding嵌入pu模型。 - 来自源域的短期兴趣 Short-term interest from the source domain。
它由向量as建模，它聚合源域中最近单击的新闻的信息。 - 对目标领域的短期兴趣Short-term interest in the target domain。
它是由向量at建模的，它聚集了目标领域中最近点击的广告的信息。
Zhe et al. COLD: Towards the Next Generation of Pre-Ranking System. KDD, 2020.
现有粗排的相关工作仅仅把算力看做系统的一个常量，模型和算力的优化是分离的。论文重新思考了模型和算力的关系，从两者联合设计优化的视角出发，提出了新一代的粗排架构COLD (Computing power cost-aware Online and Lightweight Deep pre-ranking system). 它可以灵活对模型效果和算力进行平衡。COLD没有对模型进行限制，可以支持任意复杂的深度模型。这里论文把GwEN ( group-wise embedding network) 作为我们的初始模型结构。它以拼接好的特征embedding作为输入，后面是多层全连接网络，支持交叉特征。当然，如果特征和模型过于复杂，算力和延时都会难以接受。因此论文一方面设计了一个灵活的网络架构可以进行效果和算力的平衡。另一方面进行了很多工程上的优化以节省算力。
Weinan et al. Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction. SIGIR, 2020.
直观上，用户的兴趣存在层级关系，这种层级关系使得用户兴趣先从higher-level开始，然后再到lower-level，比如用户会先关注商品的类目，然后到品牌，最后到商品。用attention network对这种层级的兴趣进行建模能提高用户行为的表达。在DIN(Deep Interest Network)基础上，提出Deep Interest with Hierarchical Attention Network (DHAN)来建模用户的层级兴趣。在DHAN里，建模了多种层级结构，第一层attention层用来建模商品，后面的attention层建模更高层级，如品牌、类目。为了建模多种层级关系，使用了expanding mechanism，使得DHAN能够抽取不同层级的重要性，刻画用户的层级兴趣。实验效果显示，AUC比DIN提升12%到21%，比DIEN提升1.0%到1.7%。
DMIN: 《Deep Multi-Interest Network for Click-through Rate Prediction》
不管在电商领域还是短视频领域，用户的兴趣通常是多样的，潜藏在一个隐空间中，同时，用户在一个时间段內的兴趣是会演化的，用户的兴趣演化潜藏在序列item的变化过程中，所以为了建模这种多兴趣跟演化性，阿里提出来DMIN模型。
DMIN模型跟DIN和DIEN的模型如出一辙，特征部分可以说是跟另外两个模型一样，如果你之前对于din和dien比较熟悉的话，那看这篇论文就很容易通透了。
Ze et al. Deep Match to Rank Model for Personalized Click-Through Rate Prediction. AAAI, 2020.
1）在排序模型中引入了匹配思想，并引入辅助训练网络；
2）以一种灵活的、可扩展的方式引入了行为相关的query，从而能够更灵活地评价一个行为的重要性；
3）相比于DIEN，其在行为序列的计算上是可并行的；
DMR模型提出的基于匹配思想的深度排序模型DMR可以看做是另一种对DIN的改进方式。文章提出了两种网络结构，Item-to-Item网络和User-to-Item网络，来描述用户和候选目标item是否匹配。
Shu-Ting et al. Deep Time-Stream Framework for Click-Through Rate Prediction by Tracking Interest Evolution. AAAI, 2020.
- 提出了一种新的DTS框架，将用户潜在兴趣演化建模为ODE，显著提高了模型的表达能力，并能更好地捕捉用户兴趣演化特征。
- DTS可以在任意时间生成用户特征，因此可以灵活和自适应的评估。
- 时间流模块可以很容易地移植到现有的CTR模型，而不改变原有的结构。
Changhua et al. Personalized Re-ranking for Recommendation. RecSys, 2019.
直观上来说，用户的行为信息也应该被加入到重排，因为不同用户的倾向性不同。假如用户更关注价格，重排时价格就需要更多关注。文章提出基于Transformer的个性化重排，
- 假如用户和列表中物品的交互，更加合理
- Transformer的self-attention机制有效捕捉特征间的交互，改善了基于RNN方法的缺点
Liyi et al. A Deep Prediction Network for Understanding Advertiser Intent and Satisfaction. CIKM, 2020.
- 第一个考虑广告主意图识别和满意度预测的模型。正式地将广告主的意图定义为广告性能指标的多维权重向量，它可以从数学优化问题中得到。通过一个基于广告活动投资变化的新指标来评估广告客户的满意度。
- 指出了当直接将用户侧模型应用于广告主侧问题时所面临的挑战，因为他们没有在一个统一的连续空间中建模意图。因此，提出了一个深度满意度预测网络(DSPN)，联合模型广告客户的意图和满意度。通过使用动作融合层和循环网络结构，DSPN有效地从广告广告主与广告平台交互的各种数据特征中提取出对了解广告主意图和满意度至关重要的信息。
- 在阿里巴巴的广告数据集上进行了广泛的实验。结果验证了DSPN在满意度预测和意图向量生成方面的有效性。生成的意图向量不仅很好地解释了广告客户的行为，还揭示了潜在的优化目标，以进一步提高广告客户满意度和广告系统性能。此外，DSPN已部署在阿里巴巴在线广告客户流失预测系统中，满足日常业务需求。
Yu et al. EdgeRec: Recommender System on Edge in Mobile Taobao. CIKM, 2020.
作者在paper里强调的，传统的CS架构存在2个显著问题：
- Delay for System Feedback: 即在client向server端发送相邻2个请求时间内的间隔中，客户端是没法得到server的最新计算排序结果的；除非用户滑到下一页，向server端触发发送新的请求。这样就会导致客户在页面的一些行为没法即使的提供给模型进行计算；
- Delay for User Perception: 用户的特征上传到server端，由server端计算好并返回给client端。这段时间的时延一般在1 分钟左右，因此推荐系统也没办法针对用户的行为产生更及时的响应。
基于此，paper提出了完整的边缘计算框架，用来解决上述问题。以便模型能够更及时的对用户的最新行为进行感知，并产生针对性的预测结果。
- 推荐模型分布部署在client端和server端。模型的整个训练还是放在server端；训练好的模型参数中，embedding参数占据了很大的一部分，这部分参数由于占据空间比较大，是不可能全部存储在client的内存中的，它会根据需要在response信息中包含该请求需要的商品embedding向量信息；至于网络模型的其他部分，由于占据的内存空间比较小，会在每个client的内存空间中留存一份副本，模型参数的更新是有周期性的，即当client发现server端的模型version比本地的高的话，会自动想server请求最新的模型参数。
- 在每一次client发起request后，server会返回一批次的item候选集列表，这些列表会存储在client端的内存中。当用户在client端页面内进行一些操作的时候，会在以下三个场景下触发client端的排序模型，重新对由server端返回的item列表进行排序，分别是：1 用户点击了某个item；2 用户删除了某个item；3 用户滑过了k个item而没有产生任何的点击行为。
Yufei et al. MTBRN: Multiplex Target-Behavior Relation Enhanced Network for Click-Through Rate Prediction. CIKM, 2020.
- 强调了用户行为与目标项目之间的多重关系在点击率预测中的重要性。提出了一种基于路径的方法来利用这些关系在不同的图。
- 提出了一个新的CTR预测框架MTBRN来探索和建模多重关系。从不同的图中提取出多个关系路径。采用双lstm和路径融合/激活网络自适应学习多路关系的最终表示。
Industrial RS
Alibaba
Wentao et al. Representation Learning-Assisted Click-Through Rate Prediction. arXiv, 2019.
整个模型包括三个部分
- matching subnet
用来匹配user-ad之间的关系，论文中说就是一个ad是否匹配一个用户的兴趣 - correlation subnet
用来探索ad-ad之间的关系，主要处理的是在用户点击历史的windows中的ads的关系 - prediction subnet
建模feature-CTR的关系，给出最终的CTR_pred_rate
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tTazKFk2-1647688292633)(upload://2Kq5DZtvQZeL2Cc6mseioyPdZvQ.png)]
Fuyu et al. SDM: Sequential Deep Matching Model for Online Large-scale Recommender System. CIKM, 2019.
用户存在短期偏好与长期偏好，文章认为，一方面，在一个session中可能存在多个兴趣倾向(session可以根据浏览时间划分，若一定时间没有浏览，再次浏览即为一个新的session)，另一方面，当前session的兴趣可能会受长期偏好的影响。基于以上考虑，本文提出SDM模型，融合了长期偏好与短期偏好，分别对二者进行向量表示，然后利用long-short term gated fusion将长期兴趣向量与短期兴趣向量融合后，预测用户行为进行推荐。
文章贡献
- 提出SDM模型：同时考虑长短期行为，对两部分分别建模，表示用户不同时期的兴趣水平
- 利用多头自注意力机制对短期兴趣行为建模；利用gated fusion模块结合长期兴趣对当前的购物需求，捕捉影响关系
- 在两个数据集线下实验，并利用淘宝线上实验，表现良好
Wentao et al. MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction. CIKM, 2020.
现有的工作主要针对单一领域CTR预测，即仅利用ad数据进行CTR预测，并对特征交互、用户行为历史和上下文信息等方面进行建模。然而，广告通常伴随着自然内容显示，这为跨域CTR预测提供了机会。在本文中，我们解决了这个问题，并利用源域的辅助数据来提高目标域的CTR预测性能。我们的研究基于UC今日头条(如下图)，源域为自然新闻feed(新闻域)，目标域为广告(广告域)。跨域的一个主要优势CTR预测是指通过跨域丰富数据，可以缓解目标域的数据稀疏性和冷启动问题，从而提高预测性能。模型大体分为两个部分：
- 主要部分Main part：这个部分是模型主要的部分，他为使用用户的三种兴趣（interest）和目标广告（target ad）进行建模。三种兴趣分别是通过源域被点击过的新闻序列训练获得的源域短期兴趣（Short-term interest from the source domain），通过目标域被点击过得广告序列训练获得的目标域短期兴趣（Short-term interest in the target domain）和通过用户profile训练获得的跨域长期兴趣（Long-term interest across domains）。
- 辅助部分Facilitation part： 该部分是为了便于学习跨域长期兴趣设置的。输入为跨域长期兴趣和源域的新闻一条（可能点击过也可能没有）。
为了有效地利用跨域数据，在MINet的主要部分建模了三种类型的用户兴趣:
- 跨领域的长期利益 Long-term interest across domains。
该模型采用基于跨域数据共同学习的用户profile特征的embedding嵌入pu模型。 - 来自源域的短期兴趣 Short-term interest from the source domain。
它由向量as建模，它聚合源域中最近单击的新闻的信息。 - 对目标领域的短期兴趣Short-term interest in the target domain。
它是由向量at建模的，它聚集了目标领域中最近点击的广告的信息。
Zhe et al. COLD: Towards the Next Generation of Pre-Ranking System. KDD, 2020.
现有粗排的相关工作仅仅把算力看做系统的一个常量，模型和算力的优化是分离的。论文重新思考了模型和算力的关系，从两者联合设计优化的视角出发，提出了新一代的粗排架构COLD (Computing power cost-aware Online and Lightweight Deep pre-ranking system). 它可以灵活对模型效果和算力进行平衡。COLD没有对模型进行限制，可以支持任意复杂的深度模型。这里论文把GwEN ( group-wise embedding network) 作为我们的初始模型结构。它以拼接好的特征embedding作为输入，后面是多层全连接网络，支持交叉特征。当然，如果特征和模型过于复杂，算力和延时都会难以接受。因此论文一方面设计了一个灵活的网络架构可以进行效果和算力的平衡。另一方面进行了很多工程上的优化以节省算力。
Weinan et al. Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction. SIGIR, 2020.
直观上，用户的兴趣存在层级关系，这种层级关系使得用户兴趣先从higher-level开始，然后再到lower-level，比如用户会先关注商品的类目，然后到品牌，最后到商品。用attention network对这种层级的兴趣进行建模能提高用户行为的表达。在DIN(Deep Interest Network)基础上，提出Deep Interest with Hierarchical Attention Network (DHAN)来建模用户的层级兴趣。在DHAN里，建模了多种层级结构，第一层attention层用来建模商品，后面的attention层建模更高层级，如品牌、类目。为了建模多种层级关系，使用了expanding mechanism，使得DHAN能够抽取不同层级的重要性，刻画用户的层级兴趣。实验效果显示，AUC比DIN提升12%到21%，比DIEN提升1.0%到1.7%。
DMIN: 《Deep Multi-Interest Network for Click-through Rate Prediction》
不管在电商领域还是短视频领域，用户的兴趣通常是多样的，潜藏在一个隐空间中，同时，用户在一个时间段內的兴趣是会演化的，用户的兴趣演化潜藏在序列item的变化过程中，所以为了建模这种多兴趣跟演化性，阿里提出来DMIN模型。
DMIN模型跟DIN和DIEN的模型如出一辙，特征部分可以说是跟另外两个模型一样，如果你之前对于din和dien比较熟悉的话，那看这篇论文就很容易通透了。
Ze et al. Deep Match to Rank Model for Personalized Click-Through Rate Prediction. AAAI, 2020.
1）在排序模型中引入了匹配思想，并引入辅助训练网络；
2）以一种灵活的、可扩展的方式引入了行为相关的query，从而能够更灵活地评价一个行为的重要性；
3）相比于DIEN，其在行为序列的计算上是可并行的；
DMR模型提出的基于匹配思想的深度排序模型DMR可以看做是另一种对DIN的改进方式。文章提出了两种网络结构，Item-to-Item网络和User-to-Item网络，来描述用户和候选目标item是否匹配。
Shu-Ting et al. Deep Time-Stream Framework for Click-Through Rate Prediction by Tracking Interest Evolution. AAAI, 2020.
- 提出了一种新的DTS框架，将用户潜在兴趣演化建模为ODE，显著提高了模型的表达能力，并能更好地捕捉用户兴趣演化特征。
- DTS可以在任意时间生成用户特征，因此可以灵活和自适应的评估。
- 时间流模块可以很容易地移植到现有的CTR模型，而不改变原有的结构。
Changhua et al. Personalized Re-ranking for Recommendation. RecSys, 2019.
直观上来说，用户的行为信息也应该被加入到重排，因为不同用户的倾向性不同。假如用户更关注价格，重排时价格就需要更多关注。文章提出基于Transformer的个性化重排，
- 假如用户和列表中物品的交互，更加合理
- Transformer的self-attention机制有效捕捉特征间的交互，改善了基于RNN方法的缺点
Liyi et al. A Deep Prediction Network for Understanding Advertiser Intent and Satisfaction. CIKM, 2020.
- 第一个考虑广告主意图识别和满意度预测的模型。正式地将广告主的意图定义为广告性能指标的多维权重向量，它可以从数学优化问题中得到。通过一个基于广告活动投资变化的新指标来评估广告客户的满意度。
- 指出了当直接将用户侧模型应用于广告主侧问题时所面临的挑战，因为他们没有在一个统一的连续空间中建模意图。因此，提出了一个深度满意度预测网络(DSPN)，联合模型广告客户的意图和满意度。通过使用动作融合层和循环网络结构，DSPN有效地从广告广告主与广告平台交互的各种数据特征中提取出对了解广告主意图和满意度至关重要的信息。
- 在阿里巴巴的广告数据集上进行了广泛的实验。结果验证了DSPN在满意度预测和意图向量生成方面的有效性。生成的意图向量不仅很好地解释了广告客户的行为，还揭示了潜在的优化目标，以进一步提高广告客户满意度和广告系统性能。此外，DSPN已部署在阿里巴巴在线广告客户流失预测系统中，满足日常业务需求。
Yu et al. EdgeRec: Recommender System on Edge in Mobile Taobao. CIKM, 2020.
作者在paper里强调的，传统的CS架构存在2个显著问题：
- Delay for System Feedback: 即在client向server端发送相邻2个请求时间内的间隔中，客户端是没法得到server的最新计算排序结果的；除非用户滑到下一页，向server端触发发送新的请求。这样就会导致客户在页面的一些行为没法即使的提供给模型进行计算；
- Delay for User Perception: 用户的特征上传到server端，由server端计算好并返回给client端。这段时间的时延一般在1 分钟左右，因此推荐系统也没办法针对用户的行为产生更及时的响应。
基于此，paper提出了完整的边缘计算框架，用来解决上述问题。以便模型能够更及时的对用户的最新行为进行感知，并产生针对性的预测结果。
- 推荐模型分布部署在client端和server端。模型的整个训练还是放在server端；训练好的模型参数中，embedding参数占据了很大的一部分，这部分参数由于占据空间比较大，是不可能全部存储在client的内存中的，它会根据需要在response信息中包含该请求需要的商品embedding向量信息；至于网络模型的其他部分，由于占据的内存空间比较小，会在每个client的内存空间中留存一份副本，模型参数的更新是有周期性的，即当client发现server端的模型version比本地的高的话，会自动想server请求最新的模型参数。
- 在每一次client发起request后，server会返回一批次的item候选集列表，这些列表会存储在client端的内存中。当用户在client端页面内进行一些操作的时候，会在以下三个场景下触发client端的排序模型，重新对由server端返回的item列表进行排序，分别是：1 用户点击了某个item；2 用户删除了某个item；3 用户滑过了k个item而没有产生任何的点击行为。
Yufei et al. MTBRN: Multiplex Target-Behavior Relation Enhanced Network for Click-Through Rate Prediction. CIKM, 2020.
- 强调了用户行为与目标项目之间的多重关系在点击率预测中的重要性。提出了一种基于路径的方法来利用这些关系在不同的图。
- 提出了一个新的CTR预测框架MTBRN来探索和建模多重关系。从不同的图中提取出多个关系路径。采用双lstm和路径融合/激活网络自适应学习多路关系的最终表示。
- 在一个专有的工业数据集和一个公共数据集上进行了广泛的实验。实验结果验证了每个图的合理性和所提MTBRN框架的有效性。