超长用户行为建模在躺平家居内容推荐中的应用实践
简介用户行为建模
用户兴趣建模一直是推荐系统中重要的优化点之一，用户的历史行为则是用户潜在兴趣最直接的表达。在深度学习技术大规模应用于推荐系统领域前，工程师们通过离线计算历史行为的统计特征或在线计算历史行为的命中特征来对用户序列进行表达。近年来，随着深度学习算法和相关工程技术的快速发展，直接使用原始行为序列在深度模型中进行端到端训练变得可行。
Google 提出YouTubeDNN[1]使用 pooling的方式对用户观看视频序列进行聚合表示并输入进上层DNN,随后阿里提出的DIN[2],DIEN[3],DSIN[4]分别使用attention,rnn和transformer来对用户行为序列进行表征。上述工作主要针对用户实时和中短期行为进行建模，在电商场景中用户具有丰富的历史行为，仅使用近期行为无法建模用户长期以来稳定的兴趣和周期性的行为，同时也会将推荐系统的数据反馈循环限制在局部的热门的内容中。针对超长周期行为建模，集团内的MIMN[5]和SIM[6]等工作提出了兼顾性能与效果的方案，为长周期行为建模提供了解决思路。
下面将介绍我们在躺平家居内容推荐场景中使用超长周期用户行为建模的应用和实践。
业务背景
躺平作为阿里旗下的家居家装平台，承担着为整个天猫家装和淘宝家装提供全链路数字化支持的任务。手淘内的躺平家居频道是躺平业务获取C端流量并进行内容分发从而建立用户家居、生活方式心智场的主要阵地。在躺平频道中，内容主要以场景搭配为主，内容内挂载了多个商品锚点，点击商品锚点可以跳转到商品的详情页。
家居行业中用户行为具有长周期，高货单，低频次，重决策的特点。比如用户在购买大型家具的决策过程中，可能需要进行多次的长时间的对比，仅使用短期的交互行为很难刻画出用户的这类决策模式，这引起我们思考如何对用户家装家居完整周期的行为进行刻画从而更好地满足其诉求。
作为创新业务，目前躺平家居频道的用户心智还不是很强，在每日访问频道的用户中，过去7天来访的用户占比25%,过去7天在频道内有内容点击行为的用户占比11%，即便延长到30天占比也只有35%左右。这样的场景流量分布特点使得我们在对用户兴趣进行建模时面临着用户行为稀疏的问题。下图是有历史内容行为的用户覆盖率以及用户内容行为的平均长度与用户行为天数的关系。
可以看出，有历史内容点击行为的UV覆盖率较低，延长历史行为周期长度虽可以覆盖更多用户，但用户行为数量依然稀少。
算法方案
基于躺平频道的场景特点，我们利用用户在手淘商品域的行为来缓解用户行为稀疏的问题以及刻画用户的长期兴趣。事实上，我们在躺平频道内收集到的用户反馈数据是非常有限的，而用户在躺平频道内的内容交互行为只是用户在手淘内众多交互行为中的子集，比如用户可能在来访频道的之前就与其他相关的商品发生过交互，下面介绍我们使用手淘商品域行为来进行兴趣建模的方案。
模型结构
红色虚线框为本文涉及的算法优化部分，基准模型为团队内至夏同学基于MMoE开发的多任务模型[7],下面分别介绍我们在短期和长期商品行为建模中的实践。
基于静态泛家居类目筛选的短期行为建模
在第一阶段，我们利用集团内的基础特征服务ABFS获取用户在手淘内最近10天的实时商品点击行为数据，考虑到场景的垂直特性我们根据静态的类目相关性规则对原始的行为数据进行筛选。具体筛选规则为：基于频道内容推荐池内容所挂载的商品计算出出现次数>100的叶子类目，选取ABFS返回结果中符合属于这些叶子类目的行为作为短期的商品行为特征。
具体实现分为以下3个模块：
▐ 候选内容挂载商品集合表征向量提取
由于每条内容所附带的商品数量不同，我们先将候选内容附带的商品向量进行sum pooling得到定长的候选商品集合向量items：
k为候选打分内容中附带的商品数量,为候选内容挂载的第个商品。
▐ 与候选商品集合相关的兴趣向量提取
使用候选商品集合向量items和短期商品行为向量进行target attention[1]，得到用户与候选商品相关的短期商品兴趣表达。
为一个全连接的神经网络,为行为序列中第个行为的embedding表征。
▐ 行为序列内部相关的兴趣向量提取
在基准模型中，由于内容行为序列的长度非常短，我们没有对其内部相关关系进行建模。引入短期泛家居类目商品行为后，通过数据分析发现该序列的平均长度达到了为20+。我们希望除了建模行为序列与候选商品的相关关系，还能够对行为序列之间的相关关系进行建模。self attention 常被用来建模序列内部行为之间的相关关系[4]，我们也采用了类似的方法。具体地，我们使用了多头的自注意力机制:
其中分别为原始序列中的行为向量经过线性变换后的矩阵。
不同注意力头得到的向量拼接后输入进一个前馈神经网络，最后对中的向量求平均得到用户的兴趣向量
▐ 实验分析
下表是分别使用不同的attention机制的离线效果对比：
| short-term seq attention | ctr auc | cvr auc |
| target | +0.1pt | +1.2pt |
| self | -0.2pt | +0.5pt |
| target&self | +0.2pt | +2.7pt |
实验表明在短期行为建模中，使用self attention替换target attenion会带来一定效果下降，这说明短期行为与候选商品之间的关系对兴趣表达具有很大作用。同时引入target attention 和self attention 相比于仅使用target attention会带来一定提升，说明引入行为序列内部之间的相关关系对短期兴趣建模有帮助。
基于动态引流商品检索的长期行为建模
在业务背景部分提到，家居行业消费者具有长周期，高货单，低频次，重决策的特点，我们首先想到的是将用户更长时间范围内的交互行为进行收集并利用起来，但即使延长内容序列的周期长度，用户在躺平频道内产生的交互行为数量依然非常稀少，所以我们选择使用用户在手淘的商品交互数据进行长周期的用户行为建模。
在前期的调研中发现，主搜算法团队使用用户近两年的成交行为按照季度划分为8个季度序列来基于当前意图对长期行为建模[8]。阿里妈妈的广告算法团队提出的两阶段搜索范式来建模用户的超长行为序列(SIM)[9]，在第一阶段使用待预估的广告从原始的用户行为中检索出Top-k相关的子序列，第二阶段使用第一阶段产出的子序列来捕捉当前用户对广告的更精准的兴趣表达。
结合躺平自身的场景特性和存储计算资源的情况，我们采取了类似SIM的两阶段范式对用户的长期行为进行建模。与SIM不同的是，我们使用引流商品的一级类目来从用户的原始行为中检索出相关的子序列。这主要出于以下两点考虑：
▐ 性能方面
使用候选打分内容挂载的类目信息需针对待打分的每一个内容查询其长周期用户行为数据并发送至RTP进行打分。而使用引流商品进行检索则只需要1次用户行为数据查询，该特征对每个候选打分内容来说是相同的，可以作为用户侧特征发送至RTP。
▐ 效果方面
数据分析显示躺平信息流中的引流商品卡片以及包含引流商品自身的内容卡片的pctr均高于大盘，这侧面说明使用引流商品进行查询是能够获得较高的相关性序列的。相比于使用静态的类目筛选规则，基于引流商品查询能够覆盖更长周期的用户行为并且一些长尾的类目行为信息也能够得到保留。
使用一级类目作为查询条件能够保留更多更丰富的相关行为，家居家装场景中商品之间天然存在一定的搭配关系，比如餐具和餐桌布艺，床类和柜类以及灯具灯饰;同一个二级类目下的叶子类目之间的行为所包含的信息也存在着关联的关系，比如床类二级类目下实木床，布艺床，皮艺床等。使用二级类目或叶子类目检索得到序列无法包含这样的关系。
简化版的离线和在线数据流图如下：
▐ 实验分析
在长期行为建模中我们也分别尝试了使用两种attention机制：
| long-term seq attention | ctr auc | cvr auc |
| target | -0.2pt | +1.1pt |
| self | +0.5pt | +3.6pt |
| target & self | +0.1pt | +2.2pt |
与短期商品行为建模的结论不同的是，仅单独使用self attention就能够获得较好的效果。这可能与我们的子序列检索机制有关，使用引流商品进行检索可以认为以引流商品的一级类目作为query对用户的原始行为序列进行了一次hard attention，尽管能够保留较丰富的行为，但与候选商品之间的关联关系可能会被减弱。
线上效果
▐ 效率指标
我们统计了线上完整7天的AB实验结果：
| 实验 | pctr | ipv_pctr | pctcvr |
| 仅使用短期序列 | +2.35% | +0.73% | +3.11% |
| 短期序列&长期序列 | +3.95% | +1.16% | +5.15% |
引入短期商品行为对于线上的核心效果指标均带来了一定的提升，表明商品域行为的利用对于用户兴趣的建模具有正向的作用。在此基础上，进一步引入长周期的行为能够对线上指标带来进一步的提升，这说明基于用户全周期行为进行兴趣建模是必要的。
▐ 多样性指标
除了效率指标外，我们观察发现对于推荐的多样性指标也有所提升，风格和场景为频道内场景化内容的两个属性，风格包括北欧，中式，现代等，场景包括客厅，卧室，书房等：
短期行为的引入对于多样性的影响非常微弱，而引入长期行为后，对于曝光内容和点击内容的多样性均有大幅度的提升，说明长期行为中包含了短期行为所不能表征的潜在兴趣的，并且模型的推荐结果能够命中它们，这对于减少推荐系统中存在的马太效应也有正向的帮助。
工程实现中的问题
▐ 索引构建
由于我们的场景较为垂直，构造索引阶段将用户所有的历史行为数据进行存储会造成一定的浪费，我们基于频道内历史7天访问的UV附带的引流商品计算出出现次数最多的topk类目，再从原始行为表中筛选出这些类目下的行为，这可以大大减轻离线存储和在线索引构建的资源消耗。
▐ 序列特征构造
在最开始的离线实验阶段，我们设置了长期行为序列的最大长度为200，训练过程中发现整体的耗时存在大幅度的增长，后来考虑到离线训练和线上推理的时间以及实际的平均长度我们将最大长度缩简为了50。同时包含长短期序列的模型相比于基准模型RTP打分的RT增加了约6ms，TPP场景全链路RT增加约8ms。
▐ iGraph回流提示quota超限
在首次进行iGraph数据回流的时候，提示了以下错误：
ErrorCode=FlowExceeded, ErrorMessage=Error: Your flow quota is exceeded
这是由于所在的ODPS项目空间的读取quota超过上限了，会被系统限流从而导致iGraph读取ODPS数据失败。需要联系所在空间的项目负责人，请他联系ODPS的管理员帮忙调整quota上限。
总结展望
用户兴趣建模一直是推荐系统中重要的优化点之一，在用户心智不强，活跃度低，反馈行为稀疏的垂直频道中如何充分地捕捉用户的潜在兴趣从而更好承接用户也是我们不断在学习和探索的问题。结合躺平家居频道的特点，我们利用用户在手淘内丰富的商品行为来补充完善用户兴趣建模，考虑到全网行为的多样性我们基于静态的叶子类目筛选过滤出相关的短期商品行为，基于动态的引流商品查询用户的长期商品行为，并基于行为序列之间的相互关系以及与候选商品之间的关系对用户的兴趣进行刻画，提升了场景的推荐效果。
本次优化是针对长期用户行为建模的一次尝试，还存在许多改进和优化的地方。目前仅使用了用户在商品域的点击数据，在未来可以继续引入信号更强的收藏，加购以及购买等信息。目前使用的长期序列为时间跨度为历史180天，这里还存在一定的的延长空间。除此之外，垂直频道自身具有不同的流量来源渠道，除了用户的主动访问外，像首猜引导或者push引导等来源均包含一定的上下文信息，这些上下文信息能够反映用户在访问频道时的一些意图，结合流量来源以及人群特性进行设计定制化的承接策略也是未来可以考虑的方向。
参考资料
[1] Covington P, Adams J, Sargin E. Deep neural networks for youtube recommendations[C]//Proceedings of the 10th ACM conference on recommender systems. 2016: 191-198.
[2] Zhou G, Zhu X, Song C, et al. Deep interest network for click-through rate prediction[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 1059-1068.
[3] Zhou G, Mou N, Fan Y, et al. Deep interest evolution network for click-through rate prediction[C]//Proceedings of the AAAI conference on artificial intelligence. 2019, 33(01): 5941-5948.
[4] Y. Feng, F. Lv, W. Shen, M. Wang, F. Sun, Y. Zhu, K. Yang, Deep session interest network for click-through rate prediction, in: Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, 2019, pp. 2301–2307 .
[5] Pi Q, Bian W, Zhou G, et al. Practice on long sequential user behavior modeling for click-through rate prediction[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019: 2671-2679.
[6] Pi Q, Zhou G, Zhang Y, et al. Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction[C]//Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020: 2685-2692.
[7] MMoE在躺平家居内容推荐的应用与实践
[8] Perceive Your User in Depth and Width: 淘宝搜索中用户行为建模综述
[9] 基于搜索的超长用户行为建模范式 Search-based Interest Model
阿里巴巴集团商业机器智能部招聘啦~
商业机器智能部是一支数据和算法一体的团队，服务于淘宝、天猫、聚划算、闲鱼和躺平等业务线的二十余个业务场景，提供线上零售、内容社区、3D智能设计和端上智能等数据和算法服务。在创造业务价值的同时，我们不断输出学术成果，在诸多顶会和杂志上发表数篇学术论文。团队学习氛围浓厚。真诚邀请海内外相关方向的优秀应届毕业生加入我们。
如果您有兴趣可将简历发至[email protected]，期待您的加入！
✿ 拓展阅读
作者|阅谦
编辑|橙子君
出品|阿里巴巴新零售淘系技术
