推荐召回算法之深度树模型

前言

从大规模物料库中检索物品并给用户做推荐,需要的算力是巨大的。阿里团队提出了一系列基于树的深度模型结构,旨在使用对数复杂度完成这个任务,减少算力的消耗。在这个结构中,支持用户和物品的层次关系构建,而不是将两者割裂开(例如双塔结构)。

模型主要思想是通过自上而下遍历树节点来为每个用户-节点对做出决策,从粗略到精细地预测用户兴趣。

该模型是一种召回模型,在下图系统中User-candidates matching的环节发挥作用。召回的核心问题是从大规模候选集合高效检索topK,算法效率尤为重要。

推荐召回算法之深度树模型_第1张图片

 

1 旧有算法及缺陷

基于物品的协同过滤:基于统计的启发式算法

1. 提前将物品库中的物品之间的相似度离线计算好,当为用户推荐时,从用户历史行为得到触发物品(用户喜欢过的物品等),将库中与触发物品相似的物品推荐给用户。包含用户行为触发和物品相似度计算两阶段。

2. 缺点:该方法根据用户历史行为进行推荐,推荐的新颖性差并且受限于触发物品

粗粒度推荐

1. 推荐类别,再将类别下的物品排序,推荐给用户。

2. 缺点:该方法当类别下面物品数量多时仍然无法摆脱大量的计算,并且物品类别的划分往往不是针对推荐定制的,会带来问题。

内积模型向量检索[5]:深度学习时代的产物

1. 离线学习物品Embedding;并基于聚类和乘积量化[6]算法为物品构建索引;需要给用户推荐时,实时计算用户Embedding,在索引中查找最近的若干个物品。

2. 这类方法相当于将推荐问题转换为向量检索问题:预测阶段等价于在内积空间中检索用户向量的最近邻。对于向量检索问题,通过使用散列化或量化[7]来构建索引,可以保证KNN检索效率。

3. 缺点:该类方法受限于内积的计算,用户与物品向量表示之间的内积交互形式严重限制了模型的性能。使用深度学习模型取代内积比较好,例如深度兴趣网络(DIN)[8]、深度兴趣进化网络(DIEN)[9]等算法中的做法,不过这类模型不能保证计算效率。

2 TDM 1.0

KDD2018:Learning Tree-based Deep Model for Recommender Systems

推荐召回算法之深度树模型_第2张图片

1. 叶子节点为商品节点。

2. 使用最大堆树保证可以使用Beam search检索的有效性:最大堆树下当前层的最优TopK孩子节点的父亲必然属于上层的父辈节点最优TopK。

3. 利用深度学习。

3 TDM 2.0

NIPS2019:Joint Optimization of Tree-based Index and Deep Model for Recommender Systems

推荐召回算法之深度树模型_第3张图片

 

优化树的结构:等价于寻找带权二部图的最大匹配(复杂度高),提出了基于贪心策略的分段式树学习算法

4 TDM3.0

ICML2020:Learning Optimal Tree Models Under Beam Search

 推荐召回算法之深度树模型_第4张图片

 

1. 解决模型在线下训练和线上进行检索服务时存在目标偏差的问题:

  • 线下训练时,是逐层的多分类问题。
  • 线上Serving时,对树进行Beam Search,关心的是检索得到的Top-k结果是否是最优的(使用召回率等衡量指标)。

2. 这篇文章设计方法将线上检索的目标以及过程考虑到训练中,保证离线训练以及线上Serving的一致性。

5 小结

深度学习是一种工具,算法工程师既要掌握和利用好这个工具,又不能因其限制思路。该系列文章利用树结构构建深度学习模型,让人眼前一亮。模型的设计利用了树这一结构方便控制搜索复杂度的特点,并且结合了最大堆等数据结构的思想,展现了算法设计的魅力。值得一提的是,模型还具有一定的可解释性。

参考

1. [1801.02294] Learning Tree-based Deep Model for Recommender Systems (arxiv.org)

2.【推荐系统】Learning Tree-based Deep Model for Recommender Systems_布纸所云-CSDN博客:https://blog.csdn.net/XindiOntheWay/article/details/85220342

3. [1902.07565] Joint Optimization of Tree-based Index and Deep Model for Recommender Systems (arxiv.org)

4. [2006.15408] Learning Optimal Tree Models Under Beam Search (arxiv.org)

5. Deep Neural Networks for YouTube Recommendations

6. Product Quantization乘积量化 | RexKing6's Note:https://blog.rexking6.top/2018/10/21/Product-Quantization乘积量化/

7. [1901.00275] Vector and Line Quantization for Billion-scale Similarity Search on GPUs (arxiv.org)

8. [1706.06978] Deep Interest Network for Click-Through Rate Prediction (arxiv.org)

9. [1809.03672] Deep Interest Evolution Network for Click-Through Rate Prediction (arxiv.org)

10. 阿里妈妈新突破!深度树匹配如何扛住千万级推荐系统压力:https://mp.weixin.qq.com/s/pWcFuOecG-dZHZ365clDjg

11. 阿里深度树匹配召回体系演进:https://mp.weixin.qq.com/s/oDXPN0VQFQEwZoLyNgR2WQ

12. 基于树的召回框架(三):Learning Optimal Tree Models under Beam Search_pyxiea-CSDN博客:https://blog.csdn.net/xpy870663266/ article/details/115625977

你可能感兴趣的:(搜广推二三事,人工智能,推荐算法,深度学习)