Hulu视频如何提升推荐多样性?
作者 | 余沾
整理 | 深度传送门（ID: deep_deliver）
导读：本文主要介绍Hulu在NIPS 2018上发表的《Fast Greedy MAP Inference for Determinantal Point Process to Improve Recommendation Diversity》中，提出的DPP算法解决视频推荐中的多样性问题。
引言
随着机器学习技术日益成熟，机器学习的应用领域也越来越广。其中，推荐领域是机器学习一个比较常见且成功的应用场景。推荐多样性和相关性是衡量推荐算法常用的标准，最近项目团队针对搜索多样性做了大量的研究工作。Hulu陈拉明的推荐算法研究团队在NIPS 2018会议上提出的基于DPP的推荐多样性算法，能较好地提高推荐的多样性和相关性，并且执行效率也十分可观。我们团队也复现了该算法，具有不错的上线效果。
DPP 的构造
行列式点过程(Determinantal Point Process, DPP)是一种性能较高的概率模型。DPP将复杂的概率计算转换成简单的行列式计算，并通过核矩阵的行列式计算每一个子集的概率。DPP不仅减少了计算量，而且提高了运行效率，在图片分割、文本摘要和商品推荐系统中均具有较成功的应用。
DPP通过最大后验概率估计，找到商品集中相关性和多样性最大的子集，从而作为推荐给用户的商品集。
行列式点过程 P 刻画的是一个离散集合 
中每一个子集出现的概率。当 P 给定空集合出现的概率时，存在一个由集合 Z 的元素构成的半正定矩阵
，对于每一个集合 Z 的子集 Y，使得子集 Y 出现的概率
，其中，LY 表示由行和列的下标属于 Y 构成的矩阵 L 的子矩阵。
为了更好地理解行列式点过程的定义，下面给出陈拉明在某次讲座中陈述的例子。
由于矩阵 L 是半正定的，因此存在矩阵 B ，使得 
，并且
。这是因为行列式为方阵中的各个列向量张成的平行多面体体积的平方。
为了将DPP模型应用于推荐场景中，考虑将每个列向量 Bi 分解为
，其中：
-
r_i 为 item i 与 user 之间的相关性，且
；
-
为item i 与 item j 之间的相似度度量，且 
；那么，
。
次模函数是一个集合函数，随着输入集合中元素的增加，增加单个元素到输入集合导致的函数增量的差异减小。即对于任意
，都有：
，这一结果显然不适用于实际线上实时性较高的场景。
下面，叙述论文中所做的改进：
做Cholesky分解，使得 
。其中，V 是一个下三角矩阵。对于任意 
，对子集 Y 添加一个元素 i 之后的子矩阵做 Cholesky 分解，使得：
。
两边取行列式后再取log，可得：
，应用Cholesky分解后，每次迭代只需要计算 
即可。而为了得到 
，先需要求解线性方程组：
。
后，再带入 
得到 。此过程的计算复杂度来源于求解线性方程组，虽然求解线性方程组的计算复杂度也是三次方，但是系数矩阵V是下三角矩阵，因此，每次迭代的计算复杂度可降到二次方。
和 ，从而避免了求解线性方程组带来的计算复杂度。具体过程如下：
，将
带入上式中，推导可得：
包含最近添加的 w - 1 个商品。
（*本文为AI科技大本营转载文章，转载请联系原作者）
◆
精彩推荐
◆
2019 中国大数据技术大会（BDTC）再度来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。6.6 折票限时特惠（立减1400元），学生票仅 599 元！