Determinantal Point Processes(DPP)算法文献综述

摘要

  Determinantal point processes算法简称DPP或DPPs，中文翻译为行列式点过程，首先在随机矩阵理论和量子物理学中作为具有负相关的随机变量的模型被提出。行列式点过程源自量子力学中对费米互斥效应的描述， 它能够产生更加多样的（分散的、相互排斥的）对象。近年来在统计机器学习领域中的研究表明， DPP可以为相互排斥的随机过程建立描述贴切且便于处理模型。

  DPP 的推断任务有一些很方便的性质，为包括计算边缘概率，计算某些条件概率和抽样都提供了有效的解决办法。DPP是子集选择问题的自然模型，能很好的实现多样性，在机器学习领域的诸多场景都能得到应用。例如，它们可用于选择不同的句子集以形成文档摘要，或用于返回相关但变化的文本和图像搜索结果，或用于检测视频中的非重叠多个对象轨迹，或用于推荐系统可以突破“信息茧房”，让用户得到更具多样性的个性化推荐。

关键字：行列式点过程 机器学习 概率统计

一、DPP的起源及发展

1960-65年，随机矩阵理论逐渐成型。

1975年，Machhi[1]在热平衡下给出了费米子系统的分布的数学归纳，被称为费米子过程，这是行列式点过程的前身。

2000年，A.Borodin和G.0lshansk1[2]等提出了“行列式”这个术语，DPP之后在概率统计的领域中得到较为深入的研宄。

2005-2009年，主要是对行列式点过程的数学性质的研究，J.Hough[3] 等对行列式和行列式点过程进行概率性的介绍。A.Borodin[4], A.Scardicchio[5]给出了行列式点过程的抽样、边缘化、推断方法等各种概率和统计的性质。

2010年，A.Kulesza和B.Taskar[6]在NIPS2010上提出行列式点过程的偏好性一相似性分解和结构化的行列式点过程（structured DPP）用来模拟分布在一组由结构化的对象构成的集合上具有多样性的分布。DPP算法由此发端。Hough.JB[7]同年研究了数学上行列式点过程的零点的相关性质。

2011年，A.Kulesza和B.Taskar[8]提出固定对象个数的行列式点过程（k-DPP），k-DPP提供更强的表达能力和对内容的控制，并简化了与搜索等应用程序的集成并证明了该模型在图像搜索任务中的有用性。A.Kulesza和B.Taskar[9]提出条件化的行列式点过程（conditional DPP），解决了如何从标记的训练数据中学习的问题，用于文档的抽取式总结后取得了良好的效果。

2012年，数学上，F.Lavancier[10]总结了行列式点过程的各种概率和统计的性质。算法上，A.Kulesza和B.Taskar[11]给出了一个对近年来发展出来的DPP的性质、表示方法、学习和推断算法以及一些改进衍生版本的总结**《Determinantal Point Processes for Machine Learning》**。J.Gillenwater[12]是B.Taskar的学生，她给出了一种基于亚模函数(submodular function）连续优化技术的行列式点过程最大后验推断的近似方法。

2013年，在数学上，Affandi, Raja Hafiz[13]和Ben Taskar合作，在之前离散DPP的基础上研究了连续DPP的性质。在算法改进上，Kang.B在NIPS2013发文，通过构建一个快速混合的马尔可夫链来解决之前立方时间的消耗，并用新方法来确定聚类数量。Decreusefond.Laurent提出对DPP算法降低复杂度的新方法。在应用上，Snoek.Jasper[14]在NIPS2013上发文，将DPP用于神经刺穿数据分析，效果好于之前的泊松过程和伽玛更新过程。

2014年，算法上，R.Affandi[15]等人给出了一种更加高效且可适用于大规模数据的行列式点过程的内核参数的贝叶斯式学习方法；Gillenwater[16]提出了一种用于学习完整核矩阵的新算法，在测试对数似然中实现高达16.5％的相对增益；Gong.Boqing[17]使用多个内核函数重新参数化DPP的内核矩阵，并提出了新的参数估计技术。

应用上，Gong Boqing[18]对视频摘要的问题提出了seq-DPP， seqDPP注意到视频数据中固有的顺序结构，从而克服了标准DPP的不足；Agarwal, Apoorv[19]证明了DPP和K-means结合后在文本聚类上的优越性；Yingzhe Li[20]将DPP替换了之前的泊松点过程后应用于模拟蜂窝网络中的基站位置。

2015年，在算法上，Mariet, Zelda[21]改进了DPP内核的算法，更简单且速度更快；Li Chengtao[22]提出了通过构造核心集的基于离散k-dpp的近似采样方法，对原来DPP立方的复杂度做了优化。在应用上，Mariet, Zelda[23]使用DPP提高选择神经元时的多样性，从而有效地自动调整网络架构；Yanxun Xu[24]将DPP作为生物医学应用中潜在结构的先验。

2016年，在数学上，Nima Anari[25]证明了马尔可夫链可用于有效地生成K-DPP；Laurent Decreusefond[26]进一步讨论了DPP数学上的性质。算法上，Dupuy.Christophe[27] 提出基于边际内核的特定低秩分解，优化算法后使DPP在次线性时间内进行推理和参数学习；Qiao Maoying[28] 开发了一种基于DPP的快速采样算法，Chengtao Li[29]得到了行列式点过程的快速混合马尔可夫链采样器。

在应用上，张世超[30]在音符的识别和分割中，将帧集通过DPP进行建模，实现了采样的多样性；Lee D[31]将DPP用于行人检测；Koenigstein[32]提出了一个低秩DPP混合模型，模型将观察到的子集中存在的潜在结构表示为多个组件低秩DPP的混合，模型应用到推荐后发现低秩DPP混合模型提供了比单个低秩或全秩DPP更好的预测性能；Kathuria Tarun[33]将 DPP用于超参数优化中的采样。

2017年，在数学上，邓梦琴[34]的硕士毕业论文对DPP做了简单的介绍；Alexei Borodin[35]继续深入研究DPP的数学性质；Urschel John[36] 提出了一种可证明快速的组合算法，该算法有效地实现了矩的方法并实现了最佳的样本复杂度；Bufetov AI[37]研究了全纯函数希尔伯特空间的行列式点过程。

在算法上，Han Insu[38]使用贪心算法优化了对MAP的求解。在应用上，Hulu的Chen, Laming[39]也使用贪心算法优化MAP，以此优化推荐的多样性；Zhang, Cheng[40]提出了将DPP应用于随机梯度下降的非均匀数据采样；

2018年，数学上，陈田田的硕士毕业论文[41] 具体研究了两个特殊的行列式点过程模型；Barthelmé Simon[45]证明了定长变长行列式点过程的渐近等价性。算法上，Gillenwater[42]在NIPS2018上提出了将DPP应用于推荐系统的替代框架；Nicolas Tremblay[43] 讨论了DPP的几种抽样算法,并提出新的方法降低了复杂度；Mariet Zelda[44]引入了对比度估计，将关于“负”样本的信息编码到基本学习模型中；Takayuki Osogami[45]提出了一个动态的DPP，它是一个内核可以随时间变化的DPP。

应用上，Li Yandong[46]将seq-DPP应用于视频推荐的本地多样性；Wilhelm Mark[47]将DPP用于YOUTUBE网站视频的多样性推荐；汪旌[48]提出了基于DPP改进RANSAC算法并将其用于图像拼接。张亚召[49]的硕士毕业论文研究了基于行列式点过程的多语言多文档摘要。

2019年，在算法上，Mariet Zelda[50]引入DppNets解决了立方复杂度的预处理成本；Liu Yong[51] 提出了一个新的推荐模型，采用DPP模型来生成多样化同时相关的建议。

二、研究现状

1.DPP在数学方面的研究现状

DPP在数学届引起了广泛的关注，人们对行列式点过程的抽样、边缘化、推断方法等各种概率和统计的性质。

2.DPP在算法改进方面的研究现状

DPP的算法改进主要集中在采样时三次方的时间复杂度方面，以及对MAP的优化。

3.DPP在实际应用方面的研究现状

DPP的实际应用涉及多方面，如视频推荐、文档摘要、图像拼接、音符分割等，主要用于提高样本的多样性。

三、相关研究

1.发表时间和内容

2019	2	2011	2
2018	10	2010	2
2017	7	2009	2
2016	10	2008	1
2015	4	2006	1
2014	9	2005	2
2013	3	2000	1
2012	5	1975	1

2.主要研究人员

Kulesza Alex和Taskar Ben**是DPP的开创者，他们将DPP结构化并将其在机器学习方面的应用做了深入的研究。

Gillenwater Jennifer 是Taskar Ben的学生，她也在DPP上做了很多工作，主要发表与NIPS大会。

Mariet Zelda在MIT，自2015年开始也对DPP开展了研究工作。

3.实验结果优劣的判定

a.Pose estimation[6]，在图像中找到多个不重叠的人类姿势

b.the DUC 2003/04 multi-document summarization task[9]文档摘要

c. 基于神经纤维空间分布的糖尿病神经病变的进展以及研究人类对图像多样性的感知[15]

四、分类比较

1.DPP和MRF的比较

MRF是马尔科夫随机场的简称，MRF也将多样性纳入考量，都可以很好的提供多样性的推荐。

2.DPP与MMR的比较

MRR的全称是Maximal Marginal Relevance，中文译为最大边界相关。2011年的研究[8]显示k-DPP明显优于MMR。

参考文献

[1] MACCHI O. The coincidence approach to stochastic point processes[J]. Advances in Applied Probability, 1975,7(1):83-122.

[2] BORODIN A, OLSHANSKI G. Distributions on Partitions, Point Processes,¶ and the Hypergeometric Kernel[J]. Communications in Mathematical Physics, 2000,211(2

):335-358.

[3] HOUGH J B, KRISHNAPUR M, PERES Y, et al. Determinantal Processes and Independence[J]. Probability Surveys, 2006,3:206-229.

[4] BORODIN A. Determinantal point processes, 2009[C].

[5] SCARDICCHIO A, ZACHARY C E, TORQUATO S. Statistical properties of determinantal point processes in high-dimensional Euclidean spaces[J]. Physical review. E, Statistical, nonlinear, and soft matter physics, 2009,79(4 Pt 1

):41108.

[6] BEN A K. Structured Determinantal Point Processes, 2010[C].

[7] HOUGH J. Zeros of Gaussian Analytic Functions and Determinantal Point Processes[M]. 2010.

[8] TASKAR A K B. k-DPPs Fixed-Size Determinantal Point Processes: ICML 2011, 2011[C].

[9] A, BEN A K. Learning Determinantal Point Processes, 2011[C].

[10] LAVANCIER. Statistical aspects of determinantal point processes, 2012[C].

[11] KULESZA A, TASKAR B. Determinantal Point Processes for Machine Learning[M]. Hanover, Mass

now, 2012.

[12] GILLENWATER J, KULESZA A, TASKAR B. Near-optimal MAP inference for determinantal point processes: Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 2, Lake Tahoe, Nevada, 2012[C]. Curran Associates Inc…

[13] AFFANDI R H, FOX E B, TASKAR B. Approximate Inference in Continuous Determinantal Point Processes[J]. NIPS, 2013.

[14] SNOEK J, ZEMEL R, ADAMS R P. A Determinantal Point Process Latent Variable Model for Inhibition in Neural Spiking Data: nips 2013

, 2013[C].

[15] AFFANDI R H, FOX E B, ADAMS R P, et al. Learning the Parameters of Determinantal Point Process Kernels[J]. 2014.

[16] GILLENWATER J, KULESZA A, FOX E, et al. Expectation-Maximization for Learning Determinantal Point Processes[J]. 2014.

[17] GONG B, CHAO W, GRAUMAN K, et al. Large-Margin Determinantal Point Processes[J]. 2014.

[18] GONG B. Diverse Sequential Subset Selection for Supervised Video Summarization, 2014[C].

[19] AGARWAL A, CHOROMANSKA A, CHOROMANSKI K. Notes on using Determinantal Point Processes for Clustering with Applications to Text Clustering[J]. 2014.

[20] YINGZHE LI F B H S. Statistical Modeling and Probabilistic Analysis of Cellular Networks with Determinantal Point Processes, 2014[C].

[21] MARIET Z, SRA S. Fixed-point algorithms for learning determinantal point processes[J]. 2015.

[22] LI C, JEGELKA S, SRA S. Efficient Sampling for k-Determinantal Point Processes[J]. 2015.

[23] MARIET Z, SRA S. Diversity Networks: Neural Network Compression Using Determinantal Point Processes[J]. 2015.

[24] YANXUN XU P M D T. Bayesian Inference for Latent Biologic Structure with Determinantal Point Processes, 2015[C].

[25] ANARI N, GHARAN S O, REZAEI A. Monte Carlo Markov Chain Algorithms for Sampling Strongly Rayleigh Distributions and Determinantal Point Processes[J]. 2016.

[26] PRIVAULTZ L D I F, TORRISIX G L. Determinantal point processes, 2016[C].

[27] DUPUY C, BACH F. Learning Determinantal Point Processes in Sublinear Time[J]. 2016.

[28] QIAO M, XU R, BIAN W, et al. Fast Sampling for Time-Varying Determinantal Point Processes[J]. ACM Transactions on Knowledge Discovery from Data (TKDD), 2016,11(1

):1-24.

[29] LI C, JEGELKA S, SRA S. Fast Sampling for Strongly Rayleigh Measures with Application to Determinantal Point Processes[J]. 2016.

[30] 张世超, 陈琦, 吕杰. 基于DPP的自动音符切分识别研究[J]. 电子产品世界, 2016,23(05):28-30.

[31] LEE D. Individualness and Determinantal Point Processes for Pedestrian Detection Supplementary Materia, 2016[C].

[32] KOENIGSTEIN M G U P. Bayesian Low-Rank Determinantal Point Processes, 2016[C].

[33] KATHURIA T, DESHPANDE A, KOHLI P. Batched Gaussian Process Bandit Optimization via Determinantal Point Processes[J]. 2016.

[34] 邓梦琴. 行列式点过程的简单介绍[D]. 华中师范大学, 2017.

[35] BORODIN A, OLSHANSKI G. The ASEP and Determinantal Point Processes[J]. Communications in Mathematical Physics, 2017,353(2

):853-903.

[36] URSCHEL J, BRUNEL V, MOITRA A, et al. Learning Determinantal Point Processes with Moments and Cycles[J]. 2017.

[37] BUFETOV A. Determinantal point processes associated with Hilbert spaces of holomorphic functions, 2017[C].

[38] HAN I, KAMBADUR P, PARK K, et al. Faster Greedy MAP Inference for Determinantal Point Processes[J]. 2017.

[39] CHEN L, ZHANG G, ZHOU H. Fast Greedy MAP Inference for Determinantal Point Process to Improve Recommendation Diversity[J]. 2017.

[40] ZHANG C, KJELLSTROM H, MANDT S. Determinantal Point Processes for Mini-Batch Diversification[J]. 2017.

[41] 陈田田. 随机矩阵和行列式点过程[D]. 中国科学技术大学, 2018.

[42] GILLENWATER J A, KULESZA A, VASSILVITSKII S, et al. Maximizing Induced Cardinality Under a Determinantal Point Process: NIPS, 2018[C].

[43] AMBLARD N T S B. Optimized Algorithms to Sample Determinantal Point Processes A Technical Report, 2018[C].

[44] MARIET Z, GARTRELL M, SRA S. Learning Determinantal Point Processes by Corrective Negative Sampling[J]. 2018.

[45] TAKAYUKI OSOGAMI R R A G. Dynamic Determinantal Point Processes, 2018[C].

[46] LI Y, WANG L, YANG T, et al. How Local is the Local Diversity? Reinforcing Sequential Determinantal Point Processes with Dynamic Ground Sets for Supervised Video Summarization[J]. 2018.

[47] WILHELM M, RAMANATHAN A, BONOMO A, et al. Practical Diversified Recommendations on YouTube with Determinantal Point Processes: Proceedings of the 27th ACM International Conference on Information and Knowledge Management, Torino, Italy, 2018[C]. ACM.

[48] 汪旌, 张赟, 陈爽. 基于DPP改进RANSAC算法的图像拼接[J]. 计算机系统应用, 2018,27(05):112-118.

[49] 张亚召. 基于行列式点过程的多语言多文档摘要研究[D]. 北京邮电大学, 2018.

[50] MARIET Z, OVADIA Y, SNOEK J. DPPNet: Approximating Determinantal Point Processes with Deep Networks[J]. 2019.

[51] LIU Y, ZHANG Y, WU Q, et al. Diversity-Promoting Deep Reinforcement Learning for Interactive Recommendation[J]. 2019.