【转】狄利克雷过程

原文：https://segmentfault.com/a/1190000010694630#articleHeader2

首先需要介绍一下狄利克雷过程。

Dirichlet Process (DP)被称为分布的分布。从DP抽取出的每个样本（一个函数）都可以被认为是一个离散随机变量的分布函数，这个随机变量以非零概率值在可数无穷个离散点上取值。比较有意思的是，从DP可以推导出几个非常著名的问题： Chinese Restaurant Process (CRP)、Polya Urn Scheme和Stick-breaking Process。简单的介绍可以见Edwin Chen的博文“Infinite Mixture Models with Nonparametric Bayes and the Dirichlet Process”，这篇详解了包括dp,crp等好几个过程，但是没有讲数学推导。

DP的特性使得它在非参数贝叶斯聚类模型中可以被用作参数的先验分布。Dirichlet Process Mixture (DPM)是这种非参数贝叶斯聚类模型中的一个典型代表。DPM可以认为是有限混合（Finite Mixture，FM）模型的一个推广，FM（如Gaussian Mixture模型）必须首先给定类数，而DPM则不需要，它可以依据数据自行判断类数。理论上来说，DPM的类数随着log(样本点数量)的增长速度增长。目前研究者已经提出了很多训练DPM的算法，从Gibbs Sampling，到Collapsed Gibbs Sampling，到Variational方法。

想进一步了解DP和DPM的同学，可以去Yee W. Teh的主页上看看，里面可以找到很多相关的papers，slides，presentations，以及用Matlab写的DPM开源软件。想仔细了解DPM的各个算法及具体推导，建议看看Xiaodong Yu的博文，里面也有他总结的一个很详细的学习笔记（虽然里面有一些小笔误），以及更多的参考资料。

在hlda中将这个crp推广到多层级的topic其实很简单，就是先找一家餐馆也就是一个root_topic，然后在这家餐馆里的每个桌子上放的是别的餐馆的名字，一次类推，就可以无限的延续下去。