Dirichlet distribution的两种理解方式
Dirichlet distribution，对于做主题模型（topic model）研究特别的重要，因为很多模型之中都需要它作为先验分布。
本来这个分布Wikipedia和大多数的教科书已经讲得非常清楚，没有必要在这里多介绍，但是最近在理解Dirichlet process过程中，发现从另外一个角度来理解Dirichlet Distribution，对于理解Dirichlet Process有一定的帮助，特此介绍如下。
传统的Dirichlet Distribution的形式：
P(x_1, x_2, ..., x_k| \alpha_1, \alpha_2, ..., \alpha_k) \prop \prod_1 ^k (x_i)^(\alpha_i - 1)
Dirichlet Distribution是分布的分布，其中\sum x_i = 1。
另外一种形式：
P(x_1, x_2, ..., x_k| \alpha, M) \prop \prod_1 ^k (x_i)^(\alpha*M_i - 1)
其中，\sum M_i = 1。从而M可以看做一个分布。可以记为：P ~ Dir(\alpha, M)
下面我们来看看Dirichlet process的定义：
对于一个空间，已经有一个分布M，和一个正实数\alpha，如果对于该空间的任意可数划分A1, A2, ..., An，都有
(G(A1), G(A2), ..., G(An)) ~ Dir(\alpha*M(A1), \alpha*M(A2), ..., \alpha*M(An)) = Dir(\alpha, M)
其中，Dir是一个dirichlet distribution, M是[M(A1), M(A2), ..., M(An)]的概率向量。我们就称G是一个Dirichlet Process。
注意观察这个定义与Dirichlet Distribution的第二种形式的异同，Dirichlet distribution描述了空间上的一种划分情况下的分布，而Dirichlet Process描述了整个空间上的所有划分的情况下的分布情况，M是人们对于分布的主观看法，而\alpha就是描述如果抽样的话，会多好地接近分布M。即M是Base Distribution，\alpha是精度。
这样，我们就可以把Dirichlet Distribution和Dirichlet process更加统一地来看待，同时加深我们对于它们的理解。