gibbs取样

原来一直在看的一个取样算法,我就觉得很奇怪,为何不同的人写的不一样呢。现在明白了,这三种形式不同的地方和为何不同。

在文献/cite{Neal2000}中,作者对狄里克雷混合模型的gibbs
取样算法进行了综述性介绍。其中前三种算法是处理共轭分布的取样算法。但是,作者并没有详细给出算法的应用举例,在/cite{Ananth2004,Ananth2008,Sudderth2006}中
分别对/cite{Neal2000}中的第一种取样算法(Gibbs sampling with
Blackwell-MacQueen urn scheme) 和第三种取样算法(Collapsed Gibbs
sampling with Chinese restaurant process (also called as
Rao-Blackwellized Gibbs sampling))
进行了详细介绍。其中,/cite{Ananth2004,Ananth2008}举例说明了第一种基于Blackwell-MacQueen罐机理的gibbs取样算法,而/cite{Sudderth2006}对基于中国式餐厅机理的
collapsed
gibbs取样算法进行了详细的介绍,这种取样算法又叫Rao-Blackwellized Gibbs取样。

由于第一种是带有参数的,t时刻的参数由t-1时刻的参数以及t时刻的观测值决定,因此,此时在取样时,将t-1时刻之前的观测值去掉了。这个恰恰是在第三种方法中用的,第三种方法中,由于将参数积分掉了,因而,在取样时,完全是观测值和indicator之间的取样关系,indicator受到所有观测值的影响,其实,正是参数起到的作用体现。

你可能感兴趣的:(HDP算法)