上一篇《LDA主题模型学习笔记1:模型建立》中,我们已经对一个文档集的生成过程建立了三层的LDA主题模型,模型参数是 α,β ,引入了隐变量 θ,z ,接下来就是要确定这些参数,也就是参数估计问题。
原始论文《Latent Dirichlet Allocation》中,作者使用EM算法来估计参数,只是由于模型本身有些复杂,在E-step求解隐变量期望时使用了变分推断,并找到log似然函数的tightest lower bound代替log似然函数,在M-step中用拉格朗日乘数法求解参数 β ,用牛顿方法求解参数 α 。
由于原始论文中写作顺序是自下而上的,而笔者习惯于自上而下的思路,所以刚开始看变分推断的时候一头雾水,沉迷于细节中无法自拔,在后面看到EM算法时颇有“柳暗花明又一村”之感,而在经典神书PRML中重新温习了EM算法(见《EM算法学习笔记》)之后,才算是理解了作者求解参数的思路。所以要搞清参数求解过程,私以为需要先梳理好这里面的EM思想。
有文档集 D=[w1,w2,...,wM] ,对D建立LDA模型,其实与生成D的过程是刚好是逆向的。生成D时,我们是对于每一篇document,选择topic,选择word,而建模时,是对于每一篇document,根据观测到的word,来估计它的topic的分布,即为该document建立主题模型。
所以我们的目标是,找到一个主题模型,它生成我们所观测到的word分布的概率最大,这样就成了一个最大似然问题,log似然函数如下:
E-step
首先我们要求隐变量 θ,z 的期望,隐变量的后验概率可以计算得到:
所以作者考虑变分推断的方法。简化原先的LDA模型,找一个与原来不能直接求解的后验概率等价或近似的分布q,这个q要好解,一般比较简单粗暴的方法就是直接假设q中 θ,z 相互独立。
对原模型去掉 θ,z,w 之间的边,删掉 w ,这样 θ和z 就相互独立了。
模型图:
从模型中可以得出 θ,z 的分布q:
然后用变分推断算法迭代得到最优的变分参数 (γ∗,ϕ∗) ,这样就等于已经确定了分布q,也就可以拿 q(θ,z|γ,ϕ) 来代替后验概率 p(θ,z|w,α,β) 。
并且在用变分推断求解上述优化问题时,作者还通过使用Jensen不等式,找到了原log似然函数 logp(|α,β) 的一个tightest lower bound: L(γ,ϕ|α,β) ,用它来代替原log似然函数。
具体步骤见《LDA学习笔记3:变分推断算法》
M-step
这一步,我们根据E-step求出来的 (γ,ϕ) ,最大化 L(γ,ϕ|α,β) ,求解模型参数 α,β :用拉格朗日乘数法求解参数 β ,用牛顿方法求解参数 α 。
具体步骤见《LDA学习笔记4:求解模型参数》
主要参考资料《Latent Dirichlet Allocation》