LDA主题模型学习笔记3.5:变分参数推导

    现在来推导一下得到变分参数更新式的过程,这一部分是在论文的附录中,为避免陷入过多细节而影响整体理解,可以在刚开始学习LDA的时候先不关注求解细节。首先要把L写成关于 γ,ϕ 函数。根据之前我们对L的定义:

L(γ,ϕ;α,β)=Eq[logp(θ,z,w|α,β)]Eq[logq(θ,z)]

(1)
再分别计算5个期望,可以得到如下式子:
(2) LDA主题模型学习笔记3.5:变分参数推导_第1张图片

上式中5个期望的计算要用到如下式子,这个是作者在附录中推导出来的式子:

5个期望的计算:

LDA主题模型学习笔记3.5:变分参数推导_第2张图片

接下来分别对 ϕ,γ 求偏导令导数为0,解出 ϕ,γ
我们对(2)式中的L做简化,只留下与 ϕ 有关的项 :
Lphi
求偏导:
de
解得:
phi

对于 γ ,同样的步骤:
LDA主题模型学习笔记3.5:变分参数推导_第3张图片

主要参考《Latent Dirichlet Allocation》

你可能感兴趣的:(更新,参数)