plsa 公式推导


plsa中完全数据(complete data)的似然函数:


其中,表示文档i中的第j个单词的主题是否为k,如果为k则为1,否则为0

相应地,对数似然函数如下


然后Q function就是

又有两个约束条件:



下面利用拉格朗日乘法求参数

拉格朗日函数:



然后分别对参数求导:


求解过程:以(1)为例,将(1)变换成如下形式:

这样的系数就变成了1,那么我们就求得了

然后再将结果代入(1),得到

类似地,可以求得。


然后有

推导完毕


参考:

1.http://luxinxin.is-programmer.com/user_files/luxinxin/File/plsanote.pdf

2.http://blog.csdn.net/yangliuy/article/details/8330640



你可能感兴趣的:(machine,learning)