统计中parameter estimation 的方法总结。Topic Model需要注意的

个人总结:统计中参数估计有四种方法

点估计

MLE

MAP

  • 加入参数的prior 信息,可以避免overfitting,还可以加入extra knowledge。称为Occam’razor

Bayesian Inference

这种方法不像MLE,MAP将参数看成未知的常量,而是看成随机变量,求出其后验分布的具体形式 p(θ|X) ,然后用 E(θ|X) 作为估计值。

Topic Model 中的Gibbs Sampling

通常我们在topic model中的inference,全是这种思路。比方说 gibbs sampling, 如果是collapsed的话,不考虑 ϕ θ , 那么就是估计 z 了,(这里的 z 可以看成上面一段的 θ ).

所以可以用MLE, MAP和bayesian inference 来估计 z , 由于MLE和MAP不能计算出一个只包括 z 的式子,所以我们要用 bayesian inference, 求 p(z|w) , 但问题由来了,具体式子很难求,主要是因为分母,所以用gibbs sampling 来sample p(z|w) , 得到z的期望值。

总之 由于是collpased, 这里的objective 其实是 后验概率 p(z|w)

Topic Model中的Variational Inference

对于原始的LDA paper,即没有 β
这里的目标也是后验概率,只是没有collapsed掉, p(θ,z|w)

你可能感兴趣的:(统计中parameter estimation 的方法总结。Topic Model需要注意的)