统计中parameter estimation 的方法总结。Topic Model需要注意的

个人总结：统计中参数估计有四种方法

点估计

MLE

MAP

• 加入参数的prior 信息，可以避免overfitting，还可以加入extra knowledge。称为Occam’razor

Bayesian Inference

这种方法不像MLE,MAP将参数看成未知的常量，而是看成随机变量，求出其后验分布的具体形式 p(θ|X) ，然后用 E(θ|X) 作为估计值。

Topic Model 中的Gibbs Sampling

通常我们在topic model中的inference，全是这种思路。比方说 gibbs sampling, 如果是collapsed的话，不考虑 ϕ 和 θ , 那么就是估计 z 了，（这里的 z 可以看成上面一段的 θ ）.

所以可以用MLE, MAP和bayesian inference 来估计 z , 由于MLE和MAP不能计算出一个只包括 z 的式子，所以我们要用 bayesian inference, 求 p(z|w) , 但问题由来了，具体式子很难求，主要是因为分母，所以用gibbs sampling 来sample p(z|w) ， 得到z的期望值。

总之 由于是collpased， 这里的objective 其实是 后验概率 p(z|w)

Topic Model中的Variational Inference

对于原始的LDA paper，即没有 β
这里的目标也是后验概率，只是没有collapsed掉， p(θ,z|w)