Maximum Likelihood Estimation

假设，X1～Xn具有联合概率分布:

joint probability

在给定观察数据x1～xn的时候，以上的联合概率分布可以看作关于theta的函数。当前分布是离散分布时，该函数也称为 the frequency distribution function。

Some Notions:

1. likelihood of a observed data is defined as:
   lik(theta) = probability of observing the given data as a function of theta

2. Maximum likelihood estimate - MLE 最大似然估计: 估计使得lik(theta)最大的theta值
   实际意义：估计使得the observed data最有可能的参数值。

3. 当 Xi 是 i.i.d (identical and independent distribution), likelihood 可以简化为：

likelihood

并且为了简化计算，对likelihood取对数，那么乘积转换成为加法。

log-likelihood

Some Examples

• Normal Distribution Example

Inference

• Multinomial Distribution with constraints