极大似然估计和贝叶斯估计

极大似然估计

• 设总体服从分布 $f(x;{\theta }_1,...,{\theta }_k)$，$X_1,...,X_2$ 为从这个总体中抽出的样本，则样本 $(X_1,...,X_2)$ 的分布为

$$L(x_1,...,x_2;{\theta }_1,...,{\theta }_k)=\prod _{i=1}^{n}f\left(x_i;{\theta }_1,...,{\theta }_k\right)$$

• 当已观察到 $X_1,...,X_2$ 时，若有 $L(x_1,...,x_2;{\theta }_1^{\prime },...,{\theta }_k^{\prime })>L(x_1,...,x_2;{\theta }_1^{\prime \prime },...,{\theta }_k^{\prime \prime })$，则被估计的参数 $({\theta }_1,...,{\theta }_k)$ 是 $({\theta }_1^{\prime },...,{\theta }_k^{\prime })$ 的可能性比它是 $({\theta }_1^{\prime \prime },...,{\theta }_k^{\prime \prime })$ 的可能性大

• 当 $X_1,...,X_2$ 固定时，称 $L$ 为参数 $({\theta }_1,...,{\theta }_k)$ 的似然函数；估计参数时，应该用使似然函数取最大值的点 $({\theta }_1^{\ast },...,{\theta }_k^{\ast })$ 作为参数 $({\theta }_1,...,{\theta }_k)$ 的估计值，即

$$L(x_1,...,x_2;{\theta }_1^{\ast },...,{\theta }_k^{\ast })=\underset{{\theta }_1,...,{\theta }_k}{\max }L(x_1,...,x_2;{\theta }_1,...,{\theta }_k)$$

• 为使 $L$ 最大，只需使 $\mathrm{l}\mathrm{n}L$ 最大，也就是令似然方程组
  $$\frac{\partial \mathrm{l}\mathrm{n}L}{\partial {\theta }_i}=\frac{\partial {\sum }_{i=1}^n\mathrm{l}\mathrm{n}f\left(x_i;{\theta }_1,...,{\theta }_k\right)}{\partial {\theta }_i}=0,i=1,...,k$$

极大似然估计要求分布有参数的形式；在各种估计方法中，极大似然估计相对来说比较优良

贝叶斯估计

• 贝叶斯估计要求在采样前已经对参数 $\theta$ 有了一定的知识，即先验知识；先验知识用 $\theta$ 的某种概率分布表示，称为 $\theta$ 的先验分布，记为 $h(\theta )$；$h(\theta )$ 总结了我们对参数 $\theta$ 的先验知识

• 设总体服从分布 $f(\mathbf{X},\theta )$，$X_1,...,X_2$ 为从这个总体中抽出的样本，则样本 $(X_1,...,X_2)$ 的分布为 ${\prod }_{i=1}^{n}f({\mathbf{X}}_n,\theta )$；这可视为在给定 $\theta$ 值时样本 $(X_1,...,X_2)$ 的条件密度，从而 $(\theta ,X_1,...,X_2)$ 的联合密度为 $h(\theta ){\prod }_{i=1}^{n}f({\mathbf{X}}_n,\theta )$；进一步地，样本 $(X_1,...,X_2)$ 的边缘密度为
  $$p(X_1,...,X_2)=\int h(\theta )\prod _{i=1}^{n}f({\mathbf{X}}_n,\theta )\mathrm{d}\theta$$

• 根据上式，得到给定 $(X_1,...,X_2)$ 的条件下 $\theta$ 的条件密度为
  $$h(\theta |X_1,...,X_2)=h(\theta )\frac{{\prod }_{i=1}^{n}f({\mathbf{X}}_n,\theta )}{p(X_1,...,X_2)}$$

• 上式称为参数 $\theta$ 的后验分布，代表了我们得到样本 $X_1,...,X_2$ 后对参数 $\theta$ 的后验知识；后验知识综合了 $\theta$ 的先验知识（$h(\theta )$）和样本带来的信息

• 得到后验分布后，对参数 $\theta$ 的统计推断只能基于这个后验分布，通常取其均值作为对参数 $\theta$ 的估计

• 先验分布的选择：

  • $[0,1]$ 上的均匀分布，即 $h(\theta )=R(0,1)$
  • 估计正态分布 $\mathbf{N}(\mu ,{\sigma }^2)$ 中的 $\mu$，取 $h(\mu )=1$；估计 $\sigma$，取 $h(\sigma )=\frac{1}{\sigma }$
  • 估计指数分布中的 $\lambda$，取 $h(\lambda )=\frac{1}{\lambda }$