极大似然估计与贝叶斯估计的比较

• 极大似然估计

已知某个随机样本符合某种概率分布，但是其中某个具体参数不清楚，通过极大似然估计得到，该使这个随机样本出现的概率最大。

一般步骤

1.写出似然函数：

2.对似然函数取对数：

3.对求偏导数：

4.解似然方程组：

例题

推导下述正态分布均值的极大似然估计，数据来自正态分布，其中已知。根据样本写出的极大似然估计。

正态分布概率密度函数：

第一步，写出似然函数：

第二步，对似然函数取对数：

第三步，对求偏导数：

第四步，解似然方程组：

 

• 极大似然估计与贝叶斯估计的区别

问题：已知数据集D服从概率分布P，P中参数未知。

极大似然估计：

1. 未知参数是一个定值。
2. 目标：未知参数使得数据集发生的概率最大。

贝叶斯估计：

1. 未知参数本身服从一定的概率分布。
2. 目标：数据集发生的情况下，哪一个发生的概率最大。

 

• 贝叶斯估计

一般步骤

1.写出：

2.取对数：

3.对求偏导数：

4.解方程组：

例题

推导下述正态分布均值的贝叶斯估计，数据来自正态分布，其中已知。假设的先验分布是正态分布，根据样本写出的极大似然估计。

正态分布概率密度函数：

第一步，写出:

（分母与无关，可不考虑）

第二步，取对数：

第三步，求导：

第四步，解方程组