极大似然估计和贝叶斯估计

极大似然估计和贝叶斯估计是两种估计模型参数的方法。分别代表了两种学派的思想。

极大似然估计是概率学派的观点，其认为模型参数为一个固定未知的值。

贝叶斯估计是贝叶斯派的观点，认为模型参数是随机的，是一个概率分布。

---

在理解两种估计方法之前，先介绍两个概念基本：似然函数，后验概率。

似然函数：给定模型参数θ下，观测样本D的概率分布。p(D|θ)

后验概率：给定观测样本D下，模型参数θ的概率分布。p(θ|D)

---

那么极大似然估计就是寻找最优参数，使得给定样本的似然函数最大化：

由贝叶斯全概率公式，我们可以对后验概率进行展开：

由于完全的贝叶斯估计计算法困难，需要对所有的θ积分，对后验概率进行近似处理得到了最大后验估计：

---

观察公式，我们能发现，最大后验估计相对于极大似然增加了参数的先验概率分布，这正体现了贝叶斯派对于参数不固定的思想。