最大似然估计（MLE）、最大后验估计（MAP）和贝叶斯估计

参数估计

常见的参数估计类型有：

1. 离散型随机变量：二项式分布，多项式分布
2. 连续型随机变量：高斯分布

他们都可以看作是参数分布，因为他们的函数形式都被一小部分的参数控制，比如正态分布的均值和方差，二项式分布事件发生的概率等。因此，给定一堆观测数据集（假定数据满足独立同分布），我们需要有一个解决方案来确定这些参数值的大小，以便能够利用分布模型来做密度估计，这就是参数估计。

首先需要说明的是，这三种方法都是用来参数估计的方法，也就是已知观测数据，来求解未知的分布(分布也就是模型)的参数$\theta$的方法。

给定一组观测数据$$X=(x_1,x_2,,,x_n)$$，我们知道这组数据是服从某个参数为$\theta$的真实分布的，但是我们无法直接求出$\theta$，那么应该怎么来求呢？

最大似然估计（MLE）

假设上面的观测数据都是独立同分布的，那么在某个未知参数$\theta$下，这组数据发生的概率就是：
$$P(X|\theta )=\prod p(x_i|\theta )$$
上面 的式子也称为似然函数。
最大似然估计就是找到一个$\hat{\theta }$，使得上面的式子的值最大，也就说明了在某个参数$\hat{\theta }$下，观测数据$X$发生的概率最大。用公式来表示就是：
$$\hat{\theta }=argmax(P(X|\theta ))$$
上式中未知量只有参数$\theta$，可以通过求导等方式来求解。

最大后验估计（MAP）

最大后验估计中引入了先验知识，是跟据贝叶斯公式来求解$\theta$ 的。
$$\hat{\theta }=argmaxP(\theta |X)=argmax\frac{P(X|\theta )P(\theta )}{P(X)}=argmaxP(X|\theta )P(\theta )$$
可以看到，最大后验估计与最大似然估计不同之处在于增加了一项$P(\theta )$，称为先验概率。

先验概率就是在求解参数之前，你跟据经验已经知道了$\theta$的大致概率值。

最大后验考虑了先验经验，就相当于人为去修正了一下参数值。

最大似然估计和最大后验估计都是点估计，点估计有一个不足之处，即这种估计方法不能提供估计参数的估计误差大小。对于一个总体来说，它的分布参数是一个常数值，而它的样本统计量却是随机变量。当用随机变量去估计常数值时，误差是不可避免的，只用一个样本数值去估计总体参数是要冒很大风险的。

贝叶斯估计

即贝叶斯估计认为，未知参数$\theta$也服从一个概率分布，而不是一个常数值，所以参数$\theta$也就一些统计特性，比如像均值，方差等等。比如计算出来方差太大的，我们可以认为分布不够好，从而把这个当做选择超参数的一个考虑因素。

可以看出，一般求出$\theta$的后验分布后，选择其均值（期望）作为最后的估计值。

贝叶斯估计和最大后验估计有点相似。区别在于：

1）最大似然估计和最大后验估计都是只返回了的估计值。

2）最大后验估计在计算后验概率的时候，把分母p(X)给忽略了，在进行贝叶斯估计的时候则不能忽略

3）贝叶斯估计要计算整个后验概率的概率分布，而最大后验估计只计算了最大值。

最后总结三者的关系就是：MLE只从数据的角度说话，不考虑其他因素，MAP认为MLE没有考虑先验信息，这样在有的情况下是不对的，比如抛10次银币，3次头朝上，7次头朝下，计算控制头朝上的参数$\theta$的值，按照MLE只考虑数据的话可能计算出来参数$\theta$的取值为0.7,但是跟据我们的生活经验，值应该在0.5左右才是合理的，这个0.5就是先验信息。贝叶斯估计又认为参数$\theta$并不仅仅是一个常数值，而应该是一个分布。

参考：
最大似然估计、最大后验估计、贝叶斯估计的对比
贝叶斯估计详解