先验、后验、似然函数与似然估计

作者：金良（[email protected]） csdn博客：http://blog.csdn.net/u012176591

先验概率（边缘概率）

在贝叶斯统计中，某一不确定量p的先验概率分布是在考虑"观测数据"前，能表达p不确定性的概率分布。它旨在描述这个不确定量的不确定程度，而不是这个不确定量的随机性。这个不确定量可以是一个参数，或者是一个隐含变量（英语：latent variable）。

在使用贝叶斯定理时，我们通过将先验概率与似然函数相乘，随后标准化，来得到后验概率分布，也就是给出某数据，该不确定量的条件分布。

后验概率（条件概率）

在贝叶斯统计中，一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。可见，后验概率实际上就是条件概率。

似然函数

似然函数可以理解为条件概率的逆反，可参见维基百科http://zh.wikipedia.org/wiki/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0

似然函数取得最大值表示相应的参数能够使得统计模型最为合理。最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概率质量函数），整理之后求最大值。实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值和直接求最大值得到的结果是相同的。似然函数的最大值不一定唯一，也不一定存在。最大似然估计的精确度较高，信息损失较少，但计算量较大。

最大似然估计

http://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1
有根据数据集对正态分布的参数的最大似然估计的推导