贝叶斯估计和极大似然估计的区别

1 如何求类条件概率密度：

贝叶斯决策中关键便在于知道后验概率，那么问题便在于求解类条件概率密度。答案便是将类条件概率密度进行参数化。

2 最大似然估计和贝叶斯估计参数估计

鉴于类条件概率密度难求，我们将其进行参数化，这样我们遍只需要对参数进行求解就行了，问题难度将大大降低。 比如我们假设类条件概率密度p(x|w) 是一个多元正太分布，那么我们就可以把问题从估计完全未知的概率目的p(x|w) 转化曾估计参数：均值u，协方差ε。

简述两者最大的区别：

二者最大的区别是：参数

估计的参数不同，最大使然估计要估计的参数θ 被当作是固定形式的一个未知变量，然后结合真实数据通过最大化似然函数来求解这个固定形式的未知变量。

贝叶斯估计则是将参数视为是有某种已知先验分布的随机变量，意思便是这个参数他不是一个固定的未知数，而是符合一定先验分布如： 随机变量θ 符合正态分布等。那么在贝叶斯估计中除了类条件概率密度p(x|w) 符合一定的先验分布，参数θ 也符合一定的先验分布，我们通过贝叶斯规则将参数的先验分布转化为后验分布进行求解。

同时在贝叶斯模型使用过程中，贝叶斯估计用的是后验概率，而最大似然估计直接使用的是类条件概率密度。

从其他方面谈谈二者的异同。

在先验概率能保证问题有解的情况下，最大似然估计和贝叶斯估计在训练样本趋近与无穷时得到的结果是一样的，但是实际的模式识别问题中，训练样本总是有限的，那应该如选择模型呢？

（1） 计算复杂度： 优先选择最大似然估计，最大似然估计中只需要使用到简单的微分运算即可，而在贝叶斯估计中则需要用到非常复杂的多重积分，不仅如此，贝叶斯估计相对来说也更难理解。

(2) 准确性：当采用的样本数据很有限时，贝叶斯估计误差更小，毕竟在理论上，贝叶斯估计有很强的理论和算法基础。

参数化估计的缺点：

贝叶斯估计和最大似然估计都是属于参数化估计，共同的缺点是：参数化估计虽然使得类条件概率密度变得简单，但估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布，在现实应用中，与做出能较好的接近潜在真实分布的假设，需要任务本身的先验知识，否则若仅凭猜测来假设概率分布形式，很可能产生误导性的结果。

ref：https://blog.csdn.net/feilong_csdn/article/details/61633180