机器学习笔记—模式分类（三）参数判别估计法2（最大似然估计）

前序文章：

机器学习笔记—模式分类（一）绪论&贝叶斯决策论

机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）1

 

1、最大似然估计的假设：

（1）假设对于c类样本集，其中任意一类样本集Di中的样本都是独立的根据类条件概率密度p(x|wj)来抽取的，因此每类样本集Di中的样本都是独立同分布的随机变量；

（2）假设每一个类条件概率密度p(x|wj)的形式都是已知的，其未知的部分就是具体的参数向量θj的值；为强调类条件概率密度p(x|wj)依赖于参数向量θj，通常把它写作形如p(x|wj,θj)的形式，因此计算类条件概率密度要解决的问题就是根据已有的训练样本来尽可能正确的估计各个类别具体的参数向量θj；

（3）假设属于类别Di的训练样本对于参数向量θj(j!=i)的估计不提供任何信息，即每个参数向量θj对它所属的类别起的作用都是互相独立的，每个参数向量进队自己类别中的样本起作用，这就允许我们对每个类别可以分别处理，同时也使得记号得以简化。

2、在上述假设条件下，我们将有c个独立的问题，其中每个问题都可以表述成下列形式：已知样本集D，其中每一个样本都是独立的根据已知形式的类条件概率密度p(x|θ)抽取得到的，要求使用这些样本，估计概率密度函数中的参数向量θ的值。

3、可以把p(D|θ)看成是参数向量θ的函数，被称为样本集D下的似然函数，参数向量θ的最大似然估计就是使p(D|θ)达到最大值的那个参数向量，直观地理解参数向量θ的最大似然估计就是最符合已有的样本集的那一个；

     似然函数p(D|θ)和条件概率密度p(x|θ)虽然看起来相像，但是似然函数p(D|θ)是一个关于θ的函数，而条件概率密度p(x|θ)却是一个以θ为参数而关于变量x的函数，而且作为一个关于θ的函数，p(D|θ)并不表示概率密度，其曲线下的面积并没有什么实际意义。

4、最大似然估计是使p(D|θ)达到最大值，还存在一种最大后验（MAP）估计器，即使p(D|θ)p(θ)取最大值的那个参数向量θ，这里的p(θ)是对参数向量θ取不同值的概率的先验估计。最大似然估计可以说是当先验概率p(θ)为均匀分布时的MAP估计器。