机器学习---最大似然估计和贝叶斯参数估计

1. 估计

贝叶斯框架下的数据收集，在以下条件下我们可以设计一个可选择的分类器 :

P(wi) (先验)；P(x | wi) (类条件密度)

但是。我们很少能够完整的得到这些信息!

从一个传统的样本中设计一个分类器：

①先验估计不成问题

②对类条件密度的估计存在两个问题：1）样本对于类条件估计太少了；2） 特征空间维数太大

了，计算复杂度太高。

如果可以将类条件密度参数化，则可以显著降低难度。

例如：P(x | wi)的正态性，P(x | wi) ~ N( mi, Si)，用两个参数表示，这样就将概率密度估计问题转

化为参数估计问题。

最大似然估计 (ML) 和贝叶斯估计；结果通常很接近, 但是方法本质是不同的。

最大似然估计将参数看作是确定的量，只是其值是未知!  通过最大化所观察的样本概率得到最优的

参数—用分析方法。

贝叶斯方法把参数当成服从某种先验概率分布的随机变量，对样本进行观测的过程，就是把先验概

率密度转化成为后验概率密度，使得对于每个新样本，后验概率密度函数在待估参数的真实值附近

形成最大尖峰。在参数估计完后，两种方法都用后验概率P(wi | x)表示分类准则!

2. 最大似然估计  

最大似然估计的优点：当样本数目增加时，收敛性质会更好； 比其他可选择的技术更加简单。

2.1 基本原理

假设有c类样本，并且每个样本集的样本都是独立同分布的随机变量；P(x | wj) 形式已知但参数未

知，例如P(x | wj) ~ N( mj, Sj)；记 P(x | wj) º P (x | wj, qj)，其中

使用训练样本提供的信息估计θ = (θ1, θ2, …, θc), 每个 θi (i = 1, 2, …, c) 只和每一类相关 。

假定D包括n个样本, x1, x2,…, xn，

θ的最大似然估计是通过定义最大化P(D | θ)的值，“θ值与实际观察中的训练样本最相符”

最优估计：令并令为梯度算子，the gradient operator

我们定义 l(θ) 为对数似然函数：l(θ) = ln P(D | θ)

新问题陈述：求解 θ 为使对数似然最大的值    

对数似然函数l(θθ)显然是依赖于样本集D, 有：

最优求解条件如下：

令，来求解。

2.2 高斯情况：μ未知

P(xk | μ) ~ N(μ​​​​​​​, Σ)：(样本从一组多变量正态分布中提取)

θ = μ，因此：μ的最大似然估计必须满足 

乘Σ并且重新排序, 我们得到：即训练样本的算术平均值!

结论：如果P(xk | wj) (j = 1, 2, …, c)被假定为d 维特征空间中的高斯分布；然后我们能够估计向量

 从而得到最优分类!

2.3 高斯情况：μ​​​​​​​和Σ未知

未知 μ​​​​​​​ 和 σ，对于单样本xk：θ = (θ1, θ2) = (μ, σ2)

对于全部样本，最后得到：

联合公式 (1) 和 (2), 得到如下结果：

3. 贝叶斯估计 

在最大似然估计中 θ 被假定为固定值；在贝叶斯估计中 θ 是随机变量

3.1 类条件密度

目标: 计算 P(wi | x, D)，假设样本为D，贝叶斯方程可以写成：

先验概率通常可以事先获得，因此

每个样本只依赖于所属的类，有：

即：只要在每类中，独立计算就可以确定x的类别。

因此，核心工作就是要估计

3.2 参数分布

假设  的形式已知, 参数θ的值未知，因此条件概率密度 的函数形式是知道的；假设参

数q是随机变量，先验概率密度函数p(θ)已知，利用贝叶斯公式可以计算后验概率密度函数p(θ|D)；

希望后验概率密度函数p(θ | D) 在θ的真实值附件有非常显著的尖峰，则可以使用后验密度p(θ | D)

估计 θ ；注意到：

如果p(θ|D) 在某个值附件有非常显著的尖峰，即如果条件概率密度具有一个已知的形式，则利

用已有的训练样本，就能够通过p(θ | D) 对p(x | D) 进行估计。

 3.3 高斯过程

单变量情形的 p(μ | D)

复制密度：

其中： 

结论：

单变量情形的 p(x|D)：

 多变量情形：

复制密度： 

其中：

利用：，

得：。

利用：，令y=x-μ​​​​​​​。

4. 贝叶斯参数估计一般理论 

p(x | D) 的计算可推广于所有能参数化未知密度的情况中，基本假设如下:

假定 p(x | θ) 的形式未知，但是q的值未知。q被假定为满足一个已知的先验密度 P(θ)。

其余的 θ 的信息包含在集合D中，其中D是由n维随机变量x1, x2, …, xn组成的集合，它们服从于概

率密度函数p(x)。

基本的问题是：计算先验密度p(θ | D) ，然后 推导出 p(x | D)。

递归贝叶斯学习：

该过程称为参数估计的递归贝叶斯方法，一种增量学习方法。

唯一性问题：

p(x|θ) 是唯一的：后验概率序列 p(θ|Dn) 收敛到 delta 函数；只要训练样本足够多，则 p(x|θ) 能唯

一确定θ。

在某些情况下，不同θ值会产生同一个 p(x|θ) 。p(θ|Dn) 将在 θ 附近产生峰值，这时不管p(x|θ) 是

否唯一， p(x|Dn)总会收敛到p(x) 。因此不确定性客观存在。

最大似然估计和贝叶斯参数估计的区别：

	最大似然估计	贝叶斯参数估计
计算复杂度	微分	多重积分
可理解性	确定易理解	不确定不易理解
先验信息的信任程度	不准确	准确
例如 p(x|q)	与初始假设一致	与初始假设不一致