参数估计—最大似然估计与贝叶斯估计

一 参数估计

在贝叶斯决策论中，我们已经学习了如何根据先验概率$P({\omega }_i)$与类条件概率密度$p(\text{x}|{\omega }_i)$来设计最优分类器。但在实际应用中，通常得不到有关问题的概率结构的全部信息。通常的解决方案是利用这些训练样本来估计问题中所涉及的先验概率和类条件密度函数，并把这些估计的结果当做实际问题的先验概率和类条件概率密度，然后在设计分类器

在典型的监督学习问题中，有标注的样本估计先验概率不困难，最大的困难在于估计类条件概率密度：

• 已有的训练样本数太少，很难满足所有的特征都存在的情况
• 当用于表示特征的向量x的维数较大时，就会产生严重的计算复杂度问题（算法的执行时间，系统的资源开销…）

但如果先验知识允许我们把条件概率密度进行参数化，例如：我们可以假设$p(\text{x}|{\omega }_i)$是一个多元高斯分布，其均值是${\mu }_i$，协方差矩阵为${\Sigma }_i$。这样我们就把问题从估计完全未知的类条件概率密度$p(\text{x}|{\omega }_i)$转化为了估计参数${\mu }_i$与${\Sigma }_i$。这样的方法被称为参数估计方法。与之对应的也有非参数估计方法。

参数估计问题是统计学中的经典问题，主要的解决方案有两种，分别对应统计学中的两大学派：

• 最大似然估计——频率学派（Frequentist）
• 贝叶斯估计——贝叶斯学派（Bayesian）

当然，在参数估计完成后，我们仍然使用后验概率作为分类准则。

二 最大似然估计

2.1 参数分量

根据每个样本所属的类别对样本集$D$进行分类：$D_1,D_2...,D_c$，任意一个分类样本集$D_j$中的样本都是独立的根据类条件概率密度函数$p(\text{x}|{\omega }_j)$来抽取的。因此获得一个重要假设：每个样本集中的样本都是独立同分布的随机变量(independent and identically distributed：i.i.d)，我们还假设每一个类的类条件概率密度$p(\text{x}|{\omega }_j)$的形式都是已知的，未知的是具体的参数向量${\theta }_j$的值。比如：假设$p(\text{x}|{\omega }_j)$服从多维正态分布，这样向量${\theta }_j$就由分量${\mu }_j,{\Sigma }_j$所组成。

为了强调类条件概率密度函数$p(\text{x}|{\omega }_j)$依赖于参数向量${\theta }_j$的情况，通常写为形如$p(\text{x}|{\omega }_j,{\theta }_j)$的形式。因此**最大似然估计（MLE）**解决的就是正确的估计各个类别的具体的参数向量：${\theta }_1,{\theta }_2,...{\theta }_c$。

2.2 基本原理

问题其实就变成了一个条件概率最大的求解，即在已有的训练集的条件下，求使得$p(\theta |D)$ 最大的参数$\theta$，形式化表达为求解
$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}p(\theta |D)$$
而根据条件概率公式有
$$p(\theta |D)=\frac{p(D|\theta )p(\theta )}{p(D)}$$
因为我们在极大似然估计中假设$\theta$是确定的，所以$p(\theta )$就是一个常数。$p(D)$同样是根据已有的数据得到的，也是确定的，或者我们可以把其看作是对整个概率的一个归一化因子。这时候，求解公式 (1) 就变成了求解
$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}p(D|\theta )$$
一个有监督的总的样本集分为c类，我们要估计每个类的后验概率，有c个独立的问题，每个问题解决思路相同如下：已知样本集$D$中有n个样本$x_1,x_2...,x_n$。由于这些样本独立同分布，因此由（3）中的似然函数得：【2】
$$L(\theta )=p(D|\theta )=\prod _{k=1}^{n}p({\text{x}}_k|\theta )$$
因为样本集$D$已知，$p(D|\theta )$可以看作是参数向量$\theta$的函数，参数向量$\theta$的最大似然估计，就是使似然函数：$p(D|\theta )$达到最大值的参数向量，记为$\hat{\theta }$。为了方便分析取对数，定义对数似然函数：

$$l(\theta |D)=lnp(D|\theta )$$
如果实际的待求参数的个数为p，则参数向量$\theta$可以写成如下的p维向量的形式：$\theta =({\theta }_1,{\theta }_2\ast \ast ,...,{\theta }_p{)}^t$。**记${\nabla }_{\theta }$为梯度算子（构建求偏导数的数学式）**这样用数学语言表示求$\hat{\theta }$的全过程：
$$\begin{gathered} {\nabla }_{\theta }=\left[\begin{array}{c}\frac{\partial }{\partial {\theta }_1}\\ ...\\ \frac{\partial }{\partial {\theta }_p}\end{array}\right] \\ l(\theta |D)=ln\sum _{k=1}^{n}p({\text{x}}_k|\theta ) \\ 计算：\hat{\theta }=\underset{\theta }{\mathrm{argmax}}l(\theta |D) \\ 等价于：{\nabla }_{\theta }l=\sum _{k=1}^n{\nabla }_{\theta }lnp({\text{x}}_k|\theta )=0 \end{gathered}$$
注意：求得的解$\hat{\theta }$可能是全局最大值点，也可能是局部极值点。

2.3 高斯情况

深入讨论当训练样本服从多元正态分布时的情况。

2.3.1 协方差矩阵$\Sigma$已知，而均值$\mu$未知

我们得到以下结论，对于均值的最大似然估计就是对全体样本取平均。

2.3.2 协方差矩阵$\Sigma$和均值$\mu$都未知

高斯分布的更典型的情况是协方差矩阵$\Sigma$和均值$\mu$都未知。这样参数向量$\theta$由两个分量组成。

• 先考虑单变量的情况

  

  

• 当高斯函数是多元时，最大似然估计的结果是：
  $$\begin{gathered} \hat{\mu }=\frac{1}{n}\sum _{k=1}^n{\text{x}}_k \\ \hat{\Sigma }=\frac{1}{n}({\text{x}}_k-\hat{\mu })({\text{x}}_k-\hat{\mu }{)}^t \end{gathered}$$

  **均值的最大似然估计就是样本的均值，而协方差的最大似然估计是n个$({\text{x}}_k-\hat{\mu })({\text{x}}_k-\hat{\mu }{)}^t$的算术平均。**实际上对方差的最大似然估计是有偏的估计，样本的协方差矩阵$C=\frac{1}{n-1}({\text{x}}_k-\hat{\mu })({\text{x}}_k-\hat{\mu }{)}^t$，而我们估计的方差是$\hat{\sigma }=\frac{n-1}{n}C$

  样本协方差矩阵的推导过程【2】：

  

三 贝叶斯估计

3.1 基本原理

MLP通过最大化似然函数$L(\theta )$从而找出参数$\theta$，思想在于找出能最大概率生成这批数据的参数。但是这种做法完全依赖于数据本身，当数据量大的时候，最大似然估计往往能很好的估计出参数 $\theta$；但是当数据量小的时候，估计出来的结果并不会很好。就例如丢硬币问题，当我们投掷了5次，得出了正正正正正的结果，极大似然估计会得出投出正面的概率为100%！这显然是不符常理的。

贝叶斯派的人认为，后验概率中被估计的参数同样服从一种已知的分布，即参数也为一个随机变量。他们在估计参数前会先带来先验知识，例如参数在[0.5,0.6]的区域内出现的概率最大，在引入了先验知识后利用样本估计出参数分布的形式，在数据量小的情况下估计出来的结果往往会更合理。【2】

我们希望利用现有的全部信息来为测试样本x计算分类的依据：后验概率$P({\omega }_i|\text{x})$（现有的全部信息一部分为我们的先验知识，比如未知概率密度函数的形式，未知参数取值范围；另一部分则来自训练集本身），假设已有训练集$D=D_1,D_2,...,D_c$，改写后验概率为：$P({\omega }_i|\text{x},D)$表示训练集的重要性，则贝叶斯公式为：
$$P({\omega }_i|\text{x},D)=\frac{p(\text{x}|{\omega }_i,D)P({\omega }_i|D)}{{\sum }_{j=1}^{c}p(\text{x}|{\omega }_i,D)P({\omega }_j|D)}$$

• 这一公式指出我们能够根据训练样本提供的信息来确定类条件概率密度和先验概率。

• 通常认为先验概率可以事先得到，或简单计算得到，$P({\omega }_i|D)$可以简写为$P({\omega }_i)$

• 有监督学习可以把每个样本都归到它所属的类中，如果$i\ne j$，那么样本集$D_i$中的训练样本就对$p(\text{x}|{\omega }_j,D)$没有任何影响，这样就产生两个简化：

  • 能够对每一个类分别处理：只是用$D_i$中的训练样本就能确定$p(\text{x}|{\omega }_j,D)$
  • 能够对每个类进行分别处理，公式中说明类别的符号都可以省略

  本质上我们处理的是c个独立的问题，每个问题形式：已知一组训练样本D，根据这些样本估计$p(\text{x}|D)$（未简化为$p(\text{x}|{\omega }_i,D)$）

---

参数估计法的前提是每个类的类条件概率密度形式已知，参数向量$\theta$未知。对于任意一个测试样本x，去除类符号${\omega }_i$简化为$p(\text{x}|\theta )$且形式已知。而贝叶斯估计与最大似然估计的区别体现在，我们不认为$\theta$是一个固定但未知的值，而是服从一个概率分布$p(\theta )$。根据$p(\text{x}|\theta )$、$p(\theta )$、与$D$，我们可以得到未知参数$\theta$的后验概率密度函数$p(\theta |D)$
$$\begin{gathered} p(\theta |D)=\frac{p(\theta )p(D|\theta )}{\int p(\theta )p(D|\theta )d\theta } \\ 其中:p(D|\theta )=\prod _{i=1}^{n}p({\text{x}}_k|\theta )【这里{\text{x}}_k是训练样本集的某一个样本】 \end{gathered}$$
接着根据$P(\theta |D)$积分估算测试样本的后验概率$p(\text{x}|D)$：
$$\begin{gathered} p(\text{x}|D)=\int p(\text{x},\theta |D)d\theta \\ =\int p(\text{x}|\theta ,D)p(\theta |D)d\theta \end{gathered}$$
由于对测试样本x和训练样本集D的选取是独立进行的，$p(\text{x}|\theta ,D)=p(\text{x}|\theta )$，公式(10)改为：
$$p(\text{x}|D)=\int p(\text{x}|\theta )p(\theta |D)d\theta$$

总结整个贝叶斯估计分为三个阶段：

• 根据样本与先验知识求得参数的后验概率
• 根据参数的后验概率与类条件概率密度的形式求得每个类的具体的类条件概率密度
• 最后求出每个类的后验概率

3.2 高斯情况下的贝叶斯估计

对高斯正态分布的情况，用贝叶斯估计的方法来计算未知参数$\theta$的后验概率密度函数$p(\theta |D)$和设计分类器所需的类条件概率密度函数$p(\text{x}|D)$，其中假设$p(\text{x}|\mu )\sim N(\mu ,\Sigma )$（相当于第一步中的$p(\text{x}|\theta )$）

3.2.1 单变量情况第一步：$p(\mu |D)$

先考虑只有均值$\mu$未知的情况，同时假设特征向量是一维的。$p(x|\mu )\sim N(\mu ,\Sigma )$，而且我们认为所有关于均值$\mu$的先验知识都在先验概率密度函数$p(\mu )$中，且均值$\mu$服从$p(\mu )\sim N({\mu }_0,{\sigma }_0^2)$（${\mu }_0,{\sigma }_0^2$已知），根据3.1节总结的贝叶斯估计三步走：

我们发现$p(\mu |D)$是一个指数函数，且指数部分是$\mu$的二次型，因此$p(\mu |D)$实际上任然是正态分布，把$p(\mu |D)$写成下面的形式：

利用对应位置系数相等的原则就可以求出${\mu }_n,{\sigma }_n^2$的值：

上述方程显示了先验知识和样本观测结果是如何被结合在一起，并且形成$\mu$的后验概率密度函数$p(\mu |D)$的，总的来说：

• ${\mu }_n$代表在观测n个样本后对$\mu$的真实值的最好估计，${\mu }_n$是${\mu }_0与{\hat{\mu }}_n$的线性组合

• ${\sigma }_n^2$表示对这种估计的不确定性（取值更离散，不集中）

  • 如果${\sigma }_0\ne 0$，当n趋近于$\infty$，${\mu }_n$趋近于样本均值${\hat{\mu }}_n$，
  • 当${\sigma }_0=0$时，${\mu }_n={\mu }_0$，这是一种退化的情况：我们对先验估计${\mu }_0$是如此的确信，以至于任何观测样本都无法改变我们的认知。
  • 当${\sigma }_0$远大于$\sigma$，表示我们对先验估计${\mu }_0$如此的不确信以至于直接拿样本均值${\hat{\mu }}_n$当做$\mu$

  根据公式（7），${\sigma }_n^2$是n的单调递减函数，也就是说每观测一个样本，我们对$\mu$的估计的不确定性就会减小，当$\mu$增加时，$p(\mu |D)$的概率密度图就会变得更尖锐，当n趋近于无穷大时，逼近狄拉克函数。

狄拉克δ函数是一个广义函数，在物理学中常用其表示质点、点电荷等理想模型的密度分布，该函数在除了零以外的点取值都等于零，而其在整个定义域上的积分等于1。

狄拉克δ函数在概念上，它是这么一个“函数”：在除了零以外的点函数值都等于零，而其在整个定义域上的积分等于1。【4】

3.2.2 单变量情况第二步：$p(\text{x}|D)$

在得到均值的后验概率密度$p(\mu |D)$后，我们就可以计算类条件概率密度$p(\text{x}|D)$（实际上是$p(\text{x}|{\omega }_i,D)$，把c个问题独立，去除类有关变量后）

求得类条件概率密度后再带入到公式(19)就能求出后验概率了。

四 最大似然估计与贝叶斯估计比较

最大似然估计与贝叶斯估计在训练样本趋于无穷时效果是一样的，然而在实际的问题中，训练样本总是有限的，决定我们选择哪个方法的主要因素有

• 计算复杂度：MLE只涉及一些微分与求极值，而贝叶斯估计计算复杂的积分
• 可理解性：MLE是基于设计者所提供的训练样本的一个最佳解答，而贝叶斯估计方法得到的结果则是许多可行解的加权平均值，反映出对各种可行解的不确定程度
• 对初始先验知识的信任程度：MLE得到的类条件概率密度$p(\text{x}|\hat{\theta })$形式与先验的假设是一样的，而贝叶斯估计得到的形式可能与初始假设不相同，贝叶斯方法能比MLE利用更多有用的信息。

总结贝叶斯方法有很强的理论基础，但在实际应用中最大似然估计更加简便，且性能也相差无几。

参考

【1】模式分类（第二版）

【2】(1条消息) 极大似然估计与贝叶斯估计_Jim_Liu-CSDN博客_极大似然估计和贝叶斯估计

【3】(20 封私信 / 29 条消息) 为什么样本方差（sample variance）的分母是 n-1？ - 知乎 (zhihu.com)

【4】百度百科：狄拉克δ函数