机器学习（一）：模型的参数估计方法

机器学习（一）：模型的参数估计方法

前言：

  之前在看李航的《统计学习方法》，思考的同时打算对于其中一些问题做一些总结和记录，希望以后再看的时候能够有更深入的理解。

---

---

  我们知道，机器学习方法一般可以概括为三部分：模型（model）、策略（strategy）、算法（algorithm）。
  其中，模型表示我们要从假设空间中所给的函数集合中学习它们的条件概率分布或者是决策函数。对于监督学习而言，其定义就是从有限的给定数据集中学习模型，而这些数据是独立同分布产生的。因此，之所以学习条件概率分布或是决策函数，是在基本假设存在的基础上进行的。
  在构建好模型的基础上，我们需要选择出能够最好的表示所给数据集分布的模型，这就是策略。一般来说，选取最优模型需要考虑损失函数与风险函数。损失函数也叫代价函数，即loss function 或 cost function，是度量一次预测的错误程度；而风险函数则是损失函数的期望。损失函数的形式有很多种，其中就包括似然函数，这就引出了我们所要说的，关于模型的参数估计方法这一问题。
  另外，由于机器学习中的许多问题都可以转化为最优化问题来求解，而这些最优化问题又没有显式的解析解（很难用解析的方法直接求解），故需要用数值计算的方法来求解，这些计算方法就是算法。

---

  以上是题外话，下面来说一说参数估计方法。

  统计学中的参数估计是指根据部分样本来估计总体分布中未知参数的过程：
  按估计形式，可分为点估计和区间估计；
  按构造估计量的方法，可分为矩估计、最小二乘估计、极大似然估计、贝叶斯估计等。

  这里，我们具体讨论两种机器学习中典型的、常用的参数估计方法，即极大似然估计法和贝叶斯估计法。

---

1. 极大似然估计法

  Maximum Likelihood Estimation，即MLE，也译作最大似然估计（翻译不重要）。

  首先，要知道什么是“极大似然”。极大似然的基本思想是：一个随机试验如有若干个可能的结果A、B、C、… ，一次试验中若出现结果A，则认为实验条件对A的出现有利，也即该实验条件下A出现的概率P(A)较大。而极大似然估计就是要找到A出现概率最大值所对应的实验条件。

  那么，用数学语言描述一下极大似然估计：
  对于$m$个样本的数据集$X=\left\{x^{\left(1\right)},x^{\left(2\right)},...,x^{\left(m\right)}\right\}$，是独立地由未知的真实数据生成分布$p_{data}\left(x\right)$生成的；令$\theta$是一族由$p_{\mathrm{m}\mathrm{o}\mathrm{d}el}\left(x;\theta \right)$在相同空间上确定的概率分布，那么极大似然估计就是求出最大的$\theta$值，从而近似地估计出真实分布，可以表示为：
$$\begin{array}{l}{\theta }_{ML}=\underset{\theta }{\mathrm{argmax}}{p}_{\mathrm{m}\mathrm{o}\mathrm{d}el}\left(X;\theta \right)\\ =\underset{\theta }{\mathrm{argmax}}\prod _{i=1}^m{p}_{\mathrm{m}\mathrm{o}\mathrm{d}el}\left(x^{\left(i\right)};\theta \right)\end{array}$$  这样，由于乘积不便计算和可能的数值下溢问题，考虑等价优化为求对数似然，那么上式就转化为：
$${\theta }_{ML}=\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^m\log p_{\mathrm{m}\mathrm{o}\mathrm{d}el}\left(x^{\left(i\right)};\theta \right)$$  进一步，考虑缩放代价函数时$\arg \max$不变，那么可以对上式除以$m$，从而得到和训练数据经验分布${\hat{p}}_{data}$相关的期望作为准则：
$${\theta }_{ML}=\underset{\theta }{\mathrm{argmax}}{\mathrm{E}}_{x\sim {\hat{p}}_{data}}\log p_{\mathrm{m}\mathrm{o}\mathrm{d}el}\left(x;\theta \right)$$
  有一种说法认为极大似然估计可以看做是最小化$KL$散度，或者说是最小化分布间的交叉熵。为什么这么说？先看$KL$散度的定义：
  $KL$散度一般用来度量两个分布之间的差异。具体到这里来说，就是最小化训练集上经验分布${\hat{p}}_{data}$和模型分布之间的差异（因为真实分布$p_{data}$未知，所以只能和经验分布来匹配），即：
$$D_{KL}\left({\hat{p}}_{data}\Vert p_{\mathrm{m}\mathrm{o}\mathrm{d}el}\right)={\mathrm{E}}_{x\sim {\hat{p}}_{data}}\left[\log {\hat{p}}_{data}\left(x\right)-\log p_{\mathrm{m}\mathrm{o}\mathrm{d}el}\left(x\right)\right]$$  由于等号右边的前一项只和原始数据生成过程有关，和模型无关，因此意味着在最小化$KL$散度时可以只考虑最小化等号右边的后一项，那么这就和极大似然估计的表示一样了。

  下面简单总结极大似然估计法的求解过程 ：
  (1)根据所求目标模型写出似然函数；
  (2)对似然函数取对数并整理；
  (3)对似然对数求导；
  (4)解似然方程，得到估计参数的值；

---

2. 贝叶斯估计法

  Bayesian Estimation，即利用贝叶斯定理结合先验概率及新的证据（一般指数据的似然函数），得到新的概率。

  一般来说，极大似然估计归于频率派，认为参数是一个定值；而贝叶斯派则认为参数服从某种概率分布（即考虑所有可能的$\theta$），这也是贝叶斯估计与极大似然估计的区别之一。

  具体的数学描述如下：
  对于$m$个样本的数据集$X=\left\{x^{\left(1\right)},x^{\left(2\right)},...,x^{\left(m\right)}\right\}$，通过贝叶斯规则结合数据似然$p\left(x^{\left(1\right)},x^{\left(2\right)},...,x^{\left(m\right)}|\theta \right)$（似然函数可参照极大似然估计法中对似然函数的介绍）及先验，得到对于$\theta$的后验概率：
$$p\left(\theta |x^{\left(1\right)},x^{\left(2\right)},...,x^{\left(m\right)}\right)=\frac{p\left(x^{\left(1\right)},x^{\left(2\right)},...,x^{\left(m\right)}|\theta \right)p\left(\theta \right)}{p\left(X\right)}$$  这就是贝叶斯估计法对参数$\theta$的估计结果。

  在贝叶斯估计的常用情景下，先验开始是相对均匀的分布或者是高熵的高斯分布，这样做是因为观测数据通常会使后验的熵下降，并集中在参数的几个可能性很高的值。

  同样地，下面简单梳理一下贝叶斯估计的求解过程：
  (1)确定参数$\theta$的先验分布$p\left(\theta \right)$；
  (2)由数据集求出其联合概率分布，即似然函数$p\left(X|\theta \right)$；
  (3)由贝叶斯公式求出$\theta$的后验概率分布$p\left(\theta |X\right)$；
  (4)求出$\theta$的贝叶斯估计值$\hat{\theta }=\underset{\Theta }{\int }\theta p\left(\theta |X\right)d\theta$。（$\Theta$表示对应的参数空间）

---

3. 极大似然估计和贝叶斯估计的区别

  (1) 前面提到过的，这里再说明一下：极大似然估计预测时使用的是$\theta$的点估计，而贝叶斯估计使用的是$\theta$的全分布估计。比如，在观测到$m$个样本后，下一个数据样本的预测分布为：
$$p\left(x^{\left(m+1\right)}|x^{\left(1\right)},x^{\left(2\right)},...,x^{\left(m\right)}\right)=\int p\left(x^{\left(m+1\right)}|\theta \right)p\left(\theta |x^{\left(1\right)},x^{\left(2\right)},...,x^{\left(m\right)}\right)d\theta$$  这里每个具有正概率密度的$\theta$值都有助于下一个样本的预测，其贡献由相应的后验概率密度加权；同时，对于$m$个样本预测的不确定性也会包含在之后的预测中。

  (2) 和极大似然估计不同，贝叶斯估计需要“已知”参数$\theta$的先验分布，这是因为先验能够影响概率质量密度朝着参数空间中偏好先验的区域偏移。实践中，先验通常表现为偏好更简单或更光滑的模型。

  (3) 当训练数据很有限时，贝叶斯估计通常泛化性更好；但是当训练样本很大时，贝叶斯方法通常会有很大的计算代价。而极大似然估计会向参数的真实值方向收敛（这要求真实分布$p_{data}$必须在模型分布族$p_{\mathrm{m}\mathrm{o}\mathrm{d}el}\left(\cdot ;\theta \right)$中，且真实分布$p_{data}$必须刚好对应一个$\theta$值）。

---

4. 最大后验估计

  Maximum A Posteriori，即MAP，也称最大后验点估计。

  那么什么是MAP呢？原则上，我们应该用参数$\theta$的完整贝叶斯后验分布进行预测，这就是贝叶斯估计。但是单点估计常常也是需要的，这是因为通常贝叶斯后验的计算对于大多数有意义的模型来说是困难的。这个时候就考虑用点估计求得一个近似解。由此，结合贝叶斯估计的优点，提出了最大后验点估计的方法。

  MAP估计选择后验概率最大的点作为对于参数$\theta$的估计值，即：
$${\theta }_{MAP}=\underset{\theta }{\mathrm{argmax}}p\left(\theta |x\right)=\underset{\theta }{\mathrm{argmax}}\log p\left(x|\theta \right)+\log p\left(\theta \right)$$
  MAP的优点是利用了来自先验的信息，这个附加信息有助于减少估计的方差（相比于ML估计），但增大了偏差。
  另外，加入正则化的极大似然估计能够降低样本数目较少时发生过拟合的可能，这可以看做贝叶斯推断的MAP近似，即当正则化项对应于先验$p\left(\theta \right)$时。当然，不是所有的正则化项都对应于MAP贝叶斯推断。

---

5. 以朴素贝叶斯分类为例说明

  下面，以朴素贝叶斯分类为例，简单说明极大似然估计和贝叶斯估计的计算方法和过程。

  首先，简述朴素贝叶斯法：
  朴素贝叶斯法是一种学习模型和分类的方法。对于给定的训练数据集，基于特征条件独立假设学习输入和输出的联合概率分布，再对给定的输入利用贝叶斯定理求出后验概率最大的输出。
  朴素贝叶斯法对条件概率分布做了如下的条件独立假设：（$c_k$为类别）
$$\begin{array}{l}P\left(X=x|Y=c_k\right)=P\left(X^{\left(1\right)}=x^{\left(1\right)},...,X^{\left(n\right)}=x^{\left(n\right)}|Y=c_k\right)\\ =\prod _{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)\end{array}$$  朴素贝叶斯法分类时，后验概率为：
$$P\left(Y=c_k|X=x\right)=\frac{P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}{{\sum }_{k}P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}$$  由上两式可得朴素贝叶斯分类器：
$$y=f\left(x\right)=\underset{c_k}{\mathrm{argmax}}\frac{P\left(Y=c_k\right){\prod }_{j}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)}{{\sum }_{k}P\left(Y=c_k\right){\prod }_{j}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)}$$  由于分母对所有$c_k$都相同，则可以简化为：
$$y=f\left(x\right)=\underset{c_k}{\mathrm{argmax}}P\left(Y=c_k\right){\prod }_{j}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)$$
  以下分别用极大似然估计和贝叶斯估计计算朴素贝叶斯法中的概率。

  (1) 极大似然估计：
  先验概率的极大似然估计：
$$P\left(Y=c_k\right)=\frac{\sum _{i=1}^{N}I\left(y_i=c_k\right)}{N},k=1,2,...,K$$  条件概率的极大似然估计：
$$P\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)=\frac{\sum _{i=1}^{N}I\left(x_i^{\left(j\right)}=a_{jl},y_i=c_k\right)}{\sum _{i=1}^{N}I\left(y_i=c_k\right)},j=1.2,...,n;l=1,2,...,S;k=1,2,...,K$$  其中，设第$j$个特征$x^{\left(j\right)}$可能的取值集合为$\left\{a_{j1},a_{j2},...,a_{j{S}_j}\right\}$；
  式中，$x^{\left(j\right)}$是第$i$个样本的第$j$个特征；$a_{jl}$是第$j$个特征可能取的第$l$个值；$I$为指示函数。

  (2) 贝叶斯估计：
  先验概率的贝叶斯估计：
$$P_{\lambda }\left(Y=c{}_k\right)=\frac{\sum _{i=1}^{N}I\left(y_i=c_k\right)+\lambda }{N+K\lambda }$$  条件概率的贝叶斯估计：
$$P_{\lambda }\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)=\frac{\sum _{i=1}^{N}I\left(x_i^{\left(j\right)}=a_{jl},y_i=c_k\right)+\lambda }{\sum _{i=1}^{N}I\left(y_i=c_k\right)+S_j\lambda }$$  式中，$\lambda \ge 0$等价于在随机变量的各个取值的频数上赋予一个正数$\lambda$；
  $\lambda =0$时，就是极大似然估计；$\lambda =1$时，称为拉普拉斯平滑。
  显然，对于任何$l=1,2,...,S_j,k=1,2,...,K$，有：
$$P_{\lambda }\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)>0$$$$\sum _{l=1}^{S_j}P\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)=1$$

---

6. 小结

  本文简单分析和总结了机器学习中的参数估计方法，包括极大似然估计、贝叶斯估计以及最大后验估计。
  一般来说，极大似然估计是机器学习中的首选估计方法。当样本数目小到会发生过拟合时，正则化策略如权重衰减可用于获得训练数据有限时方差较小的极大似然有偏版本。
  另外，如果能够知道参数的先验，那么可以考虑最大后验估计。相比于极大似然估计来说，先验有助于减少MAP的方差，但会增加偏差。因此，如何选择相应的估计方法，还需要具体问题具体分析。