[CS229学习笔记] 5.判别学习算法与生成学习算法，高斯判别分析，朴素贝叶斯，垃圾邮件分类，拉普拉斯平滑

本文对应的是吴恩达老师的CS229机器学习的第五课。这节课介绍了判别学习算法和生成学习算法，并给出了生成学习算法的一个实例：利用朴素贝叶斯进行垃圾邮件分类。

---

判别学习(Discriminative Learning)与生成学习(Generative Learning)

对于机器学习的任务，可以简单描述为：给定一个输入点 $x$，建立模型求其预测值 $h_{\theta }(x)$。从贝叶斯学派的角度看，我们的目的就是建模 $P(y|x)$。那么，由贝叶斯公式，我们显然可以得到两种不同的建模方式：

1. 判别学习方法，这种方式下，我们建立的模型将直接学习后验分布 $P(y|x)$，或者直接学习一个将输入映射到某类的函数 $h_{\theta }(x)\in \{0,1\}$；
2. 生成学习方法，与判别学习方法相对应，则是对 $P(x|y)$ 以及 $P(y)$ 建模，从而习得 $x,y$ 的一个联合分布 $P(x,y)$，然后通过贝叶斯定理 $P(y|x)=\frac{P(x|y)P(y)}{P(x)}$ 得到 $P(y|x)$。

---

高斯判别分析(Gaussian Discriminative Analysis)

接下来我们介绍一个生成学习的例子：高斯判别分析。注意，名字虽然是判别，但它是一个生成学习的例子。

根据之前的描述我们知道，生成模型的关键在于对 $P(\mathbf{x}|y)$ 的建模。对于独立分布的输入以及自然噪声等，高斯模型往往是一个不错的选择。于是，我们假设输入数据分布满足高斯分布，即

$$P(\mathbf{x};\mu ,\Sigma )=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )\right)$$

其中，$\mu$ 为 $\mathbf{x}$ 的均值，计算公式为

$$\mu =\frac{1}{m}\sum _{i=1}^m{x}_i$$

$\Sigma$ 为 $\mathbf{x}$ 的方差，计算公式为

$$\Sigma =\mathbb{E}\left[(\mathbf{x}-\mathbb{E}[\mathbf{x}])(X-\mathbb{E}[\mathbf{x}]{)}^T\right]=\mathbb{E}[\mathbf{x}{\mathbf{x}}^T]-\mathbb{E}[\mathbf{x}]\mathbb{E}[\mathbf{x}{]}^T$$

注意，协方差矩阵是对称的半正定矩阵。

上图的三个模型均值都为 $0$，协方差分别为 $\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right];\left[\begin{array}{cc}1& 0.5\\ 0.5& 1\end{array}\right];\left[\begin{array}{cc}1& 0.8\\ 0.8& 1\end{array}\right]$

我们同样可以在二维平面内用等高线图画出高斯函数，如下图

上图的三个模型均值都为 $0$，协方差分别为 $\left[\begin{array}{cc}1& -0.5\\ -0.5& 1\end{array}\right];\left[\begin{array}{cc}1& -0.8\\ -0.8& 1\end{array}\right];\left[\begin{array}{cc}3& 0.8\\ 0.8& 1\end{array}\right]$。可以看出当协方差矩阵的对角不为 $0$ 时，高斯函数的图像上的 $x$ 与 $x$ 就有了相关性，即图像发生了拉伸、偏斜。

高斯判别分析的公式推导

接下来，我们就正式开始推导高斯判别分析的建模过程。首先，我们的目标是二分类问题，于是我们可以假设 $y$ 服从伯努利分布

$$P(y)={\varphi }^y(1-\varphi {)}^{(1-y)}\text{\hspace{1em}(1)}$$

结合前述高斯函数，我们不妨设 $y=0$ 与 $y=1$ 情况下的点分别服从两个参数不同的高斯分布（一般在高斯判别分析中，我们设两者的方差相同），即

$$P(\mathbf{x}|y=0)=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left(-\frac{1}{2}(\mathbf{x}-{\mu }_0{)}^T{\Sigma }^{-1}(\mathbf{x}-{\mu }_0)\right)\text{\hspace{1em}(2)}$$

$$P(\mathbf{x}|y=1)=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left(-\frac{1}{2}(\mathbf{x}-{\mu }_1{)}^T{\Sigma }^{-1}(\mathbf{x}-{\mu }_1)\right)\text{\hspace{1em}(3)}$$

根据贝叶斯定理，我们可以得到待求对数似然函数（注意到贝叶斯定理中的 $P(x)$ 实际上对所有类标记均相同，因此在考虑似然函数的时候可以不必加入）:

$$\begin{array}{rl}l(\varphi ,{\mu }_0,{\mu }_1,\Sigma )& =\log \prod _{i=1}^{m}P(x^{(i)},y^{(i)};\varphi ,{\mu }_0,{\mu }_1,\Sigma )\\ & =\log \prod _{i=1}^{m}P(x^{(i)}|y^{(i)};{\mu }_0,{\mu }_1,\Sigma )P(y^{(i)};\varphi )\\ & =\sum _{i=1}^m\log P(x^{(i)}|y^{(i)};{\mu }_0,{\mu }_1,\Sigma )P(y^{(i)};\varphi )\end{array}$$

将 $(1),(2),(3)$ 式代入上式，可以得到：

$$\begin{array}{rl}l(\varphi ,{\mu }_0,{\mu }_1,\Sigma )=\sum _{i=1}^m& \log \left(\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left(-\frac{1}{2}(x^{(i)}-{\mu }_{y^{(i)}}{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_{y^{(i)}})\right){\varphi }^{y^{(i)}}(1-\varphi {)}^{(1-y^{(i)})}\right)\\ =\sum _{i=1}^m& [-\frac{n}{2}\log (2\pi )-\frac{1}{2}\log |\Sigma |-\frac{1}{2}(x^{(i)}-{\mu }_{y^{(i)}}{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_{y^{(i)}})\\ & +y^{(i)}\log \varphi +\left(1-y^{(i)}\right)\log (1-\varphi )]\end{array}$$

利用最大对数似然函数的方法，就可以算出各个参数的值。注意在求导过程中，我们只需计算含有待求参数的部分即可。

下面是 $\varphi$ 的最大似然的求解过程，考虑到我们研究的是二分类问题，因此在求解 $\varphi$ 与 ${\mu }_0,{\mu }_1$ 的时候我们可以将 $m$ 个样本分为 $y=0$ 与 $y=1$ 两类。另外，我们设 $y=1$ 的类共包含 $k$ 个样本，那么显然 $y=0$ 的类就包含 $m-k$ 个样本（变量 $k$ 最终计算后会销去，见下）。

$$\begin{array}{rl}0& =\frac{\partial l}{\partial \varphi }\\ & =\frac{\partial {\sum }_{i=1}^m\left[y^{(i)}\log \varphi +\left(1-y^{(i)}\right)\log (1-\varphi )\right]}{\partial \varphi }\\ & =\frac{\partial {\sum }_{i=1}^m\left[1\{y^{(i)}=1\}\log \varphi +1\{y^{(i)}=1\}\log (1-\varphi )\right]}{\partial \varphi }\\ & =\frac{\partial \left[k\log \varphi +(m-k)\log (1-\varphi )\right]}{\partial \varphi }\\ & =\frac{-(m-k)}{1-\varphi }+\frac{k}{\varphi }\\ ⟹{\varphi }_{\text{MLE}}& =\frac{k}{m}\\ & =\frac{1}{m}\sum _{i=1}^{m}1\{y^{(i)}=1\}\end{array}$$

显而易见，$\varphi$ 的最大似然的解就是 $y=1$ 的类别的数目占总样本数的比例。接着，我们给出 $y=0$ 类的 ${\mu }_0$ 的最大似然求解过程（ ${\mu }_1$ 计算方法类似，从略），其中利用了一个矩阵求导公式 $\frac{\partial x^{T}Ax}{\partial A}=2Ax$：

$$\begin{array}{rl}0& =\frac{\partial {\sum }_{i=1}^{m}1\{y^{(i)}=0\}\left[-\frac{1}{2}(x^{(i)}-{\mu }_0{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_0)\right]}{\partial {\mu }_0}\\ & =\sum _{i=1}^{m}1\{y^{(i)}=0\}\left[-\frac{1}{2}\cdot 2(x^{(i)}-{\mu }_0){\Sigma }^{-1}\cdot (-1)\right]\\ & =\sum _{i=1}^{m}1\{y^{(i)}=0\}(x^{(i)}-{\mu }_0){\Sigma }^{-1}\\ & =\sum _{i=1}^{m}1\{y^{(i)}=0\}{x}^{(i)}{\Sigma }^{-1}-\sum _{i=1}^{m}1\{y^{(i)}=0\}{\mu }_0{\Sigma }^{-1}\\ ⟹{{\mu }_0}_{\text{MLE}}& =\frac{\left({\sum }_{i=1}^{m}1\{y^{(i)}=0\}{x}^{(i)}\right){\Sigma }^{-1}}{\left({\sum }_{i=1}^{m}1\{y^{(i)}=0\}\right){\Sigma }^{-1}}\\ & =\frac{{\sum }_{i=1}^{m}1\{y^{(i)}=0\}{x}^{(i)}}{{\sum }_{i=1}^{m}1\{y^{(i)}=0\}}\end{array}$$

注意到上式就是将所有标签为 $y=0$ 的样本进行了求均值的计算。最后是 $\Sigma$ 的最大似然计算，在计算开始前，先给出一个将会用到的矩阵求导公式：$\frac{\partial uAv}{\partial A}=u{v}^T$：

$$\begin{array}{rl}0& =\frac{\partial {\sum }_{i=1}^m\left[-\frac{1}{2}\log |\Sigma |-\frac{1}{2}(x^{(i)}-{\mu }_{y^{(i)}}{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_{y^{(i)}})\right]}{\partial \Sigma }\\ & =-\frac{1}{2}\cdot \frac{\partial {\sum }_{i=1}^m\log |\Sigma |}{\partial \Sigma }-\frac{1}{2}\cdot \frac{\partial {\sum }_{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}}{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_{y^{(i)}})}{\partial {\Sigma }^{-1}}\cdot \frac{\partial {\Sigma }^{-1}}{\partial \Sigma }\\ & =-\frac{1}{2}\sum _{i=1}^m{\Sigma }^{-1}-\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}})(x^{(i)}-{\mu }_{y^{(i)}}{)}^T(-{\Sigma }^{-2})\\ & =-\frac{1}{2}\left(m\Sigma -\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}})(x^{(i)}-{\mu }_{y^{(i)}}{)}^T\right){\Sigma }^{-2}\\ ⟹{\Sigma }_{\text{MLE}}& =\frac{1}{m}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}})(x^{(i)}-{\mu }_{y^{(i)}}{)}^T\end{array}$$

注意到这同样可以从方差的定义式直接求出。综上所述，我们可以得出如下高斯判别分析各参数的解：

$$\varphi =\frac{1}{m}\sum _{i=1}^{m}1\{y^{(i)}=1\}$$

$${\mu }_0=\frac{{\sum }_{i=1}^{m}1\{y^{(i)}=0\}{x}^{(i)}}{{\sum }_{i=1}^{m}1\{y^{(i)}=0\}}$$

$${\mu }_1=\frac{{\sum }_{i=1}^{m}1\{y^{(i)}=1\}{x}^{(i)}}{{\sum }_{i=1}^{m}1\{y^{(i)}=1\}}$$

$$\Sigma =\frac{1}{m}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}})(x^{(i)}-{\mu }_{y^{(i)}}{)}^T$$

高斯判别分析与逻辑回归

到现在为止，我们已经完成了对各个参数的极大似然估计。接下来，我们就可以回过头去重新分析 $(1),(2),(3)$ 式，并给出高斯判别分析的分类方法。我们以 $y=1$ 类别为例，由贝叶斯定理，我们可以写出：

$$\begin{array}{rl}P(y=1|\mathbf{x})& =\frac{P(\mathbf{x}|y=1)P(y=1)}{P(\mathbf{x}|y=1)P(y=1)+P(\mathbf{x}|y=0)P(y=0)}\\ & =\frac{N({\mu }_1,\Sigma )\varphi }{N({\mu }_0,\Sigma )(1-\varphi )+N({\mu }_1,\Sigma )\varphi }\\ & =\frac{1}{1+\frac{N({\mu }_0,\Sigma )(1-\varphi )}{N({\mu }_1,\Sigma )\varphi }}\\ & =\frac{1}{1+\frac{1-\varphi }{\varphi }\exp \left(\frac{1}{2}(\mathbf{x}-{\mu }_1{)}^T{\Sigma }^{-1}(\mathbf{x}-{\mu }_1)-\frac{1}{2}(\mathbf{x}-{\mu }_0{)}^T{\Sigma }^{-1}(\mathbf{x}-{\mu }_0)\right)}\\ & =\frac{1}{1+\exp \left(\log \frac{1-\varphi }{\varphi }\right)\cdot \exp \left(\frac{1}{2}\left({\mu }_0^T{\Sigma }^{-1}\mathbf{x}+{\mathbf{x}}^T{\Sigma }^{-1}{\mu }_0-{\mu }_0^T{\Sigma }^{-1}{\mu }_0-{\mu }_1^T{\Sigma }^{-1}\mathbf{x}-{\mathbf{x}}^T{\Sigma }^{-1}{\mu }_1+{\mu }_1^T{\Sigma }^{-1}{\mu }_1\right)\right)}\end{array}$$

注意到 $x$ 与 ${\Sigma }^{-1}\mu$ 均为向量，且 $\Sigma$ 为对称矩阵，因此 $x^T{\Sigma }^{-1}\mu =({\Sigma }^{-1}\mu {)}^{T}x={\mu }^T{\Sigma }^{-1}x$，因此，上式可以继续化简为：

$$\begin{array}{rl}P(y=1|\mathbf{x})& =\frac{1}{1+\exp \left(\underset{-{\mathbf{w}}^{\mathbf{T}}\mathbf{x}}{-({\mu }_1^T-{\mu }_0^T){\Sigma }^{-1}\mathbf{x}}+\underset{bias}{\frac{1}{2}\left(\log \frac{1-\varphi }{\varphi }+{\mu }_1^T{\Sigma }^{-1}{\mu }_1-{\mu }_0^T{\Sigma }^{-1}{\mu }_0\right)}\right)}\\ & =\frac{1}{1+e^{-{\theta }^T{\mathbf{x}}^{\prime }}}\end{array}$$

我们可以清楚地发现，这就是逻辑回归公式，也就是说，我们用高斯判别分析进行建模得到的生成模型，其实分类效果是与逻辑回归一致的。如下图所示，我们随机取了两类点，并对其分别进行高斯建模，最终得到的生成模型是一个逻辑函数。

实际上，可以证明，只要我们取的似然函数 $P(x|y)$ 服从指数族分布，则必然可以推出生成模型 $P(y|x)$ 是逻辑函数。反之，若生成模型 $P(y|x)$ 是逻辑函数，不能推出似然函数 $P(x|y)$ 服从指数族分布。

---

朴素贝叶斯(naive Bayes)与垃圾邮件分类

接下来，简单介绍一个生成模型的实际应用场景：垃圾邮件分类。

词向量

首先我们介绍一下词向量。无论中文英文，计算机本质上都是无法识别的，那么我们如何将单词变为计算机可以识别的输入呢？一个很简单的方式就是将是否有某个单词用 $0$ 和 $1$ 来表示，这种方法我们称为独热编码(one-hot encoding)。具体来说，假设我们有一个50000单词的常见单词表，那么我们就可以将某封邮件中是否存在某个单词用 $0$ 和 $1$ 来表示。例如，若某封邮件中出现了单词 a 和 buy，我们就可以写出如下词向量：

$$x=\left[\begin{array}{c}1\\ 0\\ 0\\ ⋮\\ 1\\ ⋮\\ 0\end{array}\right]\begin{array}{c}\text{a}\\ \text{aardvark}\\ \text{aardwolf}\\ ⋮\\ \text{buy}\\ ⋮\\ \text{zygmurgy}\end{array}$$

这个映射方式十分简单方便，但却并不能体现各个单词之间的关系。在神经网络训练中我们往往会用预训练的embedding作为输入（如word2vec），这里不作展开。

接着，我们假设输入数据是条件独立的，即

$$P(x_1,x_2,\cdots ,x_{50000}|y)=P(x_1|y)P(x_2|y)\cdots P(x_{50000}|y)=\prod _{i=1}^{50000}P(x_i|y)$$

举一个例子，假设某封邮件中出现了 $x_1,x_{2000}$ 两个单词，根据之前推导的贝叶斯公式，这封邮件是垃圾邮件的概率就是：

$$P(y=1|x_1,x_{2000})=\frac{P(x_1,x_{2000}|y=1)P(y=1)}{P(x_1,x_{2000}|y=1)P(y=1)+P(x_1,x_{2000}|y=0)P(y=0)}\text{\hspace{1em}(4)}$$

同样，在利用最大似然时，我们不必关注归一化项，似然函数可以写为：

$$L({\varphi }_y,{\varphi }_{j|y=1},{\varphi }_{j|y=0})=\prod _{i=1}^{m}P(x^{(i)},y^{(i)})$$

其中 ${\varphi }_{j|y=1}$ 表示垃圾邮件中出现单词 $x_j$ 的概率，${\varphi }_{j|y=0}$ 表示非垃圾邮件中出现单词 $x_j$ 的概率。利用与前文类似的推导，可以得到各参数的最大似然估计：

$${\varphi }_y=\frac{{\sum }_{i=1}^{m}1\{y^{(i)}=1\}}{m}$$

$${\varphi }_{j|y=1}=\frac{{\sum }_{i=1}^{m}1\{y^{(i)}=1\wedge x_j^{(i)}=1\}}{{\sum }_{i=1}^{m}1\{y^{(i)}=1\}}$$

$${\varphi }_{j|y=0}=\frac{{\sum }_{i=1}^{m}1\{y^{(i)}=0\wedge x_j^{(i)}=1\}}{{\sum }_{i=1}^{m}1\{y^{(i)}=0\}}$$

可以看出，${\varphi }_{j|y=1}$ 的最大似然估计就等于训练样本中是垃圾邮件且出现了单词 $x_j$ 的样本数量占总垃圾邮件的百分比。于是，利用最大似然估计作为概率 $P(x_j|y)={\varphi }_{j|y}$，以及 $P(y)$ 的最大似然估计（前文已证），我们就可以得到我们的朴素贝叶斯模型（类似 $(4)$ 式），然后我们就可以用它来预测给定邮件是否为垃圾邮件。

拉普拉斯平滑(Laplace smoothing)

但是上述情况会出现一个问题，假设我们所有用于训练的邮件中没有出现单词 $x_{2000}$，但是在我们需要预测的邮件中出现了，那么我们的朴素贝叶斯模型会怎么处理这个问题呢？

我们同样以 $(4)$ 式为例，这个时候我们发现，如果训练邮件中却没有包含 $x_{2000}$，那么垃圾邮件与非垃圾中包含 $x_{2000}$ 的概率的似然估计都是 $0$，即 $P(x_{2000}|y=1)={\varphi }_{2000|y=1}=0,P(x_{2000}|y=0)={\varphi }_{2000|y=0}=0$。根据条件独立的假设，$(4)$ 式自然就可以写为

$$\begin{array}{rl}P(y=1|x_1,x_{2000})& =\frac{P(x_1,x_{2000}|y=1)P(y=1)}{P(x_1,x_{2000}|y=1)P(y=1)+P(x_1,x_{2000}|y=0)P(y=0)}\\ & =\frac{P(x_1|y=1)P(x_{2000}|y=1)P(y=1)}{P(x_1|y=1)P(x_{2000}|y=1)P(y=1)+P(x_1|y=0)P(x_{2000}|y=0)P(y=0)}\\ & =\frac{0}{0}\end{array}$$

这显然不是我们想要的结果，我们希望对于没有出现过的词，它对垃圾邮件或非垃圾邮件的作用是一样的，即各 $50\%$。有一个方法技能避免 $\frac{0}{0}$ 的出现，同时又使未见过的单词对分类不产生作用，即拉普拉斯平滑。

拉普拉斯平滑方法很简单，对于我们例子中的二分类任务，只需对最大似然中的每一类加一即可，即：

$${\varphi }_{j|y=1}=\frac{{\sum }_{i=1}^{m}1\{y^{(i)}=1\wedge x_j^{(i)}=1\}+1}{{\sum }_{i=1}^{m}1\{y^{(i)}=1\}+2}$$

$${\varphi }_{j|y=0}=\frac{{\sum }_{i=1}^{m}1\{y^{(i)}=0\wedge x_j^{(i)}=1\}+1}{{\sum }_{i=1}^{m}1\{y^{(i)}=0\}+2}$$

这样一来，对于没有出现过的单词，${\varphi }_{j|y=1}={\varphi }_{j|y=0}=0.5$，后续就不会出现 $\frac{0}{0}$ 这样无意义的解了。

---

最后，补充说明一下比较常见的判别学习与生成学习方法

常见的判别学习方法有：

1. 线性回归（linear regression）
2. 逻辑回归（logic regression）
3. 神经网络（NN）
4. 支持向量机（SVM）
5. 高斯过程（Gaussian process）
6. 条件随机场（conditional random field, CRF）
7. 决策树（CART）
8. 提升方法（Boosting）
9. 感知机 (线性分类模型)
10. k近邻法
11. 传统神经网络（CNN,RNN）
12. 最大熵模型（ME）
13. 区分度训练

常见的生成学习方法有：

1. 判别式分析
2. 朴素贝叶斯（Naive Bayes）
3. 混合高斯型（Gaussians）
4. K近邻（KNN）
5. 隐马尔科夫模型（HMM）
6. 贝叶斯网络
7. sigmoid 信念网
8. 马尔科夫随机场（Markov random fields）
9. 深度信念网络（DBN）
10. 隐含狄利克雷分布（Latent Dirichlet allocation, LDA）
11. 多专家模型（the mixture of experts model）
12. 受限玻尔兹曼机（RBM）
13. 深度玻尔兹曼机（DBM）
14. 广义除噪自编码器（GDA）
15. 生成对抗网络（GAN）
16. 变分自编码器（VAE）
17. 自回归模型（AR）

references：

常见生成式模型与判别式模型： https://www.cnblogs.com/zoe1101/p/10659255.html