【机器学习】线性分类【下】经典线性分类算法

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于字数限制，分成两篇博客。
【机器学习】线性分类【上】广义线性模型
【机器学习】线性分类【下】经典线性分类算法

3. 线性分类

下面将简单介绍几个经典的线性分类模型，包括感知机、线性判别分析、逻辑回归（及softmax）、高斯判别分析和朴素贝叶斯分类器。

规定符号。

数据集 $D=\{(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)\}$，向量 $x_i\in {\mathbb{R}}^p$ 为样本，$y_i\in \mathbb{R}$ 为标签，$i=1,2,\dots ,n$；$W\in {\mathbb{R}}^p$ 为模型参数（权重）。

记
$$\begin{gathered} X={\left(\begin{array}{cccc}{x}_1& x_2& \dots & x_n\end{array}\right)}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_n^T\end{array}\right)={\left(\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1p}\\ x_{21}& x_{22}& \dots & x_{2p}\\ ⋮& ⋮& & ⋮\\ x_{n1}& x_{n2}& \dots & x_{np}\end{array}\right)}_{n\times p} \\ Y={\left(\begin{array}{cccc}{y}_1& y_2& \dots & y_n\end{array}\right)}_{n\times 1}^T \\ W={\left(\begin{array}{cccc}{w}_1& w_2& \dots & w_p\end{array}\right)}_{p\times 1}^T \end{gathered}$$

3.1. 回归与分类

本来是这篇文章应该是在探讨线性分类的相关知识，但是还是忍不住地补充了许多其他类似的知识。即使如此，在讨论广义线性回归时，我们也会不自觉地将回归应用于分类，这主要是因为分类问题更加直观，便于理解。当然，这与“线性回归”和“线性分类”本身就不分家脱不了干系。

人们根据输入输出变量的不同类型，对预测任务给予不同的名称：输入变量与输出变量均为连续变量的预测问题称为回归问题；输出变量为有限个离散变量的预测问题称为分类问题。

现在的机器学习或者深度学习在处理分类问题上，都倾向于先将数据连续化，再将数据离散化，从而实现分类的效果；其中的数据连续化处理就可以认为是线性回归，因此现在的分类问题已经离不开回归了。提几个简单的模型，聚类算法是一种分类算法，它的输入样本的特征完全可以是连续的，而且我们更希望特征是连续的，方便对特征进行度量，这种算法属于直接使用现有的连续数据，所以无需将数据连续化；又比如 softmax 就是用于将离散的独热编码（one-hot）转换成连续的概率表示的一种方法。

显然，线性回归和线性分类在具体的算法实现上已经没有很明显的界限了，但是它们追求的目标是明显不同的，也就是像定义所说，一个得到连续结果，一个得到离散结果。

这里我讨论了一下回归与分类，是希望大家对后面出现的一些名词不要过度纠结，比如逻辑回归居然是用于分类的等等。与其纠结算法是回归还是分类，不如花时间熟悉具体的算法。

3.2. 感知机

感知机（Perceptron）（感知机线性分析，PLA）是机器学习中最简单的一个分类模型，也是神经网络的基础。

3.2.1. 朴素感知机算法

如果样本是线性可分的，那么可以采用朴素感知机算法确定最佳分类超平面保证样本同类同侧异类异侧。模型的预测函数为
$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(W^{T}x)$$
其中，函数 $\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(\cdot )=\{\begin{array}{cc}1& \cdot \ge 0\\ -1& \cdot <0\end{array}$ 。如果 $W^{T}x\ge 0$ 则样本 $x$ 被分为正样本（标签为 $1$），否则分为负样本（标签为 $-1$）。训练朴素感知机模型的目标是找到一个法向量为 $W$ 超平面的超平面将两类样本完全分开。模型采用错误驱动的思想进行训练，将损失函数定义为被错误分类的样本个数
$$L(W)=\sum _{i=1}^{n}1\{y_i{W}^T{x}_i<0\}$$

当样本为正样本时，即 $y_i=1$ 时，对应的正确预测为 $W^T{x}_i\ge 0$；当样本为负样本时，即 $y_i=-1$ 时，对应的正确预测为 $W^T{x}_i<0$ 。综合表示为当分类正确时 $y_i{W}^T{x}_i\ge 0$，因此 $y_i{W}^T{x}_i<0$ 对应分类错误。

我们知道函数 $1\{\cdot \}$ 是不可导的，损失函数无法采用梯度下降等方式进行迭代更新。我们对损失函数进行等价变形
$$L(W)=\sum _{(x_i,y_i)\in M}-y_i{W}^T{x}_i\text{\hspace{1em}(8)}$$
其中，$M$ 为被错误分类的样本及其对应标签的集合。式 $(8)$ 的想法是，$y_i{W}^T{x}_i<0$ 的样本为错误分类样本，我们保证全部错误样本的 $y_i{W}^T{x}_i$ 尽可能大，也就保证了错误样本尽可能少；又因为我们一般希望极小化损失函数，所以添加负号。对于式 $(8)$ 我们可以采用 SGD 算法更新模型参数，对式 $(8)$ 计算偏导得
$${\nabla }_{W}L=-y_i{x}_i\text{\hspace{1em}(9)}$$
参数更新
$$W^{t+1}=W^t+y_i{x}_i\text{\hspace{1em}(10)}$$
朴素感知机算法完整流程描述为，随机初始化 $W^0$，只要找到一个错误分类的样本就可以根据式 $(9)$ 计算对应的梯度值并根据式$(10)$ 更新参数 $W$，不断迭代直至全部样本分类正确。

朴素感知机算法中，在判断迭代是否结束时需要遍历全部样本进行判断，但是其实只要遇到一个分类错误的样本就可以说明算法还需要继续迭代，且此时也找到了一个错误分类的样本可以用于新的迭代中继续更新模型参数。这就是朴素感知机算法相较于下面要讲到的口袋算法更高效的原因。

3.2.2. 口袋算法

朴素感知机算法并不是完美的，只有在数据线性可分的前提下才能使用，而这个前提条件往往无法事先知道；另外，即便数据线性可分，由于采用 SGD 算法更新模型参数可能出现越过最值点的情况，出现震荡现象，所以算法的收敛时间无法保证。口袋算法（pocket algorithm）就是用来解决这两个问题的。

针对无法线性分类的问题，口袋算法思想是选择一个错误分类样本最少的超平面。对于每次迭代，如果使用本次迭代得到的 $\hat{W}$ 对样本集进行分类的效果比之前迭代得到的最佳 $W$ 的分类效果更好，那么就用本次迭代得到的模型参数 $\hat{W}$ 作为在完成的迭代中最佳的模型参数，否则不会更新模型参数，如此重复下去直至达到规定迭代次数。其中分类效果好坏的判断依据是错分样本的个数。

口袋算法每次贪心地选择最佳的模型参数，如果新迭代到的模型参数更好就替换，如果不好就不换，不再是一味按照梯度减小的方向进行更新，从而解决了线性不可分的数据集无法采用 SGD 更新模型参数的问题。设置迭代次数保证了算法能够在规定时间结束。我们可以发现，其实口袋算法也可以用于处理线性可分的数据，只需要将算法结束条件修改为全部样本分类正确，就与朴素感知机算法很相似了。

口袋算法完整流程描述为，随机初始化 $W^0$，随机找到一个错分样本根据式 $(9)$ 计算对应的梯度值并根据式 $(10)$ 计算用该错分样本更新得到的模型参数，记为 $\hat{W}$。遍历全部样本，统计在模型参数为 $\hat{W}$ 时错分样本的个数，与已经统计完成的更新前的模型参数 $W$ 对应的错分样本个数作比较。如果 $\hat{W}$ 更好，则 $W\leftarrow \hat{W}$ 并保存 $\hat{W}$ 对应的错分样本个数；否则模型参数依然为 $W$，不做更新。直至满足结束条件。

与朴素感知机算法流程对比。虽然口袋算法同样采用对某个错分样本进行修正的方式更新参数，但更新不一定发生，只有更新后分类错误的点减少时，才会实际更新；而且终止条件也不必要求是所有样本均分类正确，可以选择设置最大迭代次数。

与朴素感知机算法效率对比。虽然随机找到一个错分样本计算梯度不需要遍历完整个数据集，但是每次迭代都要几乎完整遍历一遍数据集，因为需要统计本次迭代得到的模型参数对应的错分样本个数，因此这显然比朴素感知机算法效率要低。

严格来说，在引入偏置 $b$ 的前提下，$W$ 对应决策面的法向量，$b$ 对应决策面的位置，$W$ 和 $b$ 共同确定具体的决策面。在二维平面中，决策面为直线，那么 $W$ 对应的就是直线的法向量（类似斜率的作用），而 $b$ 确定了直线位置（类似截距的作用）。由于我们为了方便表示，忽略了偏置项，所以会显得些许不严谨。

3.3. 线性判别分析

线性判别分析（Linear Discriminant Analysis，LDA）的目标是确定一个超平面，使得高维坐标系中的点投影到该超平面上满足，同类点尽可能近，异类点尽可能远。对比图 $2$ 的两个投影方向，显然右图更符合 LDA “同类近异类远”的目标。

我个人习惯将“投影方向”认为是“投影面”的法向量。

图 2    选择不同的投影超平面对应的投影效果

同类点近是通过类内方差尽可能小体现，异类点远是通过类均值之差尽可能大体现，根据这两个条件我们将定性问题转化成为定量问题。

3.3.1. 定义目标函数

投影方向（投影面的法向量方向）为 $W$，不妨假设 $||W||=1$，那么样本投影到投影面为 $z_i=W^T{x}_i$，其实即使 $||W||\ne 1$ 也可以采用这种方式定义。

以二分类为例，可以计算出第一类 $C_1$ 的均值和类内方差为
$$\begin{gathered} {\bar{z}}_1=\frac{1}{n_1}\sum _{x_i\in C_1}{z}_i=\frac{1}{n_1}\sum _{x_i\in C_1}{W}^T{x}_i \\ {S}_1=\frac{1}{n_1}\sum _{x_i\in C_1}(z_i-{\bar{z}}_1)(z_i-{\bar{z}}_1{)}^T \end{gathered}$$
其中，${\bar{z}}_1$ 表示第一类样本投影后的均值，$S_1$ 表示第一类样本投影后的类内方差，$n_1$ 表示第一类样本的数量。

类似地，计算出第一类 $C_1$ 投影后的均值和类内方差为
$$\begin{gathered} {\bar{z}}_2=\frac{1}{n_2}\sum _{x_i\in C_2}{z}_i=\frac{1}{n_2}\sum _{x_i\in C_2}{W}^T{x}_i \\ {S}_2=\frac{1}{n_2}\sum _{x_i\in C_2}(z_i-{\bar{z}}_2)(z_i-{\bar{z}}_2{)}^T \end{gathered}$$
类间距离通过 $({\bar{z}}_1-{\bar{z}}_2{)}^2$ 来度量，类内散度通过 $S_1+S_2$ 来度量，所以可以定义损失函数
$$J(W)=\frac{({\bar{z}}_1-{\bar{z}}_2{)}^2}{S_1+S_2}$$
对损失函数的分子进行变形
$$\begin{array}{rl}({\bar{z}}_1-{\bar{z}}_2{)}^2& ={\left(\frac{1}{n_1}\sum _{x_i\in C_1}{W}^T{x}_i-\frac{1}{n_2}\sum _{x_i\in C_2}{W}^T{x}_i\right)}^2\\ & ={\left(W^T(\frac{1}{n_1}\sum _{x_i\in C_1}T{x}_i-\frac{1}{n_2}\sum _{x_i\in C_2}{x}_i)\right)}^2\\ & =(W^T({\bar{x}}_1-{\bar{x}}_2){)}^2\\ & =W^T({\bar{x}}_1-{\bar{x}}_2)({\bar{x}}_1-{\bar{x}}_2{)}^{T}W\end{array}$$
对分母变形
$$\begin{array}{rl}{S}_1+S_2& =\frac{1}{n_1}\sum _{x_i\in C_1}(z_i-{\bar{z}}_1)(z_i-{\bar{z}}_1{)}^T+\frac{1}{n_2}\sum _{x_i\in C_2}(z_i-{\bar{z}}_2)(z_i-{\bar{z}}_2{)}^T\\ & =\frac{1}{n_1}\sum _{x_i\in C_1}(W^T{x}_i-\frac{1}{n_1}\sum _{x_j\in C_1}{W}^T{x}_j)(W^T{x}_i-\frac{1}{n_1}\sum _{x_j\in C_1}{W}^T{x}_j{)}^T+\frac{1}{n_2}\sum _{x_i\in C_2}(W^T{x}_i-\frac{1}{n_2}\sum _{x_j\in C_2}{W}^T{x}_j\left)\right(W^T{x}_i-\frac{1}{n_2}\sum _{x_j\in C_2}{W}^T{x}_j{)}^T\\ & =W^T\frac{1}{n_1}\sum _{x_i\in C_1}((x_i-{\bar{x}}_1)(x_i-{\bar{x}}_1{)}^T)W+W^T\frac{1}{n_2}\sum _{x_i\in C_2}((x_i-{\bar{x}}_2)(x_i-{\bar{x}}_2{)}^T)W\\ & =W^T{S}_{a}W+W^T{S}_{b}W\\ & =W^T(S_{C_1}+S_{C_2})W\end{array}$$
其中，$S_a$ 和 $S_b$ 分别表示投影前两类样本的方差。因此，损失函数进一步表示为
$$J(W)=\frac{W^T({\bar{x}}_1-{\bar{x}}_2)({\bar{x}}_1-{\bar{x}}_2{)}^{T}W}{W^T(S_a+S_b)W}$$

3.3.2. 求解模型参数

记投影前的类间方差 $S_b=({\bar{x}}_1-{\bar{x}}_2)({\bar{x}}_1-{\bar{x}}_2{)}^T$ ，投影前的类内方差 $S_w=S_{C_1}+S_{C_2}$，损失函数可以被进一步表示为
$$J(W)=\frac{W^T{S}_{b}W}{W^T{S}_{w}W}=(W^T{S}_{b}W)(W^T{S}_{w}W{)}^{-1}$$
计算梯度
$${\nabla }_{W}J=2S_{b}W\cdot (W^T{S}_{w}W{)}^{-1}+(W^T{S}_{b}W)\cdot (-1)(W^T{S}_{w}W{)}^{-2}\cdot 2S_{w}W$$
令梯度为零
$$\begin{array}{rl}{S}_{b}W-(W^T{S}_{b}W)\cdot (W^T{S}_{w}W{)}^{-1}\cdot S_{w}W& =0\\ S_{b}W& =\frac{W^T{S}_{b}W}{W^T{S}_{w}W}{S}_{w}W\\ W& =\frac{W^T{S}_{b}W}{W^T{S}_{w}W}{S}_w^{-1}{S}_{b}W\end{array}$$
即
$$\hat{W}=\frac{W^T{S}_{b}W}{W^T{S}_{w}W}{S}_w^{-1}{S}_{b}W\text{\hspace{1em}(11)}$$

根据矩阵维度可以看出 $\frac{W^T{S}_{b}W}{W^T{S}_{w}W}$ 为常数；$S_b=({\bar{x}}_1-{\bar{x}}_2)({\bar{x}}_1-{\bar{x}}_2{)}^T$，所以式 $(11)$ 中后半部分的 $S_{b}W=({\bar{x}}_1-{\bar{x}}_2)({\bar{x}}_1-{\bar{x}}_2{)}^{T}W$，其中 $({\bar{x}}_1-{\bar{x}}_2{)}^{T}W$ 为常数。因此 $W=k{S}_w^{-1}({\bar{x}}_1-{\bar{x}}_2)$ ，即 $W\propto S_w^{-1}({\bar{x}}_1-{\bar{x}}_2)$ 。之所以可以忽略系数，是因为我们只是希望找到一个合适的投影方向，即投影面法向量，而法向量的长度不影响向量的方向，因此无需关心系数。

3.4. 逻辑回归

我们在上面从概率分布的角度讲解了如何获取预测函数，但是没提到如何训练模型，也就是只说了模型如何用，没说如何训练。下面就模型训练进行讲解。

交叉熵（cross-entropy）主要用于度量两个概率分布间的差异性信息。假设 $p$ 和 $q$ 为两个分布，交叉熵 $H(p,q)$ 定义为
$$H(p,q)=-\sum _{x}p(x)\log q(x)$$
机器学习中，我们通常将分布理解为向量，所以交叉熵 $H(p,q)$ 也可以表示为
$$H(p,q)=-\sum _i{p}_i\log q_i\text{\hspace{1em}(12)}$$

3.4.1. logistics

我们知道 logistics 对应的概率质量分布为 $P(y\mid x)=p^y(1-p{)}^{1-y}$ 。如果采用最大似然估计（MLE）构造损失函数以求解最优参数，则有
$$\begin{array}{rl}\hat{W}& =\mathrm{a}\mathrm{r}\mathrm{g}\underset{W}{\max }\log (P(Y\mid X))\\ & =\mathrm{a}\mathrm{r}\mathrm{g}\underset{W}{\max }\log (\prod _{i=1}^{n}P(y_i\mid x_i))\\ & =\mathrm{a}\mathrm{r}\mathrm{g}\underset{W}{\max }\sum _{i=1}^n\log P(y_i\mid x_i)\\ & =\mathrm{a}\mathrm{r}\mathrm{g}\underset{W}{\max }\sum _{i=1}^n\log p_i^{y_i}(1-p_i{)}^{1-y_i}\\ & =\mathrm{a}\mathrm{r}\mathrm{g}\underset{W}{\max }\sum _{i=1}^n(y_i\log p_i+(1-y_i)\log (1-p_i))\end{array}$$
令 $L(W)={\sum }_{i=1}^n(y_i\log p_i+(1-y_i)\log (1-p_i))$，其中 $p$ 为预测函数 $\sigma (W^{T}x)$，我们知道 sigmoid 函数的导数为 ${\sigma }^{\prime }=\sigma (1-\sigma )$，所以 $L$ 的梯度为
$$\begin{array}{rl}{\nabla }_{W}L& =\sum _{i=1}^n(y_i\frac{1}{p_i}{p}_i(1-p_i)x_i+(1-y_i)\frac{1}{1-p_i}(-1)p_i(1-p_i)x_i)\\ & =\sum _{i=1}^n(y_i-p_i)x_i\end{array}$$
可以采用 SGD 等算法迭代更新模型参数。

其实损失函数 $L$ 也可以理解为交叉熵的形式。令 $a_i={\left(\begin{array}{cc}{y}_i& 1-y_i\end{array}\right)}^T$，$b_i={\left(\begin{array}{cc}{p}_i& 1-p_i\end{array}\right)}^T$，单样本的交叉熵对应式 $(12)$ 为
$$\begin{array}{rl}H(a_i,b_i)& =-\sum _{j=1}^2{a}_{ij}\log b_{ij}\\ & =-a_i^T\cdot b_i\\ & =-(y_i\log p_i+(1-y_i)\log (1-p_i))\end{array}$$
考虑将全部样本的交叉熵之和作为损失函数，则
$$J(W)=-\sum _{i=1}^n(y_i\log p_i+(1-y_i)\log (1-p_i))$$
显然，交叉熵对应的最小化 $J(W)$ 与 MLE 对应的最大化 $L(W)$ 是等价的。

3.4.2. softmax

多分类的情况实际上就是对二分类的扩展，同样考虑交叉熵的形式。

令 $a_i={\left(\begin{array}{cccc}{y}_{i1}& y_{i2}& \dots & y_{im}\end{array}\right)}^T$，$b_i=\frac{1}{{\sum }_{j=1}^m\exp (p_{ij})}(\begin{array}{cccc}\exp (p_{i1})& \exp (p_{i2})& \dots & \exp (p_{im})\end{array}{)}^T$ ，其中 $m$ 为类别数目，$a_i$ 为以 one-hot 形式表示样本 $i$ 的标签 $y_i$。单样本的交叉熵对应式 $(12)$ 为
$$\begin{array}{rl}H(a_i,b_i)& =-\sum _{j=1}^m{a}_{ij}\log b_{ij}\end{array}$$
考虑将全部样本的交叉熵之和作为损失函数，则
$$J(W)=-\sum _{i=1}^n\sum _{j=1}^m{a}_{ij}\log b_{ij}$$
其中 $a_i$ 为 one-hot 数据，$||b_i||=1$，所以进一步简化表示为
$$J(W)=-\sum _{i=1}^n\log \frac{\exp (p_{ik})}{{\sum }_{j=1}^m\exp (p_{ij})}$$
其中 $k$ 表示样本 $i$ 对应标签 $y_i$，亦满足 $y_{ik}=1$。

我们可以稍微总结一下交叉熵损失函数与 sigmoid（或 softmax）的关系。交叉熵损失函数是指将全部样本的交叉熵之和作为损失函数，用于计算交叉熵的两个向量 $p$ 和 $q$ 分别是样本标签的独热编码和一组通过 sigmoid 函数（或 softmax 函数）计算得到的该样本在每种类别的概率值。可见，将 sigmoid 函数（或 softmax 函数）作为内函数，交叉熵函数作为外函数复合起来，得到单个样本的交叉熵损失，再复合上加和函数，得到最终的模型损失函数。

3.5. 高斯判别分析

高斯判别分析（Gaussian Discriminative Analysis，GDA）的思想是对联合概率 $P(x,y)$ 进行建模，通过最大化对数似然估计计算出模型参数，属于生成模型。

以二分类为例理解高斯判别分析模型。假设
$$\begin{array}{rl}y& \sim Bernoulli(\varphi )\\ x\mid y=0& \sim N({\mu }_0,\Sigma )\\ x\mid y=1& \sim N({\mu }_1,\Sigma )\end{array}$$
其中，$\mu$ 为均值向量，$\Sigma$ 为协方差对角矩阵。对应的概率分布为
$$\begin{array}{rl}P(y)& ={\varphi }^y(1-\varphi {)}^{1-y}\\ P(x\mid y=0)& =\frac{1}{(2\pi {)}^{\frac{d}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left(-\frac{1}{2}(x-{\mu }_0{)}^T{\Sigma }^{-1}(x-{\mu }_0)\right)\\ P(x\mid y=1)& =\frac{1}{(2\pi {)}^{\frac{d}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left(-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)\right)\end{array}$$
将对数似然函数作为损失函数
$$\begin{array}{rl}LL(\varphi ,{\mu }_0,{\mu }_1,\Sigma )& =\log \prod _{i=1}^{n}P(x_i,y_i;\varphi ,{\mu }_0,{\mu }_1,\Sigma )\\ & =\log \prod _{i=1}^{n}P(x_i\mid y_i;{\mu }_0,{\mu }_1,\Sigma )P(y_i;\varphi )\\ & =\sum _{i=1}^n(\log P(x_i\mid y_i;{\mu }_0,{\mu }_1,\Sigma )+\log P(y_i;\varphi ))\\ & =\sum _{i=1}^n(\log P(x_i\mid y_i=0;{\mu }_0,\Sigma {)}^{1-y_i}P(x_i\mid y_i=1;{\mu }_1,\Sigma {)}^{y_i}+\log P(y_i;\varphi ))\\ & =\sum _{i=1}^n((1-y_i)\log P(x_i\mid y_i=0;{\mu }_0,\Sigma )+y_i\log P(x_i\mid y_i=1;{\mu }_1,\Sigma )+\log P(y_i;\varphi ))\\ & =\sum _{i=1}^n((1-y_i)(-\frac{d}{2}\log 2\pi -\frac{1}{2}\log |\Sigma |-\frac{1}{2}(x_i-{\mu }_0{)}^T{\Sigma }^{-1}(x_i-{\mu }_0))+y_i(-\frac{d}{2}\log 2\pi -\frac{1}{2}\log |\Sigma |-\frac{1}{2}(x_i-{\mu }_1{)}^T\Sigma (x_i-{\mu }_1))+\log {\varphi }^{y_i}(1-\varphi {)}^{1-y_i})\end{array}$$
对模型参数 $\varphi$，${\mu }_0$，${\mu }_1$ 和 $\Sigma$ 分别计算偏导，并令偏导数等于零，得
$$\begin{gathered} \varphi =\frac{1}{n}\sum _{i=1}^{n}1\{y_i=1\} \\ {\mu }_0=\frac{1}{n}\sum _{i=1}^{n}1\{y_i=0\}{x}_i \\ {\mu }_1=\frac{1}{n}\sum _{i=1}^{n}1\{y_i=1\}{x}_i \\ \Sigma =\frac{1}{n}\sum _{i=1}^n(y_i(x_i-{\mu }_1)(x_i-{\mu }_1{)}^T+(1-y_i)(x_i-{\mu }_0)(x_i-{\mu }_0{)}^T) \end{gathered}$$

具体的数学推导和公式讲解见本小节后半部分。

对于二分类而言，GDA 训练两个多元高斯分布。想要对输入样本进行分类，只需要把样本输入到参数已知的两个高斯分布中，取输出概率大者对应的类别作为样本类别便实现了预测；另外这类基于概率的模型一般都具有生成数据的功能，按照选择某一个类别对应的多元高斯分布，用该分布对每个特征逐一随机采样构造一个属于该类别的生成样本。

可以借助图 $3$ 辅助理解。既可以理解为，根据已知样本和对应类别计算两个高斯分布的参数；也可以理解为，利用两个已知参数的分布，选取其中一个分布，按照概率随机采样，来实现生成样本。

图 3    二分类高斯判别分析模型

损失函数关于模型参数更新公式完整推导。

多元高斯模型假设每个特征相互独立，且服从正态分布。多元高斯分布函数中的参数 $\Sigma$ 为 $d\times d$ 维协方差矩阵，由于不同特征独立，所以 $\Sigma$ 为对角矩阵，$|\Sigma |$ 表示协方差矩阵的行列式 $|\Sigma |={\sigma }_1{\sigma }_2\dots {\sigma }_d$，其中 ${\sigma }_i$ 表示全部样本第 $i$ 维特征的方差。

另外，我们还需要了解几个会用到的求导公式
$$\begin{gathered} \mathrm{t}\mathrm{r}ABC=\mathrm{t}\mathrm{r}CAB=BCA \\ \frac{\partial \mathrm{t}\mathrm{r}AX}{\partial X}=\frac{\partial XA}{\partial X}=A^T \\ \frac{\partial u^{T}v}{\partial x}=\frac{\partial u}{\partial x}v+\frac{\partial v}{\partial x}u \\ \frac{\partial \log |X|}{\partial X}=(X^{-1}{)}^T \\ \frac{\partial \mathrm{t}\mathrm{r}{X}^{-1}A}{\partial X}=-(X^{-1}{)}^T{A}^T(X^{-1}{)}^T \end{gathered}$$
对 $\varphi$ 计算偏导
$$\begin{array}{rl}{\nabla }_{\varphi }LL& =\frac{\partial {\sum }_{i=1}^n\log ({\varphi }^{y_i}(1-\varphi {)}^{1-y_i})}{\partial \varphi }\\ & =\frac{\partial {\sum }_{i=1}^n(y_i\log \varphi +(1-y_i)\log (1-\varphi ))}{\partial \varphi }\\ & =\sum _{i=1}^n(\frac{y_i}{\varphi }-\frac{1-y_i}{1-\varphi })\\ & =\sum _{i=1}^n\frac{y_i-\varphi }{\varphi (1-\varphi )}\end{array}$$

令偏导等于零，得
$$\begin{array}{rl}{\nabla }_{\varphi }LL& =0\\ \sum _{i=1}^n\frac{y_i-\varphi }{\varphi (1-\varphi )}& =0\\ \sum _{i=1}^n(y_i-\varphi )& =0\\ \sum _{i=1}^n{y}_i& =m\varphi \\ \varphi & =\frac{1}{n}\sum _{i=1}^{n}1\{y_i=1\}\end{array}$$
对 ${\mu }_0$ 计算偏导
$$\begin{array}{rl}{\nabla }_{{\mu }_0}LL& =\frac{\partial {\sum }_{i=1}^n(1-y_i)(-\frac{1}{2}(x_i-{\mu }_0{)}^T{\Sigma }^{-1}(x_i-{\mu }_0))}{\partial {\mu }_0}\\ & =-\frac{1}{2}\sum _{i=1}^n(1-y_i)(\frac{\partial (x_i-{\mu }_0)}{\partial {\mu }_0}{\Sigma }^{-1}(x_i-{\mu }_0)+\frac{\partial {\Sigma }^{-1}(x_i-{\mu }_0)}{\partial {\mu }_0}(x_i-{\mu }_0))\\ & =-\frac{1}{2}\sum _{i=1}^n(1-y_i)(-{\Sigma }^{-1}(x_i-{\mu }_0)-({\Sigma }^{-1}{)}^T(x_i-{\mu }_0))\\ & =-\frac{1}{2}\sum _{i=1}^n(1-y_i)(-2{\Sigma }^{-1}(x_i-{\mu }_0))\\ & =\sum _{i=1}^n(1-y_i){\Sigma }^{-1}(x_i-{\mu }_0)\end{array}$$
令偏导等于零，得
$$\begin{array}{rl}{\nabla }_{{\mu }_0}LL& =0\\ \sum _{i=1}^n(1-y_i){\Sigma }^{-1}(x_i-{\mu }_0)& =0\\ \sum _{i=1}^n(1-y_i)\Sigma {\Sigma }^{-1}(x_i-{\mu }_0)& =0\\ \sum _{i=1}^n(1-y_i)(x_i-{\mu }_0)& =0\\ {\mu }_0& =\frac{1}{n}\sum _{i=1}^{n}1\{y_i=0\}{x}_i\end{array}$$
同理可以计算出 $LL$ 关于 ${\mu }_1$ 偏导等于零的解析解
$${\mu }_1=\frac{1}{n}\sum _{i=1}^{n}1\{y_i=1\}{x}_i$$
对 $\Sigma$ 计算偏导
$$\begin{array}{rl}{\nabla }_{\Sigma }LL& =\frac{\partial {\sum }_{i=1}^n{y}_i(-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1))}{\partial \Sigma }+\frac{\partial {\sum }_{i=1}^n(1-y_i)(-\frac{1}{2}(x_i-{\mu }_0{)}^T{\Sigma }^{-1}(x_i-{\mu }_0))}{\partial \Sigma }+\frac{\partial {\sum }_{i=1}^n-\frac{1}{2}\log |\Sigma |}{\partial \Sigma }\\ & =\sum _{i=1}^n{y}_i\frac{\partial \mathrm{t}\mathrm{r}(-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1))}{\partial \Sigma }+\sum _{i=1}^n(1-y_i)\frac{\partial \mathrm{t}\mathrm{r}(-\frac{1}{2}(x_i-{\mu }_0{)}^T{\Sigma }^{-1}(x_i-{\mu }_0))}{\partial \Sigma }+\sum _{i=1}^n\frac{\partial (-\frac{1}{2}\log |\Sigma |)}{\partial \Sigma }\\ & =-\frac{1}{2}\sum _{i=1}^n{y}_i\frac{\partial \mathrm{t}\mathrm{r}({\Sigma }^{-1}(x_i-{\mu }_1)(x_i-{\mu }_1{)}^T)}{\partial \Sigma }-\genfrac{}{}{0ex}{}{}{2}\\ & \\ & \\ & \end{array}$$