机器学习笔记之线性分类——高斯判别分析(二)最优参数求解

引言

上一节介绍了高斯判别分析(Gaussain Discriminant Analysis)的策略构建思路，本节将基于该策略，对概率分布最优参数进行求解。

回顾：高斯判别分析的策略构建思路

高斯判别分析是典型的概率生成模型，其核心操作是将求解最优后验概率通过贝叶斯定理转化为先验概率分布与似然的乘积形式：
$$\begin{array}{rl}\widehat{{\mathcal{Y}}_{pred}}& =\underset{{\mathcal{Y}}_{pred}\in \{0,1\}}{\mathrm{argmax}}P({\mathcal{Y}}_{pred}=i\mid \mathcal{X})\\ & \propto \underset{\mathcal{Y}\in \{0,1\}}{\mathrm{argmax}}P(\mathcal{X}\mid \mathcal{Y})P(\mathcal{Y})\end{array}$$
基于二分类假设，令$\mathcal{Y}$服从 伯努利分布，则先验分布$P(\mathcal{Y})$的概率密度函数表示如下：
$$P(\mathcal{Y})={\varphi }^{\mathcal{Y}}(1-\varphi {)}^{1-\mathcal{Y}}$$
其中$\varphi$表示$\mathcal{Y}$选择标签$1$时的概率结果；在给定先验分布$P(\mathcal{Y})$条件下，令各类标签对应的似然$P(\mathcal{X}\mid \mathcal{Y}=1),P(\mathcal{X}\mid \mathcal{Y}=0)$均服从高斯分布：
$$\{\begin{array}{l}\mathcal{X}\mid \mathcal{Y}=1\sim \mathcal{N}({\mu }_1,\Sigma )\\ \mathcal{X}\mid \mathcal{Y}=0\sim \mathcal{N}({\mu }_2,\Sigma )\end{array}$$
将上述逻辑合并，使用同一公式进行表示：
$$P(\mathcal{X}\mid \mathcal{Y})=\mathcal{N}({\mu }_1,\Sigma {)}^{\mathcal{Y}}\mathcal{N}({\mu }_2,\Sigma {)}^{1-\mathcal{Y}}$$

至此，先验概率$P(\mathcal{Y})$，似然$P(\mathcal{X}\mid \mathcal{Y})$均设定完毕，并包含四个 概率分布参数：
$$\theta =\{{\mu }_1,{\mu }_2,\Sigma ,\varphi \}$$
设似然函数为$\mathcal{L}(\theta )$，似然函数表示如下：
注意：该函数本身时’联合概率分布‘，而不是纯粹的似然;
$$\begin{array}{rl}\mathcal{L}(\theta )& =\log \prod _{i=1}^{N}P(x^{(i)},y^{(i)})\\ & =\log \prod _{i=1}^{N}P(x^{(i)}\mid y^{(i)})P(y^{(i)})\\ & =\sum _{i=1}^N\log P(x^{(i)}\mid y^{(i)})+\log P(y^{(i)})\end{array}$$
将上述分布带入$\mathcal{L}(\theta )$：
$$\begin{array}{rl}\mathcal{L}(\theta )& =\sum _{i=1}^N\left\{\log \left[\mathcal{N}({\mu }_1,\Sigma {)}^{y^{(i)}}\mathcal{N}({\mu }_2,\Sigma {)}^{1-y^{(i)}}\right]+\log \left[{\varphi }^{y^{(i)}}(1-\varphi {)}^{1-y^{(i)}}\right]\right\}\\ & =\sum _{i=1}^N\left\{\log \left[\mathcal{N}({\mu }_1,\Sigma {)}^{y^{(i)}}\right]+\log \left[\mathcal{N}({\mu }_2,\Sigma {)}^{1-y^{(i)}}\right]+\log \left[{\varphi }^{y^{(i)}}(1-\varphi {)}^{1-y^{(i)}}\right]\right\}\end{array}$$
最终，使用极大似然估计求解似然函数中的模型参数$\theta$：
$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}\mathcal{L}(\theta )$$

求解过程

将$\mathcal{L}(\theta )$完全展开，表示如下：
$$\mathcal{L}(\theta )=\sum _{i=1}^N\log \left[\mathcal{N}({\mu }_1,\Sigma {)}^{y^{(i)}}\right]+\sum _{i=1}^N\log \left[\mathcal{N}({\mu }_2,\Sigma {)}^{1-y^{(i)}}\right]+\sum _{i=1}^N\log \left[{\varphi }^{y^{(i)}}(1-\varphi {)}^{1-y^{(i)}}\right]$$

求解最优先验概率分布参数$\varphi$

$\mathcal{L}(\theta )$展开结果共包含3项，其中只有最后一项包含参数$\varphi$，因此则有：
$$\begin{array}{rl}\hat{\varphi }& =\underset{\varphi }{\mathrm{argmax}}\mathcal{L}(\theta )\\ & =\underset{\varphi }{\mathrm{argmax}}\sum _{i=1}^N\log \left[{\varphi }^{y^{(i)}}(1-\varphi {)}^{1-y^{(i)}}\right]\end{array}$$
将该式展开：
$$\begin{array}{rl}\hat{\varphi }& =\underset{\varphi }{\mathrm{argmax}}\sum _{i=1}^N\left[\log {\varphi }^{y^{(i)}}+\log (1-\varphi {)}^{1-y^{(i)}}\right]\\ & =\underset{\varphi }{\mathrm{argmax}}\sum _{i=1}^N\left[y^{(i)}\log \varphi +(1-y^{(i)})\log (1-\varphi )\right]\end{array}$$
由于只有$\varphi$一个参数，因此令$\mathcal{L}(\varphi )={\sum }_{i=1}^N\left[y^{(i)}\log \varphi +(1-y^{(i)})\log (1-\varphi )\right]$，并对$\varphi$求导：
由于分母不含$i$,因此将连加号提到分母上。
$$\begin{array}{rl}\frac{\partial \mathcal{L}(\varphi )}{\partial \varphi }& =\sum _{i=1}^N\frac{y^{(i)}(1-\varphi )-\varphi (1-y^{(i)})}{\varphi (1-\varphi )}\\ & =\frac{{\sum }_{i=1}^N{y}^{(i)}(1-\varphi )-\varphi (1-y^{(i)})}{\varphi (1-\varphi )}\end{array}$$
令$\frac{\partial \mathcal{L}(\varphi )}{\partial \varphi }\triangleq 0$，则有分子为0：
$$\begin{gathered} \sum _{i=1}^N\left[y^{(i)}(1-\varphi )-\varphi (1-y^{(i)})\right]=0 \\ \hat{\varphi }=\frac{1}{N}\sum _{i=1}^N{y}^{(i)} \end{gathered}$$
由于$y^{(i)}\in \{0,1\}$，因此$\hat{\varphi }$可以理解为 标签为1的样本数量占整个样本数量的比率。令$N_1={\sum }_{i=1}^N{y}^{(i)}$，则有：
$$\hat{\varphi }=\frac{N_1}{N}$$

求解最优似然分布的期望参数$\mu$

最优解$\widehat{{\mu }_1}$的求解过程

由于不同似然对应的概率分布期望参数$\mu$不同，因此这里以${\mu }_1$为例，求解 最优参数${\hat{\mu }}_1$。
$\mathcal{L}(\theta )$展开的三项结果中，只有第一项包含${\mu }_1$，因此则有：
$$\begin{array}{rl}\widehat{{\mu }_1}& =\underset{{\mu }_1}{\mathrm{argmax}}\mathcal{L}(\theta )\\ & =\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N\log \left[\mathcal{N}({\mu }_1,\Sigma {)}^{y^{(i)}}\right]\\ & =\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N{y}^{(i)}\log \left[\mathcal{N}({\mu }_1,\Sigma )\right]\end{array}$$
由于$\mathcal{N}({\mu }_1,\Sigma )$是一个$p$维高斯分布，因此$\mathcal{N}({\mu }_1,\Sigma )$的概率密度函数表示如下：
$$\mathcal{N}({\mu }_1,\Sigma )=\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1)}$$
其中$|\Sigma |$表示协方差矩阵$\Sigma$的行列式。将概率密度函数带入上式，得到如下结果：
$$\begin{array}{rl}\widehat{{\mu }_1}& =\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N{y}^{(i)}\log \left[\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1)}\right]\\ & =\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N\left\{y^{(i)}\log \left[\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\right]+y^{(i)}\log \left[e^{-\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1)}\right]\right\}\\ & =\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N\left\{y^{(i)}\log \left[\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\right]+y^{(i)}\left[-\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1)\right]\right\}\end{array}$$
由于这里求解的是$\widehat{{\mu }_1}$，因此 $y^{(i)}\log \left[\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\right]$可视为常数。令$\mathcal{L}({\mu }_1)={\sum }_{i=1}^N{y}^{(i)}\left[-\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1)\right]$，对$\mathcal{L}({\mu }_1)$展开结果如下：
$$\begin{array}{rl}\mathcal{L}({\mu }_1)& =-\frac{1}{2}\sum _{i=1}^N({x^{(i)}}^T{\Sigma }^{-1}-{\mu }_1^T{\Sigma }^{-1})(x^{(i)}-{\mu }_1)\\ & =-\frac{1}{2}\sum _{i=1}^N{y}^{(i)}({x^{(i)}}^T{\Sigma }^{-1}{x}^{(i)}-{\mu }_1^T{\Sigma }^{-1}{x}^{(i)}-x^{(i)}{\Sigma }^{-1}{\mu }_1^T+{\mu }_1^T{\Sigma }^{-1}{\mu }_1)\end{array}$$
观察${\mu }_1^T{\Sigma }^{-1}{x}^{(i)}$和$x^{(i)}{\Sigma }^{-1}{\mu }_1^T$这两项，其中$x^{(i)}$和${\mu }_1$均是$p$维列向量，而${\Sigma }^{-1}$是$p\times p$的方阵，所以${\mu }_1^T{\Sigma }^{-1}{x}^{(i)}$和$x^{(i)}{\Sigma }^{-1}{\mu }_1^T$结果均是标量，且：
将两式展开后均是一个线性计算，根据乘法交换律，自然是相等的。
$${\mu }_1^T{\Sigma }^{-1}{x}^{(i)}=x^{(i)}{\Sigma }^{-1}{\mu }_1^T\in \mathbb{R}$$
因此，将上述结果进行合并：
$$\mathcal{L}({\mu }_1)=-\frac{1}{2}\sum _{i=1}^N{y}^{(i)}({x^{(i)}}^T{\Sigma }^{-1}{x}^{(i)}-2{\mu }_1^T{\Sigma }^{-1}{x}^{(i)}+{\mu }_1^T{\Sigma }^{-1}{\mu }_1)$$
对${\mu }_1$求导：
需要学习‘矩阵论’的矩阵求导~
$$\begin{gathered} \frac{\partial ({\mu }_1^T{\Sigma }^{-1}{\mu }_1)}{\partial {\mu }_1}=2{\Sigma }^{-1}{\mu }_1 \\ \begin{array}{rl}\frac{\partial \mathcal{L}({\mu }_1)}{\partial {\mu }_1}& =\frac{1}{2}\sum _{i=1}^N{y}^{(i)}(-2{\Sigma }^{-1}{x}^{(i)}+2{\Sigma }^{-1}{\mu }_1)\\ & =\sum _{i=1}^N{y}^{(i)}(-{\Sigma }^{-1}{x}^{(i)}+{\Sigma }^{-1}{\mu }_1)\\ & =\sum _{i=1}^N{y}^{(i)}{\Sigma }^{-1}(-x^{(i)}+{\mu }_1)\end{array} \end{gathered}$$
令$\frac{\partial \mathcal{L}({\mu }_1)}{\partial {\mu }_1}\triangleq 0$，则有：
$$\begin{array}{r}{\Sigma }^{-1}\left[\sum _{i=1}^N{y}^{(i)}(-x^{(i)}+{\mu }_1)\right]=0\\ \sum _{i=1}^N{y}^{(i)}{\mu }_1=\sum _{i=1}^N{y}^{(i)}{x}^{(i)}\\ \widehat{{\mu }_1}=\frac{{\sum }_{i=1}^N{y}^{(i)}{x}^{(i)}}{{\sum }_{i=1}^N{y}^{(i)}}\end{array}$$

最优解$\widehat{{\mu }_2}$的求解过程

同理，${\mu }_2$的求解过程和${\mu }_1$的唯一区别是指数部分为$1-y^{(i)}$：
$$\widehat{{\mu }_2}=\underset{{\mu }_2}{\mathrm{argmax}}\sum _{i=1}^N\left\{(1-y^{(i)})\log \left[\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\right]+(1-y^{(i)})\left[-\frac{1}{2}(x^{(i)}-{\mu }_2{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_2)\right]\right\}$$
中间部分和${\mu }_1$相同，省略；
关于${\mu }_2$的最优解$\widehat{{\mu }_2}$表示如下：
和${\mu }_1$求解过程相比，只是将$y^{(i)}$替换为$1-y^{(i)}$
$$\widehat{{\mu }_2}=\frac{{\sum }_{i=1}^N(1-y^{(i)})x^{(i)}}{{\sum }_{i=1}^N(1-y^{(i)})}$$

求解最优似然分布的方差参数$\Sigma$

场景描述

在求解$\hat{\Sigma }$过程中，需要对样本集合进行划分：
$$\begin{gathered} {\mathcal{X}}_1=\{x^{(i)}\mid y^{(i)}=1{\}}_{i=1,2,\cdots ,N} \\ {\mathcal{X}}_2=\{x^{(i)}\mid y^{(i)}=0{\}}_{i=1,2,\cdots ,N} \end{gathered}$$
记样本集合${\mathcal{X}}_1$的数量为$N_1$，样本集合${\mathcal{X}}_2$的数量为$N_2$，那么样本集合包含如下性质：
$$\begin{gathered} N_1+N_2=N \\ {\mathcal{X}}_1\cup {\mathcal{X}}_2=\mathcal{X} \end{gathered}$$
样本均值${\mu }_{\mathcal{X}}$，各样本集合均值${\mu }_{{\mathcal{X}}_i}$、方差${\mathcal{S}}_{{\mathcal{X}}_i}$表示如下：
$$\begin{array}{rl}{\mu }_{\mathcal{X}}& =\frac{1}{N}\sum _{i=1}^N{x}^{(i)}\\ {\mu }_{{\mathcal{X}}_i}& =\frac{1}{N_i}\sum _{x^{(j)}\in {\mathcal{X}}_i}{x}^{(j)}(i=1,2)\\ {\mathcal{S}}_{{\mathcal{X}}_i}& =\frac{1}{N_i}\sum _{x^{(j)}\in {\mathcal{X}}_i}(x^{(j)}-{\mu }_{{\mathcal{X}}_i})(x^{(j)}-{\mu }_{{\mathcal{X}}_i}{)}^T(i=1,2)\end{array}$$
基于上述场景，期望最优解$\widehat{{\mu }_1},\widehat{{\mu }_2}$可以进一步化简：
$$\begin{array}{rl}\widehat{{\mu }_1}& =\frac{{\sum }_{i=1}^N{y}^{(i)}{x}^{(i)}}{{\sum }_{i=1}^N{y}^{(i)}}=\frac{{\sum }_{x^{(j)}\in {\mathcal{X}}_1}{x}^{(j)}}{N_1}=\frac{N_1}{N_1}{\mu }_{{\mathcal{X}}_1}={\mu }_{{\mathcal{X}}_1}\\ \widehat{{\mu }_2}& =\frac{{\sum }_{i=1}^N(1-y^{(i)})x^{(i)}}{{\sum }_{i=1}^N(1-y^{(i)})}=\frac{N\cdot {\mu }_{\mathcal{X}}-N_1\cdot {\mu }_{{\mathcal{X}}_1}}{N-N_1}=\frac{N\cdot {\mu }_{\mathcal{X}}-N_1\cdot {\mu }_{{\mathcal{X}}_1}}{N_2}\end{array}$$

求解过程

继续观察$\mathcal{L}(\theta )$的展开式，只有第一项与第二项包含$\Sigma$。定义$\mathcal{L}(\Sigma )$：
$$\mathcal{L}(\Sigma )=\sum _{i=1}^N\log \left[\mathcal{N}({\mu }_1,\Sigma {)}^{y^{(i)}}\right]+\sum _{i=1}^N\log \left[\mathcal{N}({\mu }_2,\Sigma {)}^{1-y^{(i)}}\right]$$
观察其中任意一项，如：${\sum }_{i=1}^N\log \left[\mathcal{N}({\mu }_1,\Sigma {)}^{y^{(i)}}\right]$，如果$y^{(i)}=0$，意味着$\log \left[\mathcal{N}({\mu }_1,\Sigma {)}^{y^{(i)}}\right]=0$。可以看出，上述两项中均包含很多零项。结合场景描述，可以将上述公式化简为如下形式：
将所有的‘零项’全部剔除了。
$$\mathcal{L}(\Sigma )=\sum _{x^{(j)}\in {\mathcal{X}}_1}\log \mathcal{N}({\mu }_1,\Sigma )+\sum _{x^{(j)}\in {\mathcal{X}}_2}\log \mathcal{N}({\mu }_2,\Sigma )$$
观察其中任意一项：以${\sum }_{x^{(j)}\in {\mathcal{X}}_1}\log \mathcal{N}({\mu }_1,\Sigma )$为例，将概率密度函数带入，将其展开：
$$\begin{array}{rl}\sum _{x^{(j)}\in {\mathcal{X}}_1}\log \mathcal{N}({\mu }_1,\Sigma )& =\sum _{x^{(j)}\in {\mathcal{X}}_1}\log \left\{\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x^{(j)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(j)}-{\mu }_1)}\right\}\\ & =\sum _{x^{(j)}\in {\mathcal{X}}_1}\left\{\log \left[\frac{1}{(2\pi {)}^{\frac{p}{2}}}\right]+\log \left[|\Sigma {|}^{-\frac{1}{2}}\right]+\left[-\frac{1}{2}(x^{(j)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(j)}-{\mu }_1)\right]\right\}\\ & =\sum _{x^{(j)}\in {\mathcal{X}}_1}\log \left[\frac{1}{(2\pi {)}^{\frac{p}{2}}}\right]+\sum _{x^{(j)}\in {\mathcal{X}}_1}\log \left[|\Sigma {|}^{-\frac{1}{2}}\right]+\sum _{x^{(j)}\in {\mathcal{X}}_1}\left[-\frac{1}{2}(x^{(j)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(j)}-{\mu }_1)\right]\end{array}$$
观察大括号中的三项，第一项不含$\Sigma$，视为常数；仔细观察第三项：
$$-\frac{1}{2}\sum _{x^{(j)}\in {\mathcal{X}}_1}(x^{(j)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(j)}-{\mu }_1)$$
已知$x^{(j)},{\mu }_1$均是 $p$维向量，则$(x^{(j)}-{\mu }_1{)}^T$的维度是$1\times p$；${\Sigma }^{-1}$是协方差矩阵的逆矩阵，是$p\times p$维度的方阵；$(x^{(j)}-{\mu }_1)$的维度自然是$p\times 1$。
因此，$(x^{(j)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(j)}-{\mu }_1)$本身就是一个 实数。而实数本身也是一个方阵($1\times 1$的方阵)。在这里引入 线性代数中的秩，记作$tr$——实数的秩即实数本身。
可以将第三项表示如下：
$$-\frac{1}{2}\sum _{x^{(j)}\in {\mathcal{X}}_1}tr\left[(x^{(j)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(j)}-{\mu }_1)\right]$$
根据矩阵的秩的性质，可以将上述结果表示如下：
矩阵A,B,C能够相乘并且相乘结果是方阵的条件下：tr(ABC) = tr(CAB) = tr(BCA)
由于$(x^{(j)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(j)}-{\mu }_1)$结果是实数,因此${\sum }_{x^{(j)}\in {\mathcal{X}}_1}$放到tr的里面还是外面没有任何区别。
$$\begin{array}{rl}-\frac{1}{2}\sum _{x^{(j)}\in {\mathcal{X}}_1}tr\left[(x^{(j)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(j)}-{\mu }_1)\right]& =-\frac{1}{2}\sum _{x^{(j)}\in {\mathcal{X}}_1}tr\left[(x^{(j)}-{\mu }_1)(x^{(j)}-{\mu }_1{)}^T{\Sigma }^{-1}\right]\\ & =-\frac{1}{2}tr\left[\sum _{x^{(j)}\in {\mathcal{X}}_1}(x^{(j)}-{\mu }_1)(x^{(j)}-{\mu }_1{)}^T{\Sigma }^{-1}\right]\end{array}$$
又因为${\Sigma }^{-1}$中不含$j$，因此可以将${\Sigma }^{-1}$提出来：
$$-\frac{1}{2}tr\left[\left(\sum _{x^{(j)}\in {\mathcal{X}}_1}(x^{(j)}-{\mu }_1)(x^{(j)}-{\mu }_1{)}^T\right){\Sigma }^{-1}\right]$$
观察：${\sum }_{x^{(j)}\in {\mathcal{X}}_1}(x^{(j)}-{\mu }_1)(x^{(j)}-{\mu }_1{)}^T$ 和标签为1的样本的协方差矩阵仅差$N$倍。

记标签为1样本的协方差矩阵为${\mathcal{S}}_1$，标签为0样本的协方差矩阵为${\mathcal{S}}_2$。上述第三项可以将其表示为：
$$-\frac{1}{2}{N}_1\cdot tr({\mathcal{S}}_1\cdot {\Sigma }^{-1})$$
因此，${\sum }_{x^{(j)}\in {\mathcal{X}}_1}\log \mathcal{N}({\mu }_1,\Sigma )$可以表示为：
$$-\frac{1}{2}{N}_1\cdot \log |\Sigma |-\frac{1}{2}{N}_1\cdot tr\left({\mathcal{S}}_1\cdot {\Sigma }^{-1}\right)+{\mathcal{C}}_1\left({\mathcal{C}}_1=\sum _{x^{(j)}\in {\mathcal{X}}_1}\log \left[\frac{1}{(2\pi {)}^{\frac{p}{2}}}\right]\right)$$
同理，${\sum }_{x^{(j)}\in {\mathcal{X}}_2}\log \mathcal{N}({\mu }_2,\Sigma )$可以表示为：
$$-\frac{1}{2}{N}_2\cdot \log |\Sigma |-\frac{1}{2}{N}_2\cdot tr\left({\mathcal{S}}_2\cdot {\Sigma }^{-1}\right)+{\mathcal{C}}_2\left({\mathcal{C}}_2=\sum _{x^{(j)}\in {\mathcal{X}}_2}\log \left[\frac{1}{(2\pi {)}^{\frac{p}{2}}}\right]\right)$$
至此，$\mathcal{L}(\Sigma )$可以表示如下：
$$\begin{array}{rl}\mathcal{L}(\Sigma )& =\sum _{x^{(j)}\in {\mathcal{X}}_1}\log \mathcal{N}({\mu }_1,\Sigma )+\sum _{x^{(j)}\in {\mathcal{X}}_2}\log \mathcal{N}({\mu }_2,\Sigma )\\ & =-\frac{1}{2}(N_1+N_2)\log |\Sigma |-\frac{1}{2}{N}_1\cdot tr({\mathcal{S}}_1\cdot {\Sigma }^{-1})-\frac{1}{2}{N}_2\cdot tr({\mathcal{S}}_2\cdot {\Sigma }^{-1})+({\mathcal{C}}_1+{\mathcal{C}}_2)\\ & =-\frac{1}{2}\left[N\log |\Sigma |+N_1\cdot tr({\mathcal{S}}_1\cdot {\Sigma }^{-1})+N_2\cdot tr({\mathcal{S}}_2\cdot {\Sigma }^{-1})\right]+\mathcal{C}(\mathcal{C}={\mathcal{C}}_1+{\mathcal{C}}_2)\end{array}$$

基于上式，对$\Sigma$进行求导：
求导过程中，需要注意‘行列式的导数’与‘秩的导数’:
$$\begin{gathered} \frac{\partial tr(AB)}{\partial A}=B^T \\ \frac{\partial |A|}{\partial A}=|A|\cdot A^{-1} \end{gathered}$$
求导结果如下：
$$\begin{array}{rl}\frac{\partial \mathcal{L}(\Sigma )}{\partial \Sigma }& =-\frac{1}{2}(N\cdot \frac{|\Sigma |\cdot {\Sigma }^{-1}}{|\Sigma |}+N_1\cdot {\mathcal{S}}_1^T\cdot (-1){\Sigma }^{-2}+N_2\cdot {\mathcal{S}}_2^T\cdot (-1){\Sigma }^{-2})\\ & =-\frac{1}{2}[N\cdot {\Sigma }^{-1}-N_1\cdot S_1^T\cdot {\Sigma }^{-2}-N_2\cdot S_2^T\cdot {\Sigma }^{-2}]\end{array}$$
由于${\mathcal{S}}_1,{\mathcal{S}}_2$均为协方差矩阵，因此它们是实对称矩阵。即：
$${\mathcal{S}}_1^T={\mathcal{S}}_1,{\mathcal{S}}_2^T={\mathcal{S}}_2$$
$\frac{\partial \mathcal{L}(\Sigma )}{\partial \Sigma }$最终表示为：
$$\frac{\partial \mathcal{L}(\Sigma )}{\partial \Sigma }=-\frac{1}{2}[N\cdot {\Sigma }^{-1}-N_1\cdot S_1\cdot {\Sigma }^{-2}-N_2\cdot S_2\cdot {\Sigma }^{-2}]$$
令$\frac{\partial \mathcal{L}(\Sigma )}{\partial \Sigma }\triangleq 0$，则有：
$$N\cdot {\Sigma }^{-1}-N_1\cdot S_1\cdot {\Sigma }^{-2}-N_2\cdot S_2\cdot {\Sigma }^{-2}=0$$
等式两边同乘${\Sigma }^2$,可得：
$$\begin{gathered} N\Sigma -N_1{\mathcal{S}}_1-N_2{\mathcal{S}}_2=0 \\ \hat{\Sigma }=\frac{N_1{\mathcal{S}}_1+N_2{\mathcal{S}}_2}{N} \end{gathered}$$

思考

这里在定义似然的概率分布时就定义$\Sigma$是公用的，在$\hat{\Sigma }$的求解结果中发现，从理论角度观察，${\mathcal{S}}_1,{\mathcal{S}}_2$本质上应该是相同的。如果将${\mathcal{S}}_1={\mathcal{S}}_2$代入上式会发现 就是一个恒等式。但之所以有差异，自然是 高斯分布产生样本的随机性导致的。

下一节将介绍另一种概率生成模型——朴素贝叶斯。
相关参考：
机器学习-线性分类8-高斯判别分析(Gaussian Discriminant Analysis)-模型求解(求协方差)
机器学习-线性分类7-高斯判别分析(Gaussian Discriminant Analysis)-模型求解(求期望)