牛客网算法八股刷题系列(十)再回首——线性判别分析与核函数

题目描述

下面哪些是基于核的机器学习算法(多选)$?()$

$\mathcal{A}\text{Expectation Maximization}$

$\mathcal{B}\text{Radial Basis Function}$

$\mathcal{C}\text{Linear Discriminate Analysis}$

$\mathcal{D}\text{Support Vector Machine}$

正确答案：$\mathcal{BC}\mathcal{D}$

题目解析

在刷题系列(五)——过拟合、模型复杂度与核函数中对核函数的描述是特征转换后的样本之间内积的一种方式：
$$\kappa (x^{(i)},x^{(j)})=[\varphi (x^{(i)}){]}^T\cdot \varphi (x^{(j)})(x^{(i)},x^{(j)}\in \mathcal{X})$$

从更泛化的角度观察，它实际上就是两个高维向量内积的一种表达方式。也就是说，更重要的是内积：因为如线性核函数$(\text{Linear Kernel})$并没有改变样本特征的维度信息。下面观察$4$个选项，哪些选项中出现了内积现象：

关于 $\mathcal{A}$ 选项，我们介绍过$\text{EM}$算法$(\text{Expectation Maximization})$关于参数的优化过程：
$$\begin{array}{rl}\hat{\theta }& =\underset{\theta }{\mathrm{argmax}}\log \mathcal{P}(\mathcal{X}\mid \theta )\\ & \iff \underset{\theta }{\mathrm{argmax}}\underset{\text{ELBO}}{{\int }_{\mathcal{Z}}\mathcal{Q}(\mathcal{Z})\log \frac{\mathcal{P}(\mathcal{X},\mathcal{Z}\mid \theta )}{\mathcal{Q}(\mathcal{Z})}d\mathcal{Z}}\end{array}$$
其中$\mathcal{Z}$是模型中与观测变量相对的隐变量$(\text{Latent Variable})$。即便我们将$\log \mathcal{P}(\mathcal{X}\mid \theta )$按照样本角度进行展开：
这里$z^{(i)}$则表示：模型中$x^{(i)}$作为输入样本的条件下，模型中被激活的隐变量。它包含模型中所有隐变量分量，但仅对$x^{(i)}$一个样本的服务结果。
$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\left[{\int }_{z^{(i)}}\mathcal{Q}(z^{(i)})\log \frac{\mathcal{P}(x^{(i)},z^{(i)}\mid \theta )}{\mathcal{Q}(z^{(i)})}d{z}^{(i)}\right]$$
我们依然没有发现内积现象。因此，$\text{EM}$算法不是基于核的机器学习算法。

关于 $\mathcal{B}$ 选项，径向基核函数$(\text{Radial Basis Function,RBF})$，也就是高斯核函数，它就是一种描述高维向量内积的方式：
其中系数$\begin{array}{r}\frac{1}{2{\sigma }^2}\end{array}$不影响内积运算的复杂度，仅是各元素少了一个系数。
$$\begin{array}{rl}\kappa (x^{(i)},x^{(j)})& =\exp \left\{-\frac{1}{2{\sigma }^2}||x^{(i)}-x^{(j)}|{|}^2\right\}\\ & \Rightarrow \exp \left\{-||x^{(i)}-x^{(j)}|{|}^2\right\}\\ & =\varphi (x^{(i)})\cdot \varphi (x^{(j)})\end{array}$$
其中：
使用‘泰勒公式’的展开结果。
$$\{\begin{array}{l}\begin{array}{r}\varphi (x^{(i)})=\exp [-(x^{(i)}{)}^2]\cdot \sum _{m=0}^{\infty }\sqrt{\frac{2^m}{m!}}(x^{(i)}{)}^m\end{array}\\ \begin{array}{r}\varphi (x^{(j)})=\exp [-(x^{(j)}{)}^2]\cdot \sum _{m=0}^{\infty }\sqrt{\frac{2^m}{m!}}(x^{(j)}{)}^m\end{array}\end{array}$$
因此，它可以表示为高维向量内积的形式。

关于 $\mathcal{C}$ 选项：我们在线性分类中介绍过它的参数求解过程。其中线性判别分析关于参考系/投影方向$\mathcal{W}$的策略/损失函数表示如下：
$$\mathcal{J}(\mathcal{W})=\frac{{\mathcal{W}}^T(\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_1}}-\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_2}})(\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_1}}-\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_2}}{)}^T\mathcal{W}}{{\mathcal{W}}^T({\mathcal{S}}_{{\mathcal{C}}_1}+{\mathcal{S}}_{{\mathcal{C}}_2})\mathcal{W}}$$

其对应的模型为：$h(x)={\mathcal{W}}^{T}x$。其$\mathcal{W}$最优解$\hat{\mathcal{W}}$可表示为如下形式：
$$\frac{\partial \mathcal{J}(\mathcal{W})}{\partial \mathcal{W}}\triangleq 0\Rightarrow \hat{\mathcal{W}}=\frac{{\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}}{{\mathcal{W}}^T{\mathcal{S}}_{set}\mathcal{W}}{\mathcal{S}}_{with}^{-1}{\mathcal{S}}_{bet}\mathcal{W}$$

其中${\mathcal{S}}_{with}$表示类内方差：
${\mathcal{S}}_{{\mathcal{C}}_i}(i=1,2)$表示类$i$自身的方差结果;${\mathcal{N}}_i$表示类$i$中的样本数量，下同。
$$\{\begin{array}{l}{\mathcal{S}}_{with}={\mathcal{S}}_{{\mathcal{C}}_1}+{\mathcal{S}}_{{\mathcal{C}}_2}\\ \begin{array}{r}{\mathcal{S}}_{{\mathcal{C}}_i}=\frac{1}{{\mathcal{N}}_i}\sum _{x^{(j)}\in {\mathcal{X}}_{{\mathcal{C}}_i}}(x^{(j)}-\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_i}})(x^{(j)}-\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_i}}{)}^T\end{array}\end{array}$$
${\mathcal{S}}_{bet}$表示类间方差：
$\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_i}}(i=1,2)$描述类$i$内的均值结果。而${\mathcal{S}}_{bet}$是将‘均值结果’作为样本去描述‘均值的方差结果’。同上，和真正的方差相比，少了一个系数，但不影响$\hat{\mathcal{W}}$的最优解方向。
$$\{\begin{array}{l}{\mathcal{S}}_{bet}=(\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_1}}-\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_j}})(\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_1}}-\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_j}}{)}^T\\ \begin{array}{r}\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_i}}=\frac{1}{{\mathcal{N}}_i}\sum _{x^{(j)}\in {\mathcal{X}}_{{\mathcal{C}}_i}}{x}^{(j)}\end{array}\end{array}$$
在求解过程中，无论是${\mathcal{S}}_{bet}$还是${\mathcal{S}}_{with}$，我们都要去求解向量内积。只不过这个内积的元素有些特殊：
$$\{\begin{array}{l}{\mathcal{S}}_{bet}\Rightarrow \stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_1}}-\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_j}}\\ {\mathcal{S}}_{with}\Rightarrow x^{(j)}-\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_i}}\end{array}$$
即便是有些特殊，但是既然是内积，就可以使用核函数进行表示。此时 $\mathcal{C}$ 选项正确；

如果再观察，会发现向量$\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_1}}-\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_j}}$和向量$x^{(j)}-\stackrel{ˉ}{{\mathcal{X}}_{{\mathcal{C}}_i}}$的大小和$x^{(j)}$均相同。这意味着：无论是哪种内积结果，其执行内积过程中并没有维度上的变化。可以将其视作一个线性核函数。
本质上，我们可能并没有使用所谓的线性核函数，而仅是求解了它们的类内方差和类间方差。但是，其内部包含了‘线性核函数’的思想。

线性判别分析作为一个经典的分类模型，它对样本的要求是线性可分的。如果遇到线性不可分的情况，线性判别分析的模型也会相应发生变化：
$$h(x)={\mathcal{W}}^T\varphi (x)$$
相比于线性可分，在线性不可分的条件下，我们需要对$x$进行特征转换，使其有机会在高维线性可分。并且通过核函数对特征转换的内积结果进行优化。对应算法被称作核线性判别分析$(\text{Kernalized Linear Discriminant Analysis,KLDA})$。
这里不过多展开描述。推荐一篇文章，详见下方链接，侵删。

关于线性判别分析的一些小误区：关于上述$\mathcal{W}$和$\hat{\mathcal{W}}$关系式中，由于分子、分母均是标量，则有：

• 令$\begin{array}{r}\frac{1}{\lambda }=\frac{{\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}}{{\mathcal{W}}^T{\mathcal{S}}_{set}\mathcal{W}}\end{array}$，原式可变化为：
  $$\lambda \hat{\mathcal{W}}={\mathcal{S}}_{with}^{-1}{\mathcal{S}}_{bet}\mathcal{W}$$
• 这意味着$\hat{\mathcal{W}}$的解是${\mathcal{S}}_{with}^{-1}{\mathcal{S}}_{bet}$的最大非零广义特征值对应的特征向量组成的矩阵，我们仅需要选择特征值较大结果对应的特征向量，就可以将原始样本空间降维到新的参考空间。也就是说，线性判别分析被视作一种经典的基于监督学习的降维方法。
  • $\hat{\mathcal{W}}$中的向量就是一组基，各向量之间两两正交。
  • 这里的最大非零广义特征值，欢迎小伙伴们讨论。《机器学习》(周志华著) P63 3.4 线性判别分析

关于 $\mathcal{D}$ 选项的支持向量机，我们在引出对偶问题一节中将对偶问题转化为只包含${\lambda }^{(i)}(i=1,2,\cdots ,N)$变量的优化问题：
《机器学习》(周志华著) P123 6.2 对偶问题
$$\{\begin{array}{l}\underset{\lambda }{\max }-\frac{1}{2}\left[{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }^{(i)}{\lambda }^{(j)}{y}^{(i)}{y}^{(j)}{\left(x^{(i)}\right)}^T{x}^{(j)}\right]+{\sum }_{i=1}^N{\lambda }^{(i)}\\ \{\begin{array}{l}s.t.{\lambda }^{(i)}\ge 0\\ {\sum }_{i=1}^N{\lambda }^{(i)}{y}^{(i)}=0\end{array}\end{array}$$
明显存在样本之间内积的项：$[x^{(i)}{]}^T{x}^{(j)}$，同样针对线性不可分问题，或者计算复杂度较高的情况，可以使用核函数进行优化。

相关参考：
【机器学习】表示定理和核线性判别分析（KLDA）