线性分类（二）-- 线性判别分析 LDA

        在机器学习领域，LDA是两个常用模型的简称：线性判别分析（Linear Discriminant Analysis） 和隐含狄利克雷分布（Latent Dirichlet Allocation）。在自然语言处理领域，隐含狄利克雷分布是一种处理文档的主题模型。本文只讨论线性判别分析，在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用。

        线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的监督学习的数据降维方法，也叫做Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保证各个类别的类内方差小而类间均值差别大，这意味着同一类的高维数据投影到低维空间后相同类别的聚在一起，而不同类别之间相距较远。如下图将二维数据投影到一维直线上：

        LDA降维的目标：将带有标签的数据降维，投影到低维空间同时满足三个条件：

1. 尽可能多的保留数据样本的信息（即选择最大的特征是对应的特征向量所代表的方向）。
2. 寻找使样本尽可能好分的最佳投影方向。
3. 投影后使得同类样本尽可能近，不同类样本尽可能远。

---

1 瑞利商（Rayleigh quotient）与广义瑞利商（genralized Rayleigh quotient）

        首先来看看瑞利商的定义。瑞利商是指这样的函数 $R(A\text{A}A,x\text{x}x)$：
$$R(\mathbf{A},\mathbf{x})=\frac{{\mathbf{x}}^H\mathbf{A}\mathbf{x}}{{\mathbf{x}}^H\mathbf{x}}\text{\hspace{1em}(1-1)}$$

        其中 $x\text{x}x$ 为非零向量，而 $A\text{A}A$ 为 $n\times n$ 的Hermitan矩阵。所谓的Hermitan矩阵就是满足共轭转置矩阵和自己相等的矩阵，即 ${A\text{A}A}^H=A\text{A}A$。如果我们的矩阵 $A\text{A}A$ 是实矩阵，则满足 ${A\text{A}A}^T=A\text{A}A$ 的矩阵即为Hermitan矩阵。

        瑞利商 $R(A\text{A}A,x\text{x}x)$ 有一个非常重要的性质，即它的最大值等于矩阵 $A\text{A}A$ 最大的特征值，而最小值等于矩阵 $A\text{A}A$ 的最小的特征值，也就是满足
$${\lambda }_{\min }\le \frac{{\mathbf{x}}^H\mathbf{A}\mathbf{x}}{{\mathbf{x}}^H\mathbf{x}}\le {\lambda }_{\max }\text{\hspace{1em}(1-2)}$$

        具体的证明可以参考：瑞利商（Rayleigh Quotient）及瑞利定理（Rayleigh-Ritz theorem）的证明

        当向量 $x\text{x}x$ 是标准正交基时，即满足${x\text{x}x}^{H}x\text{x}x=1$ 时，瑞利商退化为：$R(A\text{A}A,x\text{x}x)={x\text{x}x}^{H}Ax\text{Ax}Ax$。若 $x\text{x}x$ 是实向量，则可以构造构造拉格朗日乘子函数 $L(\mathbf{x},\lambda )={\mathbf{x}}^T\mathbf{A}\mathbf{x}+\lambda ({\mathbf{x}}^T\mathbf{x}-1)$

        对 $x\text{x}x$ 求梯度并令梯度为0可以得到 $2Ax\text{Ax}Ax+2\lambda x\text{x}x=0$，等价于 $Ax\text{Ax}Ax=\hat{\lambda }x\text{x}x$，假设 ${\hat{\lambda }}_i$ 是 $A\text{A}A$ 的第 $i$ 个特征值， ${x\text{x}x}_i$ 是其对应的特征向量。

        带入瑞利商的定义，可得 $R(A\text{A}A,{x\text{x}x}_i)={\hat{\lambda }}_i$，在最大的特征值处，瑞利商有最大值，在最小的特征值处，瑞利商有最小值。上面的形式在谱聚类和PCA中都有出现。

        下面来看广义瑞利商。广义瑞利商是指这样的函数 $R(A\text{A}A,B\text{B}B,x\text{x}x)$：
$$R(A\text{A}A,B\text{B}B,x\text{x}x)=\frac{{x\text{x}x}^{H}Ax\text{Ax}Ax}{{x\text{x}x}^{H}Bx\text{Bx}Bx}\text{\hspace{1em}(1-3)}$$

        其中 $x\text{x}x$ 为非零向量，而 $A\text{A}A,B\text{B}B$ 为 $n\times n$ 的Hermitan矩阵。$B\text{B}B$为正定矩阵。它的最大值和最小值是什么呢？其实我们只要通过将其通过标准化就可以转化为瑞利商的格式。
        假设对任意非0向量，有 ${x\text{x}x}^{T}Bx\text{Bx}Bx>0$，如果令 $B\text{B}B={CC\text{CC}CC}^T$ ，这是对矩阵 $B\text{B}B$ 的Cholesky分解，同时令 $x\text{x}x=({C\text{C}C}^T{)}^{-1}y\text{y}y$，则可以将广义瑞利商转化成瑞利商的形式
$$\frac{{x\text{x}x}^{T}Ax\text{Ax}Ax}{{x\text{x}x}^{T}Bx\text{Bx}Bx}=\frac{(({C\text{C}C}^T{)}^{-1}y\text{y}y{)}^{T}A\text{A}A(({C\text{C}C}^T{)}^{-1}y\text{y}y)}{(({C\text{C}C}^T{)}^{-1}y\text{y}y{)}^T{CC\text{CC}CC}^T(({C\text{C}C}^T{)}^{-1}y\text{y}y)}=\frac{{y\text{y}y}^T{C\text{C}C}^{-1}A\text{A}A({C\text{C}C}^T{)}^{-1}y\text{y}y}{{y\text{y}y}^{T}y\text{y}y}\text{\hspace{1em}(1-4)}$$

        用前面的瑞利商的性质，我们可以很快的知道，$R(A\text{A}A,B\text{B}B,x\text{x}x)$ 的最大和最小值由矩阵 ${C\text{C}C}^{-1}A\text{A}A({C\text{C}C}^T{)}^{-1}$ 的最大和最小特征值决定。

        加上等式约束 ${x\text{x}x}^{T}Bx\text{Bx}Bx=1$，广义瑞利商为 $R(A\text{A}A,B\text{B}B,x\text{x}x)={x\text{x}x}^{T}Ax\text{Ax}Ax$，构造拉格朗日乘子函数 $L(x\text{x}x,\lambda )={x\text{x}x}^{T}Ax\text{Ax}Ax+\lambda ({x\text{x}x}^{T}Bx\text{Bx}Bx-1)$

        对 $x\text{x}x$ 求梯度并令梯度为0可以得到：$2Ax\text{Ax}Ax+2\lambda Bx\text{Bx}Bx=0$，这等价于 $Ax\text{Ax}Ax=\hat{\lambda }Bx\text{Bx}Bx$，这是广义特征值的问题，如果 $B\text{B}B$ 可逆，可得 ${B\text{B}B}^{-1}Ax\text{Ax}Ax=\hat{\lambda }x\text{x}x$，因此广义瑞利商的所有极值在广义特征值处取得，假设 ${\hat{\lambda }}_i$ 是第 $i$ 个广义特征值，${x\text{x}x}_i$ 是其对应的广义特征向量，带入广义瑞利商的定义可得 $R(A\text{A}A,B\text{B}B,{x\text{x}x}_i)={\lambda }_i$。

        广义瑞利商的极大值在最大广义特征值处取得，极小值在最小广义特征值处取得。下面线性判别分析的优化目标即是广义瑞利商。关于广义瑞利商的详细证明，请阅读：广义瑞利商理论

---

2 二类LDA原理

        假设数据集为：
$$Data：\{(x_1\text{x1}{x}_1,y_1),(x_2\text{x2}{x}_2,y_2),\cdots ,(x_N\text{xN}{x}_N,y_N)\}{x\text{x}x}_i\in {\mathbb{R}}^p,y_i\in \{+1,-1\},i=1,2,\cdots ,N\text{\hspace{1em}(2-1)}$$
        分别用矩阵表示：
$$X\text{X}X=[{x\text{x}x}_1,{x\text{x}x}_2,\cdots ,{x\text{x}x}_N{]}_{N\times p}^T={\left[\begin{array}{c}{x\text{x}x}_1^T\\ {x\text{x}x}_2^T\\ ⋮\\ {x\text{x}x}_N^T\end{array}\right]}_{N\times p}={\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ x_{N1}& x_{N2}& \cdots & x_{Np}\end{array}\right]}_{N\times p}\text{\hspace{1em}(2-2)}$$

$$Y\text{Y}Y={\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right)}_{N\times 1}\text{\hspace{1em}(2-3)}$$

        把上面的数据按 $y_i$ 的取值分为两类，如下：
$$\begin{gathered} {\left\{({x\text{x}x}_i,y_i)\right\}}_{i=1}^N,{x\text{x}x}_i\in {\mathbb{R}}^p,y_i\in \{\underset{C_1}{\underline{+1}},\underset{C_2}{\underline{-1}}\} \\ {x\text{x}x}_{C_1}=\left\{{x\text{x}x}_i|y_i=+1\right\},{x\text{x}x}_{C_2}=\left\{{x\text{x}x}_i|y_i=-1\right\} \\ \left|{x\text{x}x}_{C_1}\right|=N_1,\left|{x\text{x}x}_{C_2}\right|=N_2,N_1+N_2=N\text{\hspace{1em}(2-4)} \end{gathered}$$

        上面数据矩阵的解释：数据 $X\text{X}X$ 中有 $N$ 个样本，每个样本 ${x\text{x}x}_i$ 为 $p$ 维数据（含有 $p$ 个feature），数据 $Y\text{Y}Y$ 表示有 $N$ 个输出，即每个样本对应一个输出（可以理解为对每个样本的标签）。这里定义 $N_j(j=0,1)$ 为 $C_j$ 类样本的个数，$X_j(j=0,1)$ 为 $C_j$ 类样本的集合，而 $\overline{{x\text{x}x}_{c_j}}(j=0,1)$ 为第 $C_j$ 类样本的均值向量，定义 ${\Sigma \text{Σ}\Sigma }_j(j=0,1)$ 为 $C_j$ 类样本的协方差矩阵。

        由于是两类数据，因此我们只需要找一条直线（方向为$w\text{w}w$）来做投影，然后寻找最能使样本点分离的直线。当样本是二维的时候，如下图：

        从直观上来看，右图比较好，可以很好地将不同类别的样本点分离。假设投影轴的方向向量为 $w\text{w}w$，将样本点往该轴上投影以后的值 $z_i$ 为 ${w\text{w}w}^T{x\text{x}x}_i$，其中 $w\text{w}w\in {\mathbb{R}}^p$，均值和方差按照如下方法计算：

$$\begin{gathered} 每类样例的均值：\overline{{x\text{x}x}_{c_j}}=\frac{1}{N_j}\sum _{\mathbf{x}\in X_j}x\text{x}x \\ 投影后的样本点均值为：\overline{z_{c_j}}=\frac{1}{N_j}\sum _{i=1}^{N_j}{z}_i=\frac{1}{N_j}\sum _{i=1}^{N_j}{w\text{w}w}^T{x\text{x}x}_i={w\text{w}w}^T\overline{{x\text{x}x}_{c_j}}\text{\hspace{1em}(2-5)} \end{gathered}$$

        对第一点，相同类内部的样本更为接近，我们假设属于两类的试验样本数量分别是 $N_1$和 $N_2$，那么我们采用方差矩阵来表征每一个类内的总体分布，这里我们使用了协方差的定义，用 $\Sigma \text{Σ}\Sigma$ 表示原数据的协方差：
$$\begin{array}{rl}{C}_1：D_z[C_1]& =\frac{1}{N_1}\sum _{i=1}^{N_1}(z_i-\overline{z_{c_1}})(z_i-\overline{z_{c_1}}{)}^T\\ & =\frac{1}{N_1}\sum _{i=1}^{N_1}({w\text{w}w}^T{x\text{x}x}_i-{w\text{w}w}^T\overline{{x\text{x}x}_{c_1}})({w\text{w}w}^T{x\text{x}x}_i-{w\text{w}w}^T\overline{{x\text{x}x}_{c_1}}{)}^T\\ & ={w\text{w}w}^T\frac{1}{N_1}\sum _{i=1}^{N_1}({x\text{x}x}_i-\overline{{x\text{x}x}_{c_1}})({x\text{x}x}_i-\overline{{x\text{x}x}_{c_1}}{)}^{T}w\text{w}w\\ & ={w\text{w}w}^T{\Sigma \text{Σ}\Sigma }_{1}w\text{w}w\\ C_2：D_z[C_2]& =\frac{1}{N_2}\sum _{i=1}^{N_2}(z_i-\overline{z_{c_2}})(z_i-\overline{z_{c_2}}{)}^T\\ & ={w\text{w}w}^T{\Sigma \text{Σ}\Sigma }_{2}w\text{w}w\end{array}\text{\hspace{1em}(2-6)}$$
        所以类内距离可以记为：
$$\begin{array}{r}{D}_z[C_1]+D_z[C_2]={w\text{w}w}^T({\Sigma \text{Σ}\Sigma }_1+{\Sigma \text{Σ}\Sigma }_2)w\text{w}w\end{array}\text{\hspace{1em}(2-7)}$$
        对于第二点，让不同类别的数据尽可能地远离，我们可以用两类的均值表示这个距离：
$$\begin{array}{rl}(\overline{z_{c_1}}-\overline{z_{c_2}}{)}^2& =(\frac{1}{N_1}\sum _{i=1}^{N_1}{w\text{w}w}^T{x\text{x}x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{w\text{w}w}^T{x\text{x}x}_i{)}^2\\ & =({w\text{w}w}^T(\overline{{x\text{x}x}_{c_1}}-\overline{{x\text{x}x}_{c_2}}){)}^2\\ & ={w\text{w}w}^T(\overline{{x\text{x}x}_{c_1}}-\overline{{x\text{x}x}_{c_2}})(\overline{{x\text{x}x}_{c_1}}-\overline{{x\text{x}x}_{c_2}}{)}^{T}w\text{w}w\end{array}\text{\hspace{1em}(2-8)}$$

        由于LDA需要让不同类别的数据的类别中心之间的距离尽可能的大，也就是我们要最大化 $(\overline{z_{c1}}-\overline{z_{c2}}{)}^2$，同时我们希望同一种类别数据的投影点尽可能的接近，也就是要同类样本投影点的协方差 $D_z[C_1]$ 和 $D_z[C_2]$ 尽可能的小，即最小化 $D_z[C_1]+D_z[C_2]$。综上所述，由于协方差是一个矩阵，于是我们用将这两个值相除来得到我们的损失函数，并最大化这个值，即我们的优化目标为：
$$\begin{array}{rl}\underset{\mathbf{w}}{\mathrm{argmax}}J(w\text{w}w)& =\underset{\mathbf{w}}{\mathrm{argmax}}\frac{(\overline{z_{c1}}-\overline{z_{c2}}{)}^2}{D_z[C_1]+D_z[C_2]}\\ & =\underset{\mathbf{w}}{\mathrm{argmax}}\frac{w^T(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}})(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}}{)}^T\mathbf{w}}{{\mathbf{w}}^T({\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2)\mathbf{w}}\end{array}\text{\hspace{1em}(2-9)}$$

        我们一般定义类内散度矩阵 ${S\text{S}S}_w$ 为：
$${S\text{S}S}_w={\mathbf{\Sigma }}_1+{\mathbf{\Sigma }}_2\text{\hspace{1em}(2-10)}$$

        同时定义类间散度矩阵 ${S\text{S}S}_b$ 为：

$${S\text{S}S}_b=(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}})(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}}{)}^T\text{\hspace{1em}(2-11)}$$

        所以，优化目标重写为：
$$\underset{\mathbf{w}}{\mathrm{argmax}}J(w\text{w}w)=\underset{\mathbf{w}}{\mathrm{argmax}}\frac{{\mathbf{w}}^T{\mathbf{S}}_b\mathbf{w}}{{\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}}\text{\hspace{1em}(2-12)}$$

        这样，我们就把损失函数和原数据集以及参数结合起来了。

方法一：
        观察式子（2-12）不正是我们的广义瑞利商的形式，所以利用第一节讲到的广义瑞利商的性质，可以得到 $J(\widehat{w\text{w}w})$ 最大值为矩阵 ${\mathbf{S}}_w^{-\frac{1}{2}}{\mathbf{S}}_b{\mathbf{S}}_w^{-\frac{1}{2}}$ 的最大特征值，而对应的 $\widehat{w\text{w}w}$ 为 ${\mathbf{S}}_w^{-\frac{1}{2}}{\mathbf{S}}_b{\mathbf{S}}_w^{-\frac{1}{2}}$ 的最大特征值对应的特征向量! 而 ${S\text{S}S}_w^{-1}{S\text{S}S}_b$ 的特征值和 ${\mathbf{S}}_w^{-\frac{1}{2}}{\mathbf{S}}_b{\mathbf{S}}_w^{-\frac{1}{2}}$ 的特征值相同，${S\text{S}S}_w^{-1}{S\text{S}S}_b$ 的特征向量 $w\text{w}w$ 和 ${\mathbf{S}}_w^{-\frac{1}{2}}{\mathbf{S}}_b{\mathbf{S}}_w^{-\frac{1}{2}}$ 的特征向量 $\widehat{w\text{w}w}$ 满足$w\text{w}w=S_w^{-\frac{1}{2}}\widehat{w\text{w}w}$ 的关系!

方法二：
        对于两类的情况，可以直接对这个损失函数求偏导，注意我们其实对 $w\text{w}w$ 的绝对值没有任何要求，只对方向有要求，因此只要一个方程就可以求解了：
$$\begin{gathered} \frac{\partial J(\mathbf{w})}{\partial \mathbf{w}}=2{\mathbf{S}}_b\mathbf{w}({\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}{)}^{-1}+{\mathbf{w}}^T{\mathbf{S}}_b\mathbf{w}(-1)({\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}{)}^{-2}2{\mathbf{S}}_b\mathbf{w} \\ =2[{\mathbf{S}}_b\mathbf{w}({\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}{)}^{-1}+{\mathbf{w}}^T{\mathbf{S}}_b\mathbf{w}(-1)({\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}{)}^{-2}{\mathbf{S}}_b\mathbf{w}]=0 \\ （{\mathbf{w}}^T{\mathbf{S}}_b\mathbf{w},{\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}\in \mathbb{R}） \\ \Rightarrow {\mathbf{S}}_b\mathbf{w}({\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w})-{\mathbf{w}}^T{\mathbf{S}}_b\mathbf{w}{\mathbf{S}}_w\mathbf{w}=0 \\ \Rightarrow {\mathbf{w}}^T{\mathbf{S}}_b\mathbf{w}{\mathbf{S}}_w\mathbf{w}={\mathbf{S}}_b\mathbf{w}({\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}) \\ \Rightarrow {\mathbf{S}}_w\mathbf{w}=\frac{{\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}}{{\mathbf{w}}^T{\mathbf{S}}_b\mathbf{w}}{\mathbf{S}}_b\mathbf{w} \\ \Rightarrow \mathbf{w}=\frac{{\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}}{{\mathbf{w}}^T{\mathbf{S}}_b\mathbf{w}}{\mathbf{S}}_w^{-1}{\mathbf{S}}_b\mathbf{w} \\ （要注意对于\mathbf{w}我们只关注它的方向，不关心它的大小。） \\ \Rightarrow \mathbf{w}\propto {\mathbf{S}}_w^{-1}{\mathbf{S}}_b\mathbf{w} \\ \Rightarrow \mathbf{w}\propto {\mathbf{S}}_w^{-1}(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}})\underset{1维}{(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}}{)}^T\mathbf{w}} \\ \Rightarrow \mathbf{w}\propto {\mathbf{S}}_w^{-1}(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}}) \\ \Rightarrow \mathbf{w}\propto ({\mathbf{S}}_{C_1}+{\mathbf{S}}_{C_2}{)}^{-1}(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}})\text{\hspace{1em}(2-13)} \end{gathered}$$

        于是 ${\mathbf{S}}_w^{-1}(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}})$ 就是我们需要寻找的方向。最后可以归一化求得单位的 $\mathbf{w}$ 值。

        对于二类的时候，${S\text{S}S}_{b}w\text{w}w$ 的方向恒平行于 $(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}})$，不妨令 ${S\text{S}S}_{b}w\text{w}w=(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}})\ast \hat{\lambda }$，将其带入：$({S\text{S}S}_w^{-1}{S\text{S}S}_b)w\text{w}w={S\text{S}S}_w^{-1}(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}})\ast \hat{\lambda }=\lambda w\text{w}w$， 由于对 $w\text{w}w$ 扩大缩小任何倍不影响结果，因此可以约去两边的未知常数 $\lambda$ 和 $\hat{\lambda }$，可以得到 $w\text{w}w={S\text{S}S}_w^{-1}(\overline{{\mathbf{x}}_{c1}}-\overline{{\mathbf{x}}_{c2}})$， 也就是说我们只要求出原始二类样本的均值和方差就可以确定最佳的投影方向 $w\text{w}w$ 了。

方法三：
        在我们求导之前，需要对分母进行归一化，因为不做归一的话，$w\text{w}w$ 扩大任何倍，都成立，我们就无法确定 $w\text{w}w$。因此我们令 ${w\text{w}w}^T{S\text{S}S}_{w}w\text{w}w=1$（这里上下式子一同缩放不影响最后求 $\underset{\mathbf{w}}{\mathrm{argmax}}J(w\text{w}w)$ 的结果），这样使用拉格朗日乘子法就可以得到：
$$\begin{gathered} J(\mathbf{w})={\mathbf{w}}^T{\mathbf{S}}_b\mathbf{w}-\lambda ({\mathbf{w}}^T{\mathbf{S}}_w\mathbf{w}-1) \\ \frac{\partial }{\partial \mathbf{w}}J(\mathbf{w})=2{\mathbf{S}}_b\mathbf{w}-2\lambda {\mathbf{S}}_w\mathbf{w}=0 \\ {\mathbf{S}}_b\mathbf{w}=\lambda {\mathbf{S}}_w\mathbf{w}\text{\hspace{1em}(2-14)} \end{gathered}$$

        如果 ${\mathbf{S}}_w$ 可逆，就又变回了求特征向量的套路：
$${\mathbf{S}}_w^{-1}{\mathbf{S}}_b\mathbf{w}=\lambda \mathbf{w}\text{\hspace{1em}(2-15)}$$

        当然，在实际问题中， 常出现 ${\mathbf{S}}_w$ 不可逆的问题，不过一般情况下可以通过其他方法解决：

• 令 ${\mathbf{S}}_w={\mathbf{S}}_w+\gamma I\text{I}I$，其中 $\gamma$ 是一个特别小的数，这样 ${\mathbf{S}}_w$ 一定可逆

• 先使用PCA对数据进行降维，使得在降维后的数据上 ${\mathbf{S}}_w$ 可逆，再使用LDA

---

3 多类LDA原理

        有了二类LDA的基础，我们再来看看多类别LDA的原理。

        假设我们的数据集 $D=\{({x\text{x}x}_1,y_1),({x\text{x}x}_2,y_2),...,({x\text{x}x}_N,y_N)\}$，其中任意样本 ${x\text{x}x}_i\in {\mathbb{R}}^p$ 为 $p$ 维向量，$y_i\in \{C_1,C_2,\cdots ,C_k\}$。我们定义 $N_j(j=1,2,\cdots ,k)$ 为第 $j$ 类样本的个数，$X_j(j=1,2,\cdots ,k)$ 为第 $j$ 类样本的集合，而 $\overline{{\mathbf{x}}_{c_j}}(j=1,2,\cdots ,k)$ 为第 $j$ 类样本的均值向量，定义 ${\Sigma \text{Σ}\Sigma }_j(j=1,2...k)$ 为第 $j$ 类样本的协方差矩阵。在二类LDA里面定义的公式可以很容易的类推到多类LDA。

        由于我们是多类向低维投影，则此时投影到的低维空间就不是一条直线，而是一个超平面了。假设我们投影到的低维空间的维度为 $q$，对应的基向量为 $({w\text{w}w}_1,{w\text{w}w}_2,\cdots ,{w\text{w}w}_q)$，基向量组成的矩阵为 $W\text{W}W$, 它是一个 $p\times q$ 的矩阵。

        此时我们的优化目标应该可以变成为：
$$\frac{{\mathbf{W}}^T{\mathbf{S}}_b\mathbf{W}}{{\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}}\text{\hspace{1em}(3-1)}$$

        其中 ${S\text{S}S}_b=\sum _{j=1}^k{N}_j(\overline{{\mathbf{x}}_{c_j}}-\overline{\mathbf{x}})(\overline{{\mathbf{x}}_{c_j}}-\overline{\mathbf{x}}{)}^T$，$\overline{\mathbf{x}}$ 为所有样本均值向量。${S\text{S}S}_w=\sum _{j=1}^k{S\text{S}S}_{wj}=\sum _{j=1}^k\sum _{\mathbf{x}\in {\mathbf{X}}_j}(x\text{x}x-\overline{{\mathbf{x}}_{c_j}})(x\text{x}x-\overline{{\mathbf{x}}_{c_j}}{)}^T$

        这里的 ${\mathbf{W}}^T{\mathbf{S}}_b\mathbf{W}$ 和 ${\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}$ 都是矩阵，不是标量，无法作为一个标量函数来优化！也就是说，我们无法直接用二类LDA的优化方法，怎么办呢？一般来说，我们可以用其他的一些替代优化目标来实现。

        常见的一个LDA多类优化目标函数定义为：
$$\underset{\mathbf{W}}{argmax}J(\mathbf{W})=\frac{\prod _{diag}{\mathbf{W}}^T{\mathbf{S}}_b\mathbf{W}}{\prod _{diag}{\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}}\text{\hspace{1em}(3-2)}$$

        其中 $\prod _{diag}\mathbf{A}$ 为 $\mathbf{A}$ 的主对角线元素的乘积，$\mathbf{W}$ 为 $p\times q$ 的矩阵。

        $J(W\text{W}W)$ 的优化过程可以转化为：
J ( W )