五、 线性判别分析 LDA

线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的有监督数据降维方法，同时也经常被用来对数据进行降维。它是 Ronald Fisher 在 1936 年发明的，因此也称为是 Fisher Discriminant Analysis （FDA）。

1 LDA 原理

LDA 是为了分类服务的，因此目标是希望找到一个投影方向 $w$，使得投影后的样本尽可能按照原始类别分开。

假设现有数据集 $D=(x_1,y_1),(x_1,y_1),\cdot \cdot \cdot ,(x_n,y_n)$，其中任意样本 $x_i$ 为 $m$ 维向量，数据集中共有 $K$ 个类别。定义 $N_j$ 为第 $j$ 类样本的个数，$X_j$ 为第 $j$ 类样本的集合，${\mu }_j$ 为第 $j$ 类样本的均值向量，${\sum }_j$ 为第 $j$ 类样本的“方差”。

因此，原始均值 ${\mu }_i$ 和投影后的均值 ${\tilde{\mu }}_i$ 的表达式为分别为：

$${\mu }_i=\frac{1}{N_i}\sum _{x\in w_i}x$$
$${\tilde{\mu }}_i=\frac{1}{N_i}\sum _{x\in w_i}{w}^{T}x=w^T\frac{1}{N_i}\sum _{x\in w_i}x=w^T{\mu }_i$$

方差
$$\begin{array}{rl}{\tilde{s}}_i^2& =\sum _{x\in w_i}(w^{T}x-{\tilde{\mu }}_i{)}^2\\ & =\sum _{x\in w_i}(w^{T}x-w^T{\mu }_i{)}^2\\ & =\sum _{x\in w_i}{w}^T(x-{\mu }_i)(x-{\mu }_i{)}^{T}w\\ & =w^T{S}_{i}w\end{array}$$

定义 $\mu$ 为为所有样本的均值，则

$$\mu =\frac{1}{n}\sum _{i=1}^n{x}_i$$

定义全局散度 $S_t$ 为：

$$S_t=\sum _{i=1}^n(x_i-\mu )(x_i-\mu {)}^T$$

定义类内散度 $S_w$ 为：

$$S_w=\sum _{k=1}^K\sum _{x_i\in C_k}(x_i-{\mu }_k)(x_i-{\mu }_k{)}^T$$

如果把全局散度定义为类内散度与类间散度之和，即 $S_t=S_b+S_w$，那么 类间散度矩阵 $S_b$ 可表示为：

$$\begin{array}{rl}{S}_b& =S_t-S_w\\ & =\sum _{i=1}^n(x_i-\mu )(x_i-\mu {)}^T-\sum _{k=1}^K\sum _{x_i\in C_k}(x_i-{\mu }_k)(x_i-{\mu }_k{)}^T\\ & =\sum _{k=1}^K{N}_k({\mu }_k-\mu )({\mu }_k-\mu {)}^T\end{array}$$

LDA 主要思想的描述我们的目标就是要投影后最大化类间均值差同时最小化类内方差大小，因此目标函数可以认为是最大化：

$$J(w)=\frac{W^T{S}_{b}W}{W^T{S}_{w}W}$$

其中，$W$ 是目标投影超平面，$W^{T}W=I$。

求导：

$$\begin{array}{rl}\frac{d}{dw}J(w)& =\frac{d}{dw}(\frac{W^T{S}_{b}W}{W^T{S}_{w}W})\\ & =(W^T{S}_{w}W)\frac{d}{dw}(W^T{S}_{b}W)-(W^T{S}_{b}W)\frac{d}{dw}(W^T{S}_{w}W)\\ & =(W^T{S}_{w}W)2S_{b}W-(W^T{S}_{b}W)2W^T{S}_{w}W\end{array}$$

所以，

$$\begin{array}{rl}& \frac{d}{dw}J(w)=0\\ & \Rightarrow (W^T{S}_{w}W)2S_{b}W-(W^T{S}_{b}W)2W^T{S}_{w}W=0\end{array}$$

除以 $2W^T{S}_{w}W$，则有：

$$\begin{array}{rl}& \Rightarrow (\frac{W^T{S}_{w}W}{W^T{S}_{w}W})S_{b}W-(\frac{W^T{S}_{b}W}{W^T{S}_{w}W})W^T{S}_{w}W=0\\ & \Rightarrow S_{b}W-J(w)S_{w}W=0\\ & \Rightarrow S_w^{-1}{S}_{b}W-J(w)W=0\end{array}$$

该问题等价于：

$$S_{b}W=\lambda S_{w}W,\lambda =J(w)=scalar$$

或者说：

$$S_w^{-1}{S}_{b}W=\lambda W$$

因此，求解最近投影平面 $W=\{w_1,w_2,...,w_d\}$，即求解 $S_w^{-1}{S}_b$ 矩阵前 $d$ 个最大的特征值对应的特征向量组成的矩阵。

至此，可以得出 LDA 的求解步骤为：
（1）计算数据集中每个类别样本的均值向量 ${\mu }_j$，及总体均值向量 $\mu$
（2）计算类内散度矩阵 $S_w$，全局散度矩阵 $S_t$，并得到类间散度 $S_b=S_t-S_w$
（3）对矩阵 $S_w^{-1}{S}_b$ 进行特征值分解，将特征值从大到小排列
（4）取特征值前 $d$ 大的对应的特征向量 $w_1,w_2,...,w_d$，通过以下映射将 $m$ 维样本映射到 $d$ 维：
$$x_i^{\prime }=\left[\begin{array}{c}{w}_1^T{x}_i\\ w_2^T{x}_i\\ \cdot \cdot \cdot \\ w_d^T{x}_i\end{array}\right]$$

2 LDA 与 PCA 的比较

PCA 和 LDA 两种降维方法的求解过程来看，它们确实有着很大的相似性，但对应的原理却有所区别。

首先从目标出发：

• PCA 选择的是投影后数据方差最大的方向，由于它是无监督的，因此 PCA 假设方差越大，信息量越多，用主成分来表示原始数据可以去除冗余的维度，达到降维的目的。
• LDA 选择的是投影后类内方差小、类间方差大的方向，用到了类别标签信息，为了找到数据中具有判别性的维度，使得原始数据在这些方向上投影后，不同类别尽可能区分开。

举一个简单的例子，在语音识别中，我们想从一段音频中提取出人的语音信号，这时可以使用 PCA 先进行降维，过滤掉一些固定频率（方差较小）的背景噪声，但如果我们的需求是从这段音频中区分出声音属于哪个人，那么我们应该使用 LDA 对数据进行降维，使每个人的语音信号具有区分性。

另外，在人脸识别领域中， PCA，LDA 都会被频繁使用。基于 PCA 的人脸识别方法也称为 特征脸（ Eigenface ） 方法， 该方法将人脸图像按行展开形成一个高维向量，对多个人脸特征的协方差矩阵做特征值分解，其中较大特征值对应的特征向量具有与人脸相似的形状，故称为特征脸。

相同点

• 两者均可以对数据进行降维。
• 两者在降维时均使用了矩阵特征分解的思想
• 两者都假设数据符合高斯分布。

不同点

• LDA 是有监督的降维方法，而 PCA 是无监督的降维方法
• LDA 降维最多降到类别数 $K-1$ 的维数，而 PCA 没有这个限制
• LDA 除了可以用于降维，还可以用于分类
• LDA 选择分类性能最好的投影方向，而 PCA 选择样本点投影具有最大方差的方向

3 LDA 常见问题

对高维数据，由于在某些维度上缺少观测值。$S_w$ 常常是 奇异的（不满秩的），常用的两种解决方法：

• 在 FDA 之前先应用 PCA
• 重构 $S_w$ 使 $S_w^{\prime }=S_w+\beta I_d$