从一点一滴开始学习了解LDA-Learning Linear Discriminate Analysis from scratch

前言

learning ** from scratch大都翻译为从0开始学叉叉，不过真没见过谁能从0开始学一个比较深的技术或者理论，所以这篇名戏谑一下这个词。接触LDA刚开始就对Discraminiate翻译记不住，是差异、辨别，歧视，为什么选择判别作为汉语呢？这只是一系列疑问的开始，因为刚开始接触这个概念，确实连一知半解都谈不上，只是从别人画的图中大概明白是干啥的，那么这个技术能帮助我解决现在的研究课题吗？下面总结记述对这个术语背后理论和实践的学习。正文将参考文献放在第一部分，因为没有这些文献真的无法理解和使用这项技术。而本文很多代码和样例都来自这些文献，先感谢各位作者的知识分享。

参考文献

1. 《机器学习》 周志华 著 清华大学出版社.
2. A Tutorial on Data Reduction-Linear Discriminant Analysis， Shireen Elhabian and Aly A. Farag， University of Louisville, CVIP Lab
3. Linear Discriminant Analysis (LDA) https://www.python-course.eu/linear_discriminant_analysis.php
4. Wine Data Set https://archive.ics.uci.edu/ml/datasets/wine
5. Linear Discriminant Analysis In Python. Cory Maklin. https://towardsdatascience.com/linear-discriminant-analysis-in-python-76b8b17817c2

初涉LDA

各种介绍此算法的文章都喜欢用一个二维分类点图，加两条直线为读者展现算法的魅力，这样做就是将二维数据最终投影到一维直线上，变成一维数据的同时，令分类的点更加直观，从而引出LDA的初衷：同类投影点尽可能接近，异类投影点尽可能远离。

看代码

一个欧洲域名的网站Python Machine Learning Tutorial对LDA应用很简单明了的演示了一下，在原文的基础上，我增加了测试集的操作，使得结果更加一目了然：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
from matplotlib import style
from sklearn.model_selection import train_test_split

style.use('fivethirtyeight')
from sklearn.neighbors import KNeighborsClassifier

# 0. Load in the data and split the descriptive and the target feature
df = pd.read_csv('data/wine.data', sep=',',
                 names=['target', 'Alcohol', 'Malic_acid', 'Ash', 'Akcakinity', 'Magnesium', 'Total_pheonols',
                        'Flavanoids', 'Nonflavanoids', 'Proanthocyanins', 'Color_intensity', 'Hue', 'OD280', 'Proline'])
X = df.iloc[:, 1:].copy()
target = df['target'].copy()

X_train, X_test, y_train, y_test = train_test_split(X, target, test_size=0.3, random_state=0)

# 1. Standardize the data
for col in X_train.columns:
    X_train[col] = StandardScaler().fit_transform(X_train[col].values.reshape(-1, 1))
# 1. Standardize the data
for col in X_test.columns:
    X_test[col] = StandardScaler().fit_transform(X_test[col].values.reshape(-1, 1))
# 2. Compute the mean vector mu and the mean vector per class mu_k
mu = np.mean(X_train, axis=0).values.reshape(13,
                                             1)  # Mean vector mu --> Since the data has been standardized, the data means are zero

mu_k = []

for i, orchid in enumerate(np.unique(df['target'])):
    mu_k.append(np.mean(X_train.where(df['target'] == orchid), axis=0))
mu_k = np.array(mu_k).T

# 3. Compute the Scatter within and Scatter between matrices
data_SW = []
Nc = []
for i, orchid in enumerate(np.unique(df['target'])):
    a = np.array(X_train.where(df['target'] == orchid).dropna().values - mu_k[:, i].reshape(1, 13))
    data_SW.append(np.dot(a.T, a))
    Nc.append(np.sum(df['target'] == orchid))
SW = np.sum(data_SW, axis=0)

SB = np.dot(Nc * np.array(mu_k - mu), np.array(mu_k - mu).T)

# 4. Compute the Eigenvalues and Eigenvectors of SW^-1 SB
eigval, eigvec = np.linalg.eig(np.dot(np.linalg.inv(SW), SB))

# 5. Select the two largest eigenvalues
eigen_pairs = [[np.abs(eigval[i]), eigvec[:, i]] for i in range(len(eigval))]
eigen_pairs = sorted(eigen_pairs, key=lambda k: k[0], reverse=True)
w = np.hstack((eigen_pairs[0][1][:, np.newaxis].real, eigen_pairs[1][1][:, np.newaxis].real))  # Select two largest

# 6. Transform the data with Y=X*w
Y = X_train.dot(w)
Y_p = X_test.dot(w)
# Plot the data
fig = plt.figure(figsize=(10, 10))
ax0 = fig.add_subplot(111)
ax0.set_xlim(-3, 3)
ax0.set_ylim(-4, 3)

for l, c, m in zip(np.unique(y_train), ['r', 'g', 'b'], ['s', 'x', 'o']):
    ax0.scatter(Y[0][y_train == l],
                Y[1][y_train == l],
                c=c, marker=m, label=l, edgecolors='black')
ax0.legend(loc='upper right')


for l, c, m in zip(np.unique(y_test), ['c', 'k', 'm'], ['p', '*', 'h']):
    ax0.scatter(Y_p[0][y_test == l],
                Y_p[1][y_test == l],
                c=c, marker=m, label=l, edgecolors='red')
ax0.legend(loc='upper right')


# Plot the voroni spaces
means = []

for m, target in zip(['s', 'x', 'o'], np.unique(y_train)):
    means.append(np.mean(Y[y_train == target], axis=0))
    ax0.scatter(np.mean(Y[y_train == target], axis=0)[0], np.mean(Y[y_train == target], axis=0)[1], marker=m, c='black',
                s=100)

mesh_x, mesh_y = np.meshgrid(np.linspace(-3, 3), np.linspace(-4, 3))
mesh = []

for i in range(len(mesh_x)):
    for j in range(len(mesh_x[0])):
        date = [mesh_x[i][j], mesh_y[i][j]]
        mesh.append((mesh_x[i][j], mesh_y[i][j]))

NN = KNeighborsClassifier(n_neighbors=1)
NN.fit(means, ['r', 'g', 'b'])
predictions = NN.predict(np.array(mesh))

ax0.scatter(np.array(mesh)[:, 0], np.array(mesh)[:, 1], color=predictions, alpha=0.3)

plt.show()

这段代码运行完的会画出如下的点图，其中图例的第一个123表示训练集的点阵，第二个123表示测试集的点阵。
上述图形说明了哪些问题呢？要想看清楚发生了什么，还要从原始数据入手，这个数据来自于UCI Marchine Learning Repository: Wine Data Set，记录了来自三个产区的不同葡萄酒的几十种化学成分，数据内容是这样的：

Region	Alcohol	Ash	Alcalinity of ash	Magnesium	Total phenols	Flavanoids	Nonflavanoid phenols	Proanthocyanins	Color intensity	Hue	OD280/OD315 of diluted wines	Proline
1	14.23	1.71	2.43	15.6	127	2.8	3.06	.28	2.29	5.64	1.04	3.92

Region是我们要的目标类别1，2，3。那么如何通过LDA挖掘13维数据，寻找这种映射呢？上面的代码实现这个功能，并且将13维的数据降到2维，画在了图上，让读者一目了然。通过上图可以看出，用训练集和拟合出来的$w$，可以很好的将测试集的数据完成降维和分类。

看概念

对于二维数据集，就是寻找一条直线，令数据投影到这条直线上，并且满足同类投影点尽可能接近，异类投影点尽可能远离；新样本按照同样的方法投影到这条直线上，根据投影点的位置就可以确定样本的类别。类推到多维空间。概念非常朴素却蕴藏精辟的论点，投射、直线。或者说，如何找到这样一条“直线”已经让我这个半路出家的炼丹师差不多快晕死了。据说这是矩阵空间里的重要知识，我也许当初在大学里学过，只是很快的还给老师了。先囫囵吞枣的记住这个概念吧。下面引用（重抄一遍）西瓜书里的原文标准定义：
【1】给定数据集 $D=(x_i,y_i){\sum }_1^n,y_i\in 0,1$, 令 $X_i、{\mu }_i、{\sum }_i$ 分别表 示 第$i\in$ {0 , 1} 类示例的集合、均值向量、协方差矩阵。若将数据投影到直线 $w$上 ,则两类样本的中心在直线上 的投影分别为 $w^T{\mu }_0$ 和 $w^T{\mu }_1$；若将所有样本点都投 影到直线上,则两类样本的 协方差分别为$w^T{\sum }_{0}w$ 和 $w^T{\sum }_{1}w$. 由于直线是一维空间，因此$w^T{\mu }_0$ 、 $w^T{\mu }_1$、$w^T{\sum }_{0}w$ 和 $w^T{\sum }_{1}w$均为实数.

此处协方差矩阵是何物？
样本中心投影为啥是这个？
多维空间就不是实数了？ 
很多基础概念不甚了了。

欲使同类样例的投影点尽可能接近，可以让同类样例投影点的协方差尽可能小,即$w^T{\sum }_{0}w$ + $w^T{\sum }_{1}w$ 尽可能小;而欲使异类样例的投影点尽可能远离,可以让类中心之间的距离尽可能大,即$||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2$ 尽可能大.同时考虑二者,则可得到欲最大化的目标：
$$\begin{array}{rl}J(w)& =\frac{||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2}{w^T{\sum }_{0}w+w^T{\sum }_{1}w}\\ & =\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1)w}{w^T({\sum }_0+{\sum }_1)w}\\ & =\frac{w^T{\mathbf{S}}_{b}w}{w^T{\mathbf{S}}_{w}w}\end{array}$$
此处定义了类内散度矩阵（within-class scatter matrix）：
$$\begin{array}{rl}{\mathbf{S}}_{\mathbf{w}}& =\sum _0+\sum _1\\ & =\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T\end{array}$$
和类间散度矩阵（between-class scatter matrix）：
$${\mathbf{S}}_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$
以上定义出了LDA的最大化目标（广义瑞利商）（晕*3）。那么如何根据最大化目标来求得我们心心念的$w$呢？《西瓜书》已经用完全看不懂了。但这很自然的想到了典型的优化方法，求导并令导数等于0，参考文献【2】给出了公式推导：
$$\begin{array}{rl}\frac{d}{dw}J(w)& =\frac{d}{dw}\left(\frac{w^T{\mathbf{S}}_{b}w}{w^T{\mathbf{S}}_{w}w}\right)=0\\ & \Rightarrow (w^T{\mathbf{S}}_{w}w)\frac{d}{dw}\left(w^T{\mathbf{S}}_{b}w\right)-(w^T{\mathbf{S}}_{b}w)\frac{d}{dw}\left(w^T{\mathbf{S}}_{w}w\right)=0\\ & \Rightarrow (w^T{\mathbf{S}}_{w}w)2S_{b}w--(w^T{\mathbf{S}}_{b}w)2S_{w}w=0\end{array}$$
令等式除以$w^T{\mathbf{S}}_{w}w$：
$$\begin{array}{rl}& \Rightarrow \left(\frac{w^T{\mathbf{S}}_{w}w}{w^T{\mathbf{S}}_{w}w}\right)S_{b}w-\left(\frac{w^T{\mathbf{S}}_{b}w}{w^T{\mathbf{S}}_{w}w}\right)=S_{w}w=0\\ & \Rightarrow S_{b}w-J(w)S_{w}w=0\\ & \Rightarrow S_w^{-1}{S}_{b}w-J(w)w=0\end{array}$$
上式就变成了矩阵求特征值的问题，公式如下 ：

$$\begin{array}{rl}\Rightarrow & S_w^{-1}{S}_{b}w=\lambda w\\ & \lambda =J(w)\end{array}$$
这个$\lambda$被西瓜书引用为拉格朗日乘子，该公式可以理解为针对于两个矩阵$S_w^{-1}{S}_b$的特征值$\lambda$和特征向量$w$的求解，最后推出$w$的计算方法：
$$\begin{array}{rl}{w}^{\ast }& =\underset{w}{\mathrm{argmax}}J(w)\\ & =\underset{w}{\mathrm{argmax}}\left(\frac{w^T{\mathbf{S}}_{b}w}{w^T{\mathbf{S}}_{w}w}\right)\\ & =S_w^{-1}({\mu }_1-{\mu }_2)\end{array}$$
这个公式尝试告诉我们保留最大的特征值。说实话，有些地方还是无法完全看懂，对于工程实施来说，似乎得到了追去$w$方法。

看例子

这个例子依旧来自参考文献【2】，这是一个两维散点数据集：
$$\begin{array}{rl}& class1：{\mathbf{X}}_1=(x_1,x_2)=\{(4,2),(2,4),(2,3),(3,6),(4,4)\}\\ & class2：{\mathbf{X}}_2=(x_1,x_2)=\{(9,10),(6,8),(9,5),(8,7),(10,8)\}\end{array}$$
讲这些点画在图上

类均值

$$\begin{array}{rl}& class1：{\mu }_1=\frac{1}{N_1}\sum _{x\in class1}x=\frac{1}{5}\left[\left(\begin{array}{c}4\\ 2\end{array}\right),\left(\begin{array}{c}2\\ 4\end{array}\right),\left(\begin{array}{c}2\\ 3\end{array}\right),\left(\begin{array}{c}3\\ 6\end{array}\right),\left(\begin{array}{c}4\\ 4\end{array}\right)\right]=\left(\begin{array}{c}3\\ 3.8\end{array}\right)\\ & class2：{\mu }_2=\frac{1}{N_1}\sum _{x\in class2}x=\frac{1}{5}\left[\left(\begin{array}{c}9\\ 10\end{array}\right),\left(\begin{array}{c}6\\ 8\end{array}\right),\left(\begin{array}{c}9\\ 5\end{array}\right),\left(\begin{array}{c}8\\ 7\end{array}\right),\left(\begin{array}{c}10\\ 8\end{array}\right)\right]=\left(\begin{array}{c}8.4\\ 7.6\end{array}\right)\end{array}$$
这时候可以看均值在二维坐标系的位置

类协方差矩阵

$$\begin{array}{rl}{S}_1& =\sum _{x\in class1}(\mathbf{x}-{\mu }_1)(\mathbf{x}-{\mu }_1{)}^T\\ & =\left[\left(\begin{array}{c}4\\ 2\end{array}\right)-\left(\begin{array}{c}3\\ 3.8\end{array}\right)\right]{\left[\left(\begin{array}{c}4\\ 2\end{array}\right)-\left(\begin{array}{c}3\\ 3.8\end{array}\right)\right]}^T+\left[\left(\begin{array}{c}2\\ 4\end{array}\right)-\left(\begin{array}{c}3\\ 3.8\end{array}\right)\right]{\left[\left(\begin{array}{c}2\\ 4\end{array}\right)-\left(\begin{array}{c}3\\ 3.8\end{array}\right)\right]}^T+...\\ & =\left(\begin{array}{cc}1& -0.25\\ -0.25& 2.2\end{array}\right)\end{array}$$
$$\begin{array}{rl}{S}_2& =\sum _{x\in class2}(\mathbf{x}-{\mu }_2)(\mathbf{x}-{\mu }_2{)}^T\\ & =\left[\left(\begin{array}{c}9\\ 10\end{array}\right)-\left(\begin{array}{c}8.4\\ 7.6\end{array}\right)\right]{\left[\left(\begin{array}{c}9\\ 10\end{array}\right)-\left(\begin{array}{c}8.4\\ 7.6\end{array}\right)\right]}^T+\left[\left(\begin{array}{c}6\\ 8\end{array}\right)-\left(\begin{array}{c}8.4\\ 7.6\end{array}\right)\right]{\left[\left(\begin{array}{c}6\\ 8\end{array}\right)-\left(\begin{array}{c}8.4\\ 7.6\end{array}\right)\right]}^T+...\\ & =\left(\begin{array}{cc}2.3& -0.05\\ -0.05& 3.3\end{array}\right)\end{array}$$

类内散度矩阵

$$\begin{array}{rl}{S}_w=S_1+S_2& =\left(\begin{array}{cc}1& -0.25\\ -0.25& 2.2\end{array}\right)+\left(\begin{array}{cc}1& -0.25\\ -0.25& 2.2\end{array}\right)\\ & =\left(\begin{array}{cc}3.3& -0.3\\ -0.3& 5.5\end{array}\right)\end{array}$$

类间散度矩阵

$$\begin{array}{rl}{S}_b& =\sum ({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^T\\ & =\left[\left(\begin{array}{c}3\\ 3.8\end{array}\right)-\left(\begin{array}{c}8.4\\ 7.6\end{array}\right)\right]{\left[\left(\begin{array}{c}3\\ 3.8\end{array}\right)-\left(\begin{array}{c}8.4\\ 7.6\end{array}\right)\right]}^T\\ & =\left(\begin{array}{cc}29.16& 20.52\\ 20.52& 14.44\end{array}\right)\end{array}$$

求解特征值和特征向量

回想上面的公式：
$$\begin{array}{rl}& S_w^{-1}{S}_{b}w=\lambda w\\ \Rightarrow & |S_w^{-1}{S}_b-\lambda I|=0\end{array}$$
带入两个矩阵的值
$$\begin{array}{rl}\Rightarrow & \left|{\left(\begin{array}{cc}3.3& -0.3\\ -0.3& 5.5\end{array}\right)}^{-1}\left(\begin{array}{cc}29.16& 20.52\\ 20.52& 14.44\end{array}\right)-\lambda \left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)\right|=0\\ \Rightarrow & \left|\left(\begin{array}{cc}0.3045& 0.0166\\ 0.0166& 0.1827\end{array}\right)\left(\begin{array}{cc}29.16& 20.52\\ 20.52& 14.44\end{array}\right)-\lambda \left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)\right|=0\\ \Rightarrow & \left|\left(\begin{array}{cc}9.2213-\lambda & 6.489\\ 4.2339& 2.9794-\lambda \end{array}\right)\right|=0\\ \Rightarrow & (9.2213-\lambda )(2.9794-\lambda )-6.489\ast 4.2339=0\\ \Rightarrow & {\lambda }_1=0,{\lambda }_2=12.2007\end{array}$$
特征值解出来了，继续解特征向量
$$\begin{array}{rl}& \left(\begin{array}{cc}9.2213& 6.489\\ 4.2339& 2.9794\end{array}\right)w_1=\lambda w_1,{\lambda }_1=0\\ \Rightarrow & \left(\begin{array}{cc}9.2213& 6.489\\ 4.2339& 2.9794\end{array}\right)w_1=0w_1\\ \Rightarrow & w_1=\left(\begin{array}{c}-0.5755\\ 0.8178\end{array}\right)\end{array}$$
同理求出
$$w_2=\left(\begin{array}{c}0.9088\\ 0.4173\end{array}\right)$$
利用上文的另外一个公式
$$\begin{array}{rl}{w}^{\ast }& =\underset{w}{\mathrm{argmax}}J(w)\\ & =\underset{w}{\mathrm{argmax}}\left(\frac{w^T{\mathbf{S}}_{b}w}{w^T{\mathbf{S}}_{w}w}\right)\\ & =S_w^{-1}({\mu }_1-{\mu }_2)\\ & ={\left(\begin{array}{cc}3.3& -0.3\\ -0.3& 5.5\end{array}\right)}^{-1}\left[\left(\begin{array}{c}3\\ 3.8\end{array}\right)-\left(\begin{array}{c}8.4\\ 7.6\end{array}\right)\right]\\ & =\left(\begin{array}{cc}0.3045& 0.0166\\ 0.0166& 0.1827\end{array}\right)\left(\begin{array}{c}-5.4\\ -3.8\end{array}\right)\\ & =\left(\begin{array}{c}0.9088\\ 0.4173\end{array}\right)\end{array}$$
有了$w^{\ast }$，就可以进行线性变化，这个线性变化带有判别性质，其实在进行计算的初期已经有先验知识，分了两个类，这个是LDA中的分类原理。文献还有映射和pdf分析，篇幅长，暂时不去细嚼了，以后再说。

多分类LDA的推导

上文中第一个例子是三个产地（3分类）的葡萄酒，最后构建出LDA模型，用2维数据可以跟好的区分开来，其实这不是巧合，而是经典的LDA规律。而2维的数学例子最后降维到1维，其实是来自2分类的初始设计，这种降维的理念有点绕。【1】若将 W 视为一个投影矩阵,则N个分类 LDA 将样本投影到 N-1 维空间,N-1 通常远小子数据原有的属性数.于是,可通过这个投影来减小样本点的维数,且投影过程中使用了类别信息?因此LDA也常被视为一种经典的监督降降维技术。由此我们在应用和设计LDA模型的时候要牢记这个规律。而西瓜书的数学推导第一句就让我万劫不复了，所以还是顺着【2】的思路走下去。
假设我们有$n$维特征向量$X$对$C$个类别做鉴别Discriminate，我们需要通过LDA设计一个新的映射，希望这个$n$维向量降维到$C$-1维特征向量，同时测试集数据经过变换以后更加容易区分，所以我们引入下面的变换：
$$y_i=w_i^{T}x$$
上式中$w_i^T$是一个n维向量，可以将$x$转换为一个值$y$，我们需要设计$C$-1个这样的向量，有这些向量构成向量矩阵：
$$\mathbf{W}=\left[w1|w2|...|w_{c-1}\right]$$
那么映射矩阵，或者所谓的投影矩阵来了：
$$\begin{array}{r}{y}_i={\mathbf{W}}^{T}x,x=\left[\begin{array}{c}{x}_1\\ .\\ .\\ x_n\end{array}\right],y=\left[\begin{array}{c}{y}_1\\ .\\ .\\ y_{c-1}\end{array}\right]\end{array}$$
畅想一下我们有海量的数据集合，用m来表示个数吧，用投影矩阵一样可以转换到另外一个空间：
$$\begin{array}{r}\mathbf{Y}={\mathbf{W}}^T\mathbf{X},X=\left\{\left[\begin{array}{c}{x}_1^1\\ .\\ .\\ x_n^1\end{array}\right]\left[\begin{array}{c}{x}_1^2\\ .\\ .\\ x_n^2\end{array}\right]...\left[\begin{array}{c}{x}_1^m\\ .\\ .\\ x_n^m\end{array}\right]\right\},Y=\left\{\left[\begin{array}{c}{y}_1^1\\ .\\ .\\ y_n^1\end{array}\right]\left[\begin{array}{c}{y}_1^2\\ .\\ .\\ y_n^2\end{array}\right]...\left[\begin{array}{c}{y}_1^m\\ .\\ .\\ y_n^m\end{array}\right]\right\}\end{array}$$
构想已经打好，剩下的就是如何实现了，一切都是依据二维推导，一点一点引伸到多维空间。

类内散度矩阵

看看这个二分类的类内散度矩阵
$$\begin{array}{r}{S}_w=S_1+S_2\end{array}$$
在C类空间可以扩展为：
$$\begin{array}{r}{S}_w=\sum _{i=1}^C{S}_i,S_i=\sum _{x\in clas{s}_i}(x-{\mu }_i)(x-{\mu }_i{)}^T,{\mu }_i=\frac{1}{N_i}\sum _{x\in clas{s}_i}x\end{array}$$

类间散度矩阵

相比二分类的类间散度矩阵
$$\begin{array}{rl}{S}_b& =\sum ({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^T\end{array}$$
在C类空间，定义这样一种方式来衡量不同类别的离散程度。
$$\begin{array}{rl}{S}_b& =\sum _{i=1}^C{N}_i({\mu }_{\mathbf{i}}-\mu )({\mu }_{\mathbf{i}}-\mu {)}^T\\ \mu & =\frac{1}{N}\sum _{\forall x}x=\frac{1}{N}\sum _{\forall x}{N}_i{\mu }_i,{\mu }_i=\frac{1}{N_i}\sum _{x\in clas{s}_i}x\end{array}$$

投影空间

类内均值和空间均值

$$\begin{array}{r}\widetilde{{\mu }_i}=\frac{1}{N_i}\sum _{y\in clas{s}_i}y\end{array}$$
$$\begin{array}{rl}\tilde{\mu }& =\frac{1}{N}\sum _{\forall y}y\end{array}$$

散度矩阵

$$\begin{array}{r}\widetilde{S_w}=\sum _{i=1}^C\widetilde{S_i}=\sum _{i=1}^C\sum _{y\in clas{s}_i}(y-\widetilde{{\mu }_i})(y-\widetilde{{\mu }_i}{)}^T\end{array}$$
$$\begin{array}{rl}\widetilde{S_b}& =\sum _{i=1}^C{N}_i(\widetilde{{\mu }_{\mathbf{i}}}-\tilde{\mu })(\widetilde{{\mu }_{\mathbf{i}}}-\tilde{\mu }{)}^T\end{array}$$
按照二维空间的方法，我们可以得出两个空间的散度矩阵变换关系：
$$\begin{array}{r}\widetilde{S_w}=W^T{\mathbf{S}}_{w}W\end{array}$$
$$\begin{array}{rl}\widetilde{S_b}& =W^T{\mathbf{S}}_{b}W\end{array}$$
照葫芦画瓢构建多维空间的评价函数：
$$\begin{array}{rl}J(w)& =\frac{|\widetilde{S_b}|}{|\widetilde{S_w}|}=\frac{|W^T{\mathbf{S}}_{b}W|}{|W^T{\mathbf{S}}_{w}W|}\end{array}$$
寻求$W^{\ast }$令上式最大化，眼花缭乱的变化不管了，最后

$$\begin{array}{rl}\Rightarrow & S_w^{-1}{S}_b{W}^{\ast }=\lambda W^{\ast }\\ & \lambda =J(w)=Scalar\end{array}$$
又变成了求矩阵特征值和特征向量的问题，这多维空间的矩阵运算不得不依靠工具来帮忙了。至此，公式推导就差不多这样吧。

后记

LDA这个学习动力来自一篇论文，可以最后学习下来，发现暂时对我面临的问题帮助不大，不过真的感慨经典的机器学习算法很精妙，文献【5】的实现有空再看吧。

附录

散点图python程序

import numpy as np
import matplotlib.pyplot as plt


X_1 = [(4,2),(2,4),(2,3),(3,6),(4,4)]
X_2 = [(9,10),(6,8),(9,5),(8,7),(10,8)]

fig = plt.figure(figsize=(10, 10))
ax0 = fig.add_subplot(111)
ax0.set_xlim(-1, 13)
ax0.set_ylim(-1, 13)

for x in X_1:
    ax0.scatter(x[0],
                x[1],
                c='b', marker='*', label='class1', edgecolors='green')

for x in X_2:
    ax0.scatter(x[0],
                x[1],
                c='r', marker='x', label='class2', edgecolors='black')
mu1 = np.mean(np.array(X_1),axis=0)

ax0.scatter(mu1[0],
                mu1[1],
                c='black', marker='p', label='mu_1', edgecolors='green', s=100)

mu2 = np.mean(np.array(X_2),axis=0)

ax0.scatter(mu2[0],
                mu2[1],
                c='purple', marker='h', label='mu_1', edgecolors='yellow', s=100)
#ax0.legend(loc='upper right')

plt.show()

pass