LDA线性判别分析的原理推导与Python实现

LDA（Linear Discriminant Analysis）是一种有监督的分类算法，他常常被用来做数据与处理中的降维或者分类任务

目的
LDA的目标是找出能够最大化类间区分度的坐标轴成分将特征空间（数据集中的多维样本）投影到一个维度更小的k维子空间中，同时保持区分类别的信息

原理
将原始数据投影到维度更低的空间中，使得投影后的点会形成按照类别区分，一簇一簇的情况，相同类别的店，将会在投影后的空间中更接近

与PCA区别
首先LDA是有监督的，此外，最大的区别是LDA计算的是另一类特定的方向，更关心分类而不是方差

目标函数的导出
LDA的目标是找出 $y=w^{T}x$ 中的$w$，即投影方向

LDA分类器的一个目标是使得不同类别之间的距离越远越好，同一类别之中的距离越近越好，所以需要计算类内和类间的距离

每一类样本的均值为$${\mu }_i=\frac{1}{N_i}\sum _{x\in {\omega }_i}x$$
投影后，每一类样本均值变为$${\tilde{\mu }}_{\mathrm{i}}=\frac{1}{N_i}\sum _{y\in {\omega }_i}y=\frac{1}{N_i}\sum _{x\in {\omega }_i}{w}^{T}x=w^T{\mu }_i$$要使得投影后的两类样本中心点尽量分离，设定$$\mathrm{J}(\mathrm{w})=|{\mu }_1-{\mu }_2|=\left|w^T\left({\mu }_1-{\mu }_2\right)\right|$$但是只让$\mathrm{J}(\mathrm{w})$最大只可以达到类间距离尽可能大，无法实现类内距离尽可能小，所以定义$${\tilde{s}}_i^2=\sum _{y\in {\omega }_i}{\left(y-{\tilde{\mu }}_i\right)}^2$$
综合考虑$\mathrm{J}(\mathrm{w})$和${\tilde{s}}_t^2$，设定目标函数为$$\mathrm{I}(\mathrm{w})=\frac{{\left|{\mu }_1-{\mu }_2\right|}^2}{{\hat{s}}_1^2+{\hat{s}}_2^2}$$其中${\tilde{s}}_t^2$被称为散列值，它的值越大代表样本点越集中，越小代表样本点越分散，公式展开为$${\tilde{s}}_i^2=\sum _{y\in {\omega }_i}{\left(y-{\tilde{\mu }}_i\right)}^2=\sum _{x\in {\omega }_i}{\left(w^{T}x-w^{\tau }{\mu }_i\right)}^2=\sum _{x\in {\omega }_i}{w}^T\left(x-{\mu }_i\right){\left(x-{\mu }_i\right)}^{\tau }w$$公式中间的那部分又被称散列矩阵，计算方法为$${\mathrm{s}}_i=\sum _{x\in {\omega }_i}\left(x-{\mu }_i\right){\left(x-{\mu }_i\right)}^T$$
定义投影前类内散布矩阵为$$Sw=S1+S2$$
所以投影后每一类的散列值为$${\tilde{s}}_i^2=w^{\mathrm{T}}{\mathrm{s}}_{i}w$$
整体类内散列值为，即目标函数分母为$${\widetilde{s_1}}^2+{\widetilde{s_2}}^2=w^{\mathrm{T}}{\mathrm{S}}_{w}w$$
继续将目标函数的分子展开$${\left({\tilde{\mu }}_1-{\tilde{\mu }}_2\right)}^2={\left(w^{\top }{\mu }_1-w^{\top }{\mu }_2\right)}^2=w^{\top }\left({\mu }_1-{\mu }_2\right){\left({\mu }_1-{\mu }_2\right)}^{\top }w=w^{\top }{S}_{B}w$$其中$\left({\mu }_1-{\mu }_2\right){\left({\mu }_1-{\mu }_2\right)}^{\top }$被称为类间散列布矩阵$S_B$

所以最终目标函数被化简为$$J(w)=\frac{w^T{S}_{B}w}{w^T{S}_{w}w}$$

目标函数的求解
由于目标函数是分数形式的，所以需要首先定下分母或者分子，否则有无穷多个解
此处将分母的大小设定为1（同时是一种归一化处理）
及目标函数变为$$\min J(w)=w^T{S}_{B}w$$$$S.T：w^T{S}_{w}w=1$$
利用拉格朗日法进行求解
$$\begin{array}{l}c(w)=w^{\prime }{S}_{B}w-\lambda \left(w^{\prime }{S}_{B}w-1\right)\\ \Rightarrow \frac{dc}{dw}=2S_{B}w-2\lambda S_{w}w=0\\ \Rightarrow S_{B}w=\lambda S_{w}w\end{array}$$
对等式两边都乘以$S_w$的逆，得$$S_W^{-1}{S}_{B}w=\lambda w$$
由此可以得出，$w$就是矩阵$S_W^{-1}{S}_{B}w$的特征向量

feature_dict = {i: label for i, label in
                zip(range(4), ("sepal length in cm", "sepal width in cm", "petal length in cm", "petal width in cm"))}
import pandas as pd
#读取数据---------------------------------------------------------------------------------------------------------------
df = pd.read_csv("iris.data", header=None, sep=",")
df.columns = [l for i, l in sorted(feature_dict.items())] + ["class label"]
df.dropna(how="all", inplace=True)
print(df.tail())
from sklearn.preprocessing import LabelEncoder#注意利用LabelEncoder库可以将分类数据数字化

X = df[["sepal length in cm", "sepal width in cm", "petal length in cm", "petal width in cm"]].values
y = df["class label"].values

enc = LabelEncoder()
enc.fit(y)
y = enc.transform(y) + 1
print(y)






#计算S_W---------------------------------------------------------------------------------------------------------------
import numpy as np

np.set_printoptions(precision=4)
mean_vectors = []
for cl in range(1, 4):
    mean_vectors.append(np.mean(X[y == cl], axis=0))
    print("%s mean is %s" % (cl, mean_vectors))

S_W = np.zeros((4, 4))
for cl, mv in zip(range(1, 4), mean_vectors):
    class_sc_mat = np.zeros((4, 4))
    for row in X[y == cl]:
        row, mv = row.reshape(4, 1), mv.reshape(4, 1)
        class_sc_mat += (row - mv).dot((row - mv).T)
    S_W += class_sc_mat







#计算S_B---------------------------------------------------------------------------------------------------------------
overall_mean = np.mean(X, axis=0)

S_B = np.zeros((4, 4))
for i, mean_vec in enumerate(mean_vectors):
    n = X[y == i + 1].shape[0]
    mean_vec = mean_vec.reshape(4, 1)
    overall_mean = overall_mean.reshape(4, 1)
    S_B += n * (mean_vec - overall_mean).dot((mean_vec - overall_mean).T)








#求特征值和特征向量---------------------------------------------------------------------------------------------------------------
eigen_vals, eigen_vecs = np.linalg.eig(np.linalg.inv(S_W).dot(S_B))
eigen_pairs = [(np.abs(eigen_vals[i]), eigen_vecs[:, i]) for i in range(len(eigen_vals))]
eigen_pairs = sorted(eigen_pairs, key=lambda k: k[0], reverse=True)
for eigen_val in eigen_pairs:
    print(eigen_val[0])
print(eigen_pairs)





#画出特征值的占比---------------------------------------------------------------------------------------------------------------
tot = sum(eigen_vals.real)
discr = [(i / tot) for i in sorted(eigen_vals.real, reverse=True)]
cum_discr = np.cumsum(discr)
import matplotlib.pyplot as plt

plt.bar(range(1, 5), discr, alpha=0.5, align='center', label='individual discriminability')
plt.step(range(1, 5), cum_discr, where='mid', label='cumulative discriminability')
plt.ylabel('discriminability ration')
plt.xlabel('Linear Discriminants')
plt.ylim([-0.1, 1.1])
plt.legend(loc='best')
plt.show()






#水平合并特征向量得出W---------------------------------------------------------------------------------------------------------------
W = np.hstack((eigen_pairs[0][1][:, np.newaxis], eigen_pairs[1][1][:, np.newaxis]))
print(W)





#W和原始数据做内积，得出新数据--------------------------------------------------------------------------------------------------------------
X_new = X.dot(W)





#绘制新数据图像--------------------------------------------------------------------------------------------------------------
colors = ['r', 'b', 'g']
markers = ['s', 'x', 'o']
for l, c, m in zip(np.unique(y), colors, markers):
    plt.scatter(X_new[y == l, 0], X_new[y == l, 1]*(-1) , c=c, label=l, marker=m)
plt.xlabel('LD 1')
plt.ylabel('LD 2')
plt.legend(loc='lower right')
plt.show()

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
lda = LinearDiscriminantAnalysis(n_components=2)
X_new = lda.fit_transform(X,y)
for l, c, m in zip(np.unique(y), colors, markers):
    plt.scatter(X_new[y == l, 0], X_new[y == l, 1] , c=c, label=l, marker=m)
plt.show()