机器学习算法理论与实践——线性判别分析(LDA)

一、基本思想

  线性判别分析(Linear Discriminant Analysis，简称 LDA)的思想：给定训练样例集，设法将样例投射到一条直线或一个超平面上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线或超平面上，再根据投影点的位置来确定新样本的类别。

二、数学推导

1.二分类

  给定数据集$D=\{(x_i,y_i){\}}_{i=1}^m,y_i\in \{0,1\}$。令$X_i$表示样例集合，${\mu }_i$表示均值向量（${\mu }_1$表示$x\in X_1$的$x$的均值），${\sum }_i$表示协方差矩阵（${\sum }_0={\sum }_{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T$），此处$i\in \{0,1\}$。则两类样本的中心在直线上的投影为$w^T{\mu }_i$；两类样本所有点投射到直线上的协方差为$w^T{\sum }_{i}w$。

  投射的协方差推导过程：
由${\sum }_i={\sum }_{x\in X_i}(x_i-{\mu }_i)(x_i-{\mu }_i{)}^T$可得投射后的协方差${\sum }_i^{\prime }={\sum }_{x\in X_i}(w^T{x}_i-w^T{\mu }_i)(w^T{x}_i-w^T{\mu }_i{)}^T$，又
$$\begin{array}{l}(w^T{x}_i-w^T{\mu }_i)(w^T{x}_i-w^T{\mu }_i{)}^T\\ \\ =w^T(x_i-{\mu }_i)[w^T(x_i-{\mu }_i){]}^T\\ \\ =w^T(x_i-{\mu }_i)(x_i-{\mu }_i{)}^{T}w\end{array}$$
则可得结果$w^T{\sum }_{i}w$。
  目标是使$w^T{\sum }_{0}w+w^T{\sum }_{1}w$尽可能小，使$\parallel w^T{\mu }_0-w^T{\mu }_1{\parallel }_2^2$尽可能大，同时考虑两者，可得到欲最大化的目标
$$\begin{array}{c}J=\frac{\parallel w^T{\mu }_0-w^T{\mu }_1{\parallel }_2^2}{w^T{\sum }_{0}w+w^T{\sum }_{1}w}\\ \\ =\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\sum }_0+{\sum }_1)w}\\ \\ =\frac{w^T{S}_{b}w}{w^T{S}_{w}w}\end{array}$$
  这就是LDA欲最大化的目标，即$S_b$与$S_w$的"广义瑞利商"(generalized Rayleigh quotient)。其中"类内散度矩阵"(within-class scatter matrix)为$S_w={\sum }_0+{\sum }_1={\sum }_{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+{\sum }_{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T$；“类间散度矩阵”(between-class scatter matrix)为$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$。
  $S_b$和$S_w$是通过给定数据集计算出来，是确定的，所以$J$的分子分母都是关于$w$的二次项，若$w$是一个解，则对任意常数$\alpha$，$\alpha w$也是解。不失一般性，令$w^T{S}_{w}w=1$，则最大化目标等价于
$$\begin{array}{c}{\min }_w-w^T{S}_{b}w\\ s.t.w^T{S}_{w}w=1\end{array}$$
根据拉格朗日乘子法，有
$$L(w)=-w^T{S}_{b}w+\lambda (w^T{S}_{w}w-1)$$
  令$\frac{\partial L}{\partial w}=-(S_b+S_b^T)w+\lambda (S_w+S_w^T)w=-2S_{b}w+2\lambda S_{w}w=0$有$S_{b}w=\lambda S_{w}w$。（从$S_b$和$S_w$的定义可知$S_b=S_b^T$）
  由于$S_{b}w$的方向恒为${\mu }_0-{\mu }_1$，不妨令$S_{b}w=\lambda ({\mu }_0-{\mu }_1)$，可解得
$$w=S_w^{-1}({\mu }_0-{\mu }_1)$$
实践中通常是对$S_w$进行奇异值分解，即$S_w=U\sum V^T,\sum$是一个实对角矩阵，对角线上的元素是$S_w$的奇异值，则$S_w^{-1}=V{\sum }^{-1}{U}^T$。

2.多分类

  假定存在N个类，且第i类的样本数为$m_i$。定义"全局散度矩阵"为$S_t=S_b+S_w={\sum }_{i=1}^m(x_i-\mu )(x_i-\mu {)}^T$。"类内散度矩阵"为$S_w={\sum }_{i=1}^N{\sum }_{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$。"类间散度矩阵"为$S_b={\sum }_{i=1}^N{m}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$，类似的

三、sklearn包中的LinearDiscriminantAnalysis

  sklearn中关于实现LDA的类是LinearDiscriminantAnalysis，官方文档： https://scikit-learn.org/stable/modules/generated/sklearn.discriminant_analysis.LinearDiscriminantAnalysis.html#sklearn.discriminant_analysis.LinearDiscriminantAnalysis
  下面是该类各参数、属性和方法的介绍，基本翻译自官方文档：

sklearn.discriminant_analysis.LinearDiscriminantAnalysis(solver=‘svd’, shrinkage=None, priors=None, n_components=None, store_covariance=False, tol=0.0001)

1.参数解释

1. solver：字符串，可选参数。指定求解超平面矩阵的方法。可选方法有
   (1) ‘svd’：奇异值分解(默认)。不需要计算协方差矩阵，因此对于具有大规模特征的数据，推荐使用该方法，该方法既可用于分类也可用于降维。
   (2) ‘lsqr’：最小二乘，结合shrinkage参数。该方法仅可用于分类。
   (3) ‘eigen’：特征值分解，结合shrinkage参数。特征值不多的时候推荐使用该方法，该方法既可用于分类也可用于降维。
2. shrinkage：字符串或者浮点数，可选参数。正则化参数，增强LDA分类的泛化能力(仅做降维时可不考虑此参数)。
   (1) None：不正则化(默认)。
   (2) ‘auto’：算法自动决定是否正则化。
   (3) [0,1]之间的浮点数：指定值。
   shrinkage参数仅在solver参数选择’lsqr’和’eigen’时有用。
3. priors：数组，可选参数。数组中的元素依次指定了每个类别的先验概率，默认为None，即每个类相等。降维时一般不需要关注这个参数。
4. n_components：整数，可选参数。指定降维时降到的维度，该整数必须小于等于min(分类类别数-1，特征数)，默认为None，即min(分类类别数-1，特征数)。
5. store_covariance：布尔值，可选参数。额外计算每个类别的协方差矩阵，仅在solver参数选择’svd’时有效，默认为False不计算。
6. tol：浮点数，可选参数。指定’svd’中秩估计的阈值。默认值为0.0001。

2.属性解释

1. coef_：数组，shape (特征数,) or (分类数, 特征数)。权重向量。
2. intercept_：数组，shape (特征数,) 。截距项。
3. covariance_：数组，shape (特征数, 特征数) 。适用于所有类别的协方差矩阵。
4. explained_variance_ratio_：数组，shape (n_components,) 。每一个维度解释的方差占比(原文Percentage of variance explained by each of the selected components)。
5. means_：数组，shape (分类数, 特征数) 。类均值。
6. priors_：数组，shape (分类数,) 。类先验概率(加起来等于1)。
7. scalings_：数组，shape (rank秩, 分类数-1) 。每个高斯分布的方差σ(原文Scaling of the features in the space spanned by the class centroids)。
8. xbar_：数组，shape (特征数,) 。整体均值。
9. classes_：数组，shape (分类数,) 。去重的分类标签Unique class labels，即分哪几类。

3.方法解释

1. decision_function(self, X)：
   预测置信度分数。置信度分数是样本到（分类）超平面的带符号的距离。
   参数： X: shape(样本数量, 特征数)
   返回值：数组，二分类——shape(样本数,)，多分类——shape(样本数, 分类数)
2. fit(self, X, y)：
   训练模型
3. fit_transform(self, X, y=None, **fit_params)：
   训练模型同时将X转换为新维度的标准化数据。
   参数：X,y
   返回值：数组，shape(样本数量, 新特征数)
4. transform(self, X)：
   X转换为标准化数据。
   参数：X
   返回值：数组，shape(样本数量, 维数)
5. get_params(self, deep=True)：
   以字典返回LDA模型的参数值，比如solver、priors等。参数deep默认为True，还会返回包含的子模型的参数值。
6. predict(self, X)：
   根据模型的训练，返回预测值。
   参数：X: shape(样本数量, 特征数)
   返回值：数组，shape [样本数]
7. score(self, X, y, sample_weight=None)：
   根据给定的测试数据X和分类标签y返回预测正确的平均准确率。可以用于性能度量，返回模型的准确率，参数为x_test，y_test。
   参数：X,y
   返回值：浮点数
8. predict_log_proba(self, X)：
   返回X中每一个样本预测为各个分类的对数概率
   参数： X
   返回值：数组，shape(样本数, 分类数)
9. predict_proba(self, X)：
   返回X中每一个样本预测为各个分类的概率
   参数： X
   返回值：数组，shape(样本数, 分类数)

四、实例

1.数据来源

  本例数据来源于机器学习竞赛平台Kaggle，一个关于手机价格分类的数据。数据地址：https://www.kaggle.com/iabhishekofficial/mobile-price-classification

2.数据概况

  数据一共2000个样例，20个字段。分类字段为price_range，一共分为了4类。数据集无缺失值，无错误值。字段及解释如下

  由于从一般常识得知，机身厚度和机身重量对价格往往是没有直接影响的，故在建模时将这两个字段剔除。

3.代码实现

import pandas as pd
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn import model_selection

# 读取数据
data = pd.read_csv(r'C:\Users\Administrator\Desktop\train.csv')
# 剔除两个无关字段
data.drop(['m_dep', 'mobile_wt'], axis=1, inplace=True)
X = data[data.columns[:-1]]
Y = data[data.columns[-1]]
# 拆分为训练集和测试集
x_train, x_test, y_train, y_test = model_selection.train_test_split(X, Y, test_size=0.25, random_state=1234)
# LDA
lda = LinearDiscriminantAnalysis()
# 训练模型
lda.fit(x_train, y_train)
# 模型评估
print('模型准确率:\n', lda.score(x_test, y_test))

  最终得到模型的准确率为94.8%，说明模型效果还是不错的。

参考文献：
[1]周志华.《机器学习》.清华大学出版社,2016-1
[2]https://scikit-learn.org/stable/modules/generated/sklearn.discriminant_analysis.LinearDiscriminantAnalysis.html#sklearn.discriminant_analysis.LinearDiscriminantAnalysis