机器学习——线性判别分析原理及python代码实现

《机器学习：公式推导与代码实践》鲁伟著读书笔记。
线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的线性分类方法，其基本思想是将数据投影到低维空间，使得同类数据尽可能接近，异类数据尽可能疏远，所以线性判别分析也是一种监督降维算法。

LDA公式推导

线性判别分析的基本思想是将数据集投影到一条直线上，使得同类样本的投影点尽可能接近，不同类样本的投影点尽可能疏远。按此原理训练完成之后，将新样本投影到该直线上，根据投影点的位置来确定新样本点的类别。以二维变量为例，“+”表示正例，“-”表示反例。LDA的优化目标就是使投影后的类内距离小，类间距离大。

LDA二维图片来源
下面对二分类LDA的基本原理和数学推导，给定数据集$D=\left\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\right\}$其中，$x_i$为样本的n维特征向量，$y\in (0,1)$为样本的类别。令$N_j$（j为类别,0或1）为第j类样本的数量，$X_j$为第j类样本的集合，${\mu }_j$为第j类样本的均值向量，${\Sigma }_j$为第j类样本的协方差矩阵。其计算公式为：
${\mu }_j$的表达式为：$${\mu }_j=\frac{1}{N_j}{\Sigma }_{x\in X_j}x$$${\Sigma }_j$的表达式为：$${\Sigma }_j={\Sigma }_{x\in X_j}(x-{\mu }_j)(x-{\mu }_j{)}^T$$由于是二分类模型，因此我们只需要将数据投影到一条直线上，假设投影直线为向量$\omega$，对于任意一个样本$x$，他在直线上的投影为${\omega }^{T}x$。则投影之后，每类样本的均值向量和协方差的计算如下：
投影之后每类样本的均值向量：$$\frac{1}{N_j}{\Sigma }_{x\in X_j}{\omega }^{T}x={\omega }^T\frac{1}{N_j}{\Sigma }_{x\in X_j}x={\omega }^T{\mu }_j$$投影之后每类样本的协方差矩阵：$${\Sigma }_{x\in X_j}({\omega }^{T}x-{\omega }^T{\mu }_j)({\omega }^{T}x-{\omega }^T{\mu }_j{)}^T={\omega }^T{\Sigma }_{x\in X_j}(x-{\mu }_j)(x-{\mu }_j{)}^T\omega ={\omega }^T{\Sigma }_j\omega$$LDA模型的优化目标是使同类样本的投影点尽可能接近，我们可以使同类样本的投影点的协方差尽可能小，即${\omega }^T{\Sigma }_0\omega +{\omega }^T{\Sigma }_1\omega$；异类样本的投影点尽可能疏远，可以使类中心点之间的距离尽可能远，即$||{\omega }^T{\mu }_0-{\omega }^T{\mu }_1|{|}_2^2$尽可能大。综合考虑两个优化目标的情况下，目标函数可以定义为：$$\text{arg max }J(\omega )=\frac{||{\omega }^T{\mu }_0-{\omega }^T{\mu }_1|{|}_2^2}{{\omega }^T{\Sigma }_0\omega +{\omega }^T{\Sigma }_1\omega }=\frac{{\omega }^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\omega }{{\omega }^T({\Sigma }_0+{\Sigma }_1)\omega }$$定义类内散度矩阵为$S_{\omega }={\Sigma }_0+{\Sigma }_1$，类间散度矩阵为$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$。则目标函数可以改写为：$$\text{arg max }J(\omega )=\frac{{\omega }^T{S}_b\omega }{{\omega }^T{S}_{\omega }\omega }$$为了对目标函数进行简化，我们令${\omega }^T{S}_{\omega }\omega =1$，则可以将其视作目标函数的约束条件。具体如下：$$\text{arg max }F(\omega )={\omega }^T{S}_b\omega$$$$\text{s.t. }{\omega }^T{S}_{\omega }\omega =1$$

拉格朗日函数问题

定义（拉格朗日函数）：对于优化问题：
$$\text{min }f(u)$$$$\begin{gathered} \text{s.t. }{g}_i(u)\le 0,i=1,2,3,...,m \\ {h}_i(u)=0,j=1,2,3,...,n \end{gathered}$$定义其拉格朗日函数便为：$$\mathcal{L}(\mathbf{u},\mathbf{\alpha },\mathbf{\beta }):=f(\mathbf{u})+\sum _{i=1}^m{\alpha }_i{g}_i(\mathbf{u})+\sum _{j=1}^n{\beta }_j{h}_j(\mathbf{u})$$其中，${\alpha }_i>0$。

利用拉格朗日函数优化目标函数

利用拉格朗日函数可得：$$\mathcal{L}(\omega )={\omega }^T{S}_b\omega -\lambda ({\omega }^T{S}_{\omega }\omega -1)$$取上式对$\omega$求导可得：$$\frac{d\mathcal{L}(\omega )}{d\omega }=2S_b\omega -2\lambda S_{\omega }\omega =0$$即：$$2S_b\omega =2\lambda S_{\omega }\omega$$$$S_b\omega =\lambda S_{\omega }\omega$$如果$S_{\omega }$可逆，则：$$\lambda \omega =S_{\omega }^{-1}{S}_b\omega$$$\lambda$仅仅是一个参数，所以上式等于：$$\omega =\lambda S_{\omega }^{-1}{S}_b\omega$$考虑到$S_{\omega }$矩阵数值解的稳定性，如果矩阵不可逆，则我们可以对矩阵$S_{\omega }$进行奇异值分解，然后再对分解后的矩阵进行求逆操作，即可得到$S_{\omega }^{-1}$。$$S_{\omega }=U\Sigma V^{-1}$$由于对于二分类模型，$S_b\omega =({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\omega$，可以看出$S_b\omega$和$({\mu }_0-{\mu }_1)$是平行的，所以：$$S_b\omega =k({\mu }_0-{\mu }_1)$$所以，$\omega$可以表示为：$$\omega =\lambda S_{\omega }^{-1}k({\mu }_0-{\mu }_1)$$去除参数可得：$$\omega =S_{\omega }^{-1}({\mu }_0-{\mu }_1)$$我们只需要求出原始数据集二分类样本的均值和方差就可以确定最佳的投影方向。

LDA算法的具体流程

1. 对训练数据集根据组别进行分组；
2. 分别计算每组样本的均值和协方差；
3. 计算类内散度矩阵$S_{\omega }={\Sigma }_0+{\Sigma }_1$；
4. 计算两类样本的均值差$({\mu }_0-{\mu }_1)$;
5. 求$S_{\omega }$的逆矩阵$S_{\omega }^{-1}$，若矩阵不可逆，则可用奇异值分解的方式求解；
6. 根据$S_{\omega }^{-1}({\mu }_0-{\mu }_1)$得到$\omega$;
7. 最后计算投影后的数据点$Y=\omega X$。

对数几率回归的NumPy手撕代码

Numpy LDA实现

import numpy as np

class LDA():
    def __init__(self):
        # 初始化权重矩阵
        self.w = None
        
    # 计算协方差矩阵
    def calc_cov(self, X, Y=None):
        m = X.shape[0]
        # 数据标准化
        X = (X - np.mean(X, axis=0))/np.std(X, axis=0)
        Y = X if Y == None else (Y - np.mean(Y, axis=0))/np.std(Y, axis=0)
        return 1 / m * np.matmul(X.T, Y)
    
    # 对数据进行投影
    def project(self, X, y):
        self.fit(X, y)
        X_projection = X.dot(self.w)
        return X_projection
    
    # LDA拟合过程
    def fit(self, X, y):
        # 按类分组
        X0 = X[y == 0]
        X1 = X[y == 1]

        # 分别计算两类数据自变量的协方差矩阵
        sigma0 = self.calc_cov(X0)
        sigma1 = self.calc_cov(X1)
        # 计算类内散度矩阵
        Sw = sigma0 + sigma1

        # 分别计算两类数据自变量的均值和差
        u0, u1 = np.mean(X0, axis=0), np.mean(X1, axis=0)
        mean_diff = np.atleast_1d(u0 - u1)

        # 对类内散度矩阵进行奇异值分解
        U, S, V = np.linalg.svd(Sw)
        # 计算类内散度矩阵的逆
        Sw_ = np.dot(np.dot(V.T, np.linalg.pinv(np.diag(S))), U.T)
        # 计算w
        self.w = Sw_.dot(mean_diff)

    
    # LDA分类预测
    def predict(self, X):
        y_pred = []
        for sample in X:
            h = sample.dot(self.w)
            y = 1 * (h < 0)
            y_pred.append(y)
        return y_pred

LDA算法的数据测试：

from sklearn import datasets
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

#导入数据集
data = datasets.load_iris()
#数据与标签
X = data.data
y = data.target
#仅取标签为0，1的数据
X = X[y != 2]
y = y[y != 2]
#划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=41)
#创建模型
lda = LDA()
#LDA模型拟合
lda.fit(X_train, y_train)
#预测
y_pred = lda.predict(X_test)
#计算准确度
accuracy = accuracy_score(y_test, y_pred)
print(accuracy)

accuracy：0.85