LDA(Fisher)线性判别分析

LDA(Linear Discriminant Analysis)是一种经典的线性判别方法，又称Fisher判别分析。该方法思想比较简单:给定训练集样例，设法将样例投影到一维的直线上，使得同类样例的投影点尽可能接近和密集（即希望类内离散度越小越好），异类投影点尽可能远离（即希望两类的均值点之差越小越好）

两类数据点的类心分别是$${\mu }_1=\frac{1}{|C_1|}\sum _{x\in C_1}x和{\mu }_2=\frac{1}{|C_2|}\sum _{x\in C_2}x$$。
样本点$x$投影到$w$方向上后，在一维直线上得到的点为：$y=w^{T}x$。
投影后的类心为：$$m_k=\frac{1}{|C_k|}\sum _{x\in C_k}{w}^{T}x=w^T\frac{1}{|C_k|}\sum _{x\in C_k}x=w^T{\mu }_k$$
类心间距为:$$\begin{gathered} (m_1-m_2{)}^2=(m_1-m_2)(m_1-m_2{)}^T \\ =w^T({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^{T}w=w^T{S}_{b}w \end{gathered}$$
其中$S_b$称为类间散度矩阵：$$S_b=({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^T$$
类内距离用类内样本的方差来衡量,对于第$k$个类别，方差为$$\begin{gathered} S_k=\sum _{x\in C_k}(y-m_k{)}^2=\sum _{x\in C_k}(w^T(x-{\mu }_k){)}^2 \\ =\sum _{x\in C_k}(w^T(x-{\mu }_k))(w^T(x-{\mu }_k){)}^T \\ =\sum _{x\in C_k}(w^T(x-{\mu }_k)(x-{\mu }_k{)}^{T}w) \\ =w^T[\sum _{x\in C_k}(x-{\mu }_k)(x-{\mu }_k{)}^T]w \end{gathered}$$
所有类别类内距离之和为：$$\begin{gathered} S_1^2+S_2^2 \\ =w^T[\sum _{x\in C_1}(x-{\mu }_1)(x-{\mu }_1{)}^T+\sum _{x\in C_2}(x-{\mu }_2)(x-{\mu }_2{)}^T]w \end{gathered}$$
所以类内散度矩阵为：$$S_w=\sum _{x\in C_1}(x-{\mu }_1)(x-{\mu }_1{)}^T+\sum _{x\in C_2}(x-{\mu }_2)(x-{\mu }_2{)}^T$$

我们的优化目标是提升类间距离，减小类内距离，所以可最大化函数：$$J(w)=\frac{(m_1-m_2{)}^2}{S_1^2+S_2^2}=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
从上式可以看出，$J$与$w$的方向有关，确定方向后，与$w$的长度无关。求解过程中，分子分母会同时变化，所以首先固定分母为某一个非0常数，即：$$w^T{S}_{w}w=c,c̸=0$$,此时求解$J(w)$等价于：$$\begin{gathered} \underset{w}{\max }{w}^T{S}_{b}w \\ s.t.w^T{S}_{w}w=c,c̸=0 \end{gathered}$$
此时可应用拉格朗日（Lagrange）乘数法：$$L(w,\lambda )=w^T{S}_{b}w-\lambda (w^T{S}_{w}w-c)$$
$$\begin{gathered} \frac{\partial L(w,\lambda )}{\partial w}=(S_b+S_b^T)w-\lambda (S_w+S_w^T)w \\ =2S_{b}w-2\lambda S_{w}w=0 \end{gathered}$$
化简可得：
$$S_w^{-1}{S}_{b}w=\lambda w$$
$$S_{b}w=({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^{T}w=\beta ({\mu }_1-{\mu }_2)$$表明$S_{b}w$的方向恒为${\mu }_1-{\mu }_2$,带入上式可得：
$$w=\frac{\beta }{\lambda }{S}_w^{-1}({\mu }_1-{\mu }_2)$$
又因为$w$只与方向有关，与长度无关，所以上式可以写为：
$$w=S_w^{-1}({\mu }_1-{\mu }_2)$$
考虑到数值解的稳定性，在实践中通常对$S_w$进行奇异值分解，即$S_w=U\Sigma V^T$,然后再由$S_w^{-1}=V{\Sigma }^{-1}{U}^T$。矩阵的奇异值分解可以参考：https://blog.csdn.net/winycg/article/details/83005881

sklearn实现LDA线性判别：

import numpy as np
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
y = np.array([1, 1, 1, 2, 2, 2])
clf = LinearDiscriminantAnalysis(solver='svd')
clf.fit(X, y)
print(clf.predict([[-0.8, -1]])) # [1]