线性判别分析

线性判别分析

核心思想

线性判别分析(Linear Discriment Analysis, LDA)是一种经典的分类算法。核心思想是将训练数据投影到这样的一条直线上：

• 在该直线上的所有投影点，属于同一类别的数据尽可能的近，简称类内近。
• 在该直线上的所有投影点，属于不同类的数据尽可能的远，简称类间远。

当我们对新数据进行预测时，只需同样的将该数据投影到求得的直线上，通过判断，投影点哪一个类近，就认为是哪一类。

总结起来就是六个字：类内近，类间远。

数学推导

我们以二分类为例：

我们假设输入样本为$(X,Y)$,样本总数为N，有两个类别$C_1$和$C_2$。
$X={\left(\begin{array}{c}{x}_{11},x_{12},\cdots x_{1p}\\ x_{21},x_{22},\cdots ,x_{2p}\\ ⋮\\ x_{n1},x_{N2},\cdots ,x_{Np}\end{array}\right)}_{N\times p}$
$Y={\left(y_1,y_2,\cdots ,y_N\right)}^{\top },y\in \{C_1,C_2\}$

则所求直线可表示为：

$y=W^{\top }x$
其中，$W={\left(w_1,w_2,\cdots ,w_N\right)}^{\top }$

为方便运算，我们假定$\Vert W\Vert =1$。

其中样本点$\Vert x_i\Vert$在直线$y=w^{\top }x$的投影距为：

$\Vert x_i\Vert \cdot \cos \theta =\Vert x_i\Vert \cdot \Vert w\Vert \cdot \cos \theta ={\omega }^{\top }{x}_i$

我们以投影距作为样本点$x_i$在直线$y=w^{\top }x$的一维坐标。

类间距我们用样本的方差均值表示，类内距我们用样本方差表示。

样本均值：$\begin{array}{r}\bar{y}=\frac{1}{N}\sum _{i=1}^N{w}^{\top }{x}_i\end{array}$

样本方差：$\begin{array}{r}S=\frac{1}{N}\sum _{i=1}^N\left(w^{\top }{x}_i-\bar{y}\right){\left(w^{\top }{x}_i-\bar{y}\right)}^{\top }\end{array}$

类间距为：${\left({\bar{y}}_1-{\bar{y}}_2\right)}^2$

类内距为：$S_1+S_2$

优化函数为:$J(w)=\frac{{\left(\overline{y_1}-{\bar{y}}_2\right)}^2}{S_1+S_2}$

$w=\arg {\max }_{w}J(w)=\arg {\max }_w\frac{\left({\bar{y}}_1-{\bar{y}}_2\right)}{S_1+S_2}$

其中：

$\begin{array}{rl}{\left({\bar{y}}_1-{\bar{y}}_2\right)}^2& ={\left(\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^{\top }{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_1}{w}^{\top }{x}_i\right)}^2\\ & ={\left(w^{\top }\frac{1}{N_i}\sum _{i=1}^{N_1}{x}_i-{\omega }_i\sum _{i=1}^{N_2}{x}_i\right)}^2\\ & =w^{\top }\left({\bar{x}}_{c_1}-{\bar{x}}_{c_2}\right)({\bar{x}}_{c_1}-{\bar{x}}_{c_2}{)}^{\top }w\end{array}$

$\begin{array}{rl}{S}_1& =\frac{1}{N_1}\sum _{i=1}^{N_1}\left({\omega }^{\bar{j}}{x}_i-{\bar{y}}_1\right){\left({\omega }^{\top }{x}_i-{\bar{y}}_1\right)}^{\top }\\ & =\frac{1}{N_1}\sum _{i=1}^{N_1}\left(w^{\top }{x}_i-\frac{1}{)}{N}_1\sum _{i=1}^N{w}^{\top }{x}_i\right)\cdot ({\omega }_{x_i}-\frac{1}{N_1}\sum _{i=1}^N{w}^{\top }{x}_i\\ & =\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^{\top }\left(x_i-\frac{1}{N_1}\sum _{i=1}^N{x}_i\right)\cdot {\left(x_i-\frac{1}{N_1}\sum _{i=1}^N{x}_i\right)}^{\top }\cdot w\\ & =w^{\top }\frac{1}{N_1}\sum _{i=1}^N\left(x_i-{\bar{x}}_1\right){\left(x_i-{\bar{x}}_1\right)}^{\top }\cdot w\\ & =w^{\top }{S}_{C_1}w\end{array}$

同理$S_2=w^{\top }{S}_{C_2}w$

故 :
$\begin{array}{rl}J(w)& =\frac{{\left(\overline{y_1}-{\bar{y}}_2\right)}^2}{S_1+S_2}\\ & =\frac{w^{\top }\left({\bar{x}}_{c_1}-{\bar{x}}_{c_2}\right)({\bar{x}}_{c_1}-{\bar{x}}_{c_2}{)}^{\top }w}{w^{\top }(S_{C_1}+S_{C_2})w}\end{array}$

而其中$({\bar{x}}_{c_1}-{\bar{x}}_{c_2})({\bar{x}}_{c_1}-{\bar{x}}_{c_2}{)}^{\top }$和$(S_{C_1}+S_{C_2})$与w无关，为方便运算，我们令$S_b=({\bar{x}}_{c_1}-{\bar{x}}_{c_2})({\bar{x}}_{c_1}-{\bar{x}}_{c_2}{)}^{\top }$, $S_w=S_{C_1}+S_{C_2}$。

则$J(w)=\frac{w^{\top }{S}_{b}w}{w^{\top }{S}_{w}w}$

对w进行求导:

$\begin{array}{rl}\frac{\partial J(\omega )}{\partial \omega }& =\frac{\partial }{\partial w}{\omega }^{\top }{S}_b\omega {\left({\omega }^{\top }{S}_w\omega \right)}^{-1}\\ & =2S_{b}w{\left(w^{\top }{S}_{w}w\right)}^{-1}+w^{\top }{S}_{b}w(-1){\left(w^{\top }{S}_{w}w\right)}^{-2}\cdot 2S_{\omega }w=0\end{array}$

两边同乘以${\left(w^{\top }{S}_{w}w\right)}^2$,得：

$S_{b}w\left(w^{\top }{S}_{w}w\right)-w^{\top }{S}_{b}w\cdot S_{w}w=0$

$S_{b}w{w}^{\top }{S}_{w}w=w^{\top }{S}_{b}w{S}_{w}w$

其中：$S_b$和$S_w$均是（p * p）维的，而w是(p * 1)维的，

则$w^{\top }{S}_{w}w$ 和 $w^{\top }{S}_{b}w$的结果均为1维常量，故可直接消去，不妨设为常数C。则

$S_{w}w=\frac{w^{\top }{S}_{w}w}{w^{\top }{S}_{b}w}{S}_{b}w$

$w=C{S}_v^{-1}{S}_{b}w$

$w\propto S_w^{-1}{S}_{b}w$

$w\propto S_w^{-1}\left({\bar{x}}_{c_1}-{\bar{x}}_{c_2}\right){\left({\bar{x}}_{c_1}-{\bar{x}}_{c_2}\right)}^{\top }w$

同理${\left({\bar{x}}_{c_1}-{\bar{x}}_{c_2}\right)}^{\top }w$ 是一个常数。

故最终可获得：

$\begin{array}{l}w\propto S_{w^{-1}}\left({\bar{x}}_{c_1}-{\bar{x}}_{c_2}\right)\\ w\propto {\left(S_{c_1}+S_{c_2}\right)}^{-1}({\bar{x}}_1-{\bar{x}}_2)\end{array}$

即我们计算得到了w的方向，从而也就知道了分类的超平面(垂直于该直线)，便可进行分类任务。

算法实现

待更新。

参考文献

[1] 机器学习
[2] https://github.com/shuhuai007/Machine-Learning-Session
[3] 图解机器学习