Fisher‘s Linear Discriminent Analysis(FDA)

• FDA是一种降维方法
• 考虑类别，将数据投影到能最大限度分开数据的方向上

假设和符号

假设有两个类别
$y\in \{0,1\}$,
$X=[x_1,\dots ,x_n{]}_{d\ast n}$,
$Y=[y_1,\dots ,y_n{]}_{1\ast n}$,
我们要把所有的点映射到一个方向$w$上，$z=w^{T}x$

假设${\mu }_0$是一类的均值，${\mu }_1$是另一类的均值。${\mu }_0=\frac{1}{n_0}{\sum }_{i:y_i=0}{x}_i,{\mu }_1=\frac{1}{n_1}{\sum }_{i:y_i=1}{x}_i$.

类间分散

数据点的均值为$\mu$，投影到方向$w$后的均值为$w^T\mu$

使类间尽量分散，就是最大化下面的值：
$$\underset{w}{\max }(w^T{\mu }_0-w^T{\mu }_1{)}^2$$
等于
$$\underset{w}{\max }{w}^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w$$
定义$S_B=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$为between class covariance

类内聚集

数据点的方差为$\Sigma$，投影到方向$w$后的方差为$w^T\Sigma w$

使类内数据尽量聚集，就是最小化下面的值：
$$\underset{w}{\min }{w}^T({\Sigma }_0+{\Sigma }_1)w$$
定义$S_W={\Sigma }_0+{\Sigma }_1$为within class covariance

综合上面两个条件

$$\begin{gathered} \underset{w}{\max }{w}^T{S}_{B}w \\ \underset{w}{\min }{w}^T{S}_{W}w \end{gathered}$$
等价于：
$$\begin{array}{rl}& \underset{w}{\max }{w}^T{S}_{B}w\\ & s.t.w^T{S}_{W}w=1\end{array}$$
用Larange求解：
$L(w,\lambda )=w^T{S}_{B}w-\lambda (w^T{S}_{W}w-1)$，对$w$求导：
$$\begin{array}{rl}& \frac{\partial L}{\partial w}=S_{B}w-\lambda S_{W}w=0\\ & S_{B}w=\lambda S_{W}w\\ & S_W^{-1}{S}_{B}w=\lambda w\end{array}$$

$S_W^{-1}{S}_B$的秩是1，所以上式只有一个解。还有一种简单解法：
$$S_W^{-1}({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w=\lambda w$$
$w$的方向为$S_W^{-1}({\mu }_0-{\mu }_1)$

多个类的情况

对应k类问题，应该有k-1个方向。
$W^T{S}_{B}W$，$W^T{S}_{W}W$，其中$W=[w_1,w_2\dots ,w_{k-1}]$

$Tr(W^T{S}_{B}W)=w_1^T{S}_B{w}_1+\cdots +w_{k-1}^T{S}_B{w}_{k-1}$

$$\begin{array}{rl}\underset{W}{\max }& Tr(W^T{S}_{B}W)\\ s.t.& Tr(W^T{S}_{W}W)=1\end{array}$$
用Lagrange求解:
$L(W,\lambda )=Tr(W^T{S}_{B}W)-\lambda [Tr(W^T{S}_{W}W)-1]$
$S_W^{-1}{S}_B$秩为k-1，有k-1个特征向量。
$S_W={\Sigma }_0+{\Sigma }_1+\cdots +{\Sigma }_{k-1}$
$S_B=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T+\dots$
$S_T=S_B+S_W$
$S_T=\frac{1}{n-d}{\sum }_{i=1}^n(x_i-\mu )(x_i-\mu {)}^T$

---

数据点的方差为$\Sigma$，投影到方向$w$后的方差为$w^T\Sigma w$

这个是为什么呢？
原因很简单，假设数据集用$X=[x_1\dots x_n{]}_{d\ast n}$表示，那协方差矩阵就是$\Sigma =X{X}^T$，投影后的数据集维$u^{T}X$，它的协方差矩阵是$(u^{T}X)(u^{T}X{)}^T=u^{T}X{X}^{T}u=u^T\Sigma u$