使用线性判别分析(LDA)进行特征降维

降维的目的

特征选择的目的是筛选出最为重要，最为关键的特征。很多移动互联网App可以通过埋点获取各种用户信息，然而这些信息并不能够在所有的任务中都发挥出很大的作用——有些作用微小，有些则是毫不相关的噪声。对于模型训练而言，将大量冗余的无用特征加入训练数据会导致模型的训练时间增加，同时模型表现也会被噪声影响。

因此，在训练之前选出最为重要的有效特征，可以帮助模型又快又好的完成训练。

降维需求与维度控制

TODO: 数据降维也不是必须的，如何判断是否需要降维以及维度需要控制在什么范围？

线性判别分析(LDA)

线性判别分析(Linear Discriminant Analysis)是一种机器学习和模式识别中常用的降维技术。LDA的使用依赖数据集中的类别标签，也就是说LDA属于监督学习的一种，可以看作是一种线性分类器。LDA的核心思想是将当前数据在低维度上进行投影，投影结果需要让同一类样本的间距尽可能小，不同类的样本中心间距尽可能大。

LDA的原理

使用LDA处理二分类问题

假设目前要对数据集$D=\{(x_i,y_i){\}}_{i=1}^m$进行二分类，其中的标签为$y_i\in \{0,1\}$。对于第$i$类样本，其总个数为$N_i$，该类的所有样本的集合记为$X_i$，所有样本的均值向量为${\mu }_i$，协方差矩阵为${\Sigma }_i$。比如：$$\begin{gathered} D=\{ \\ ([-1,3.5,2],1), \\ ([0,2.5,1],1), \\ ([1,3,1.5],1), \\ ([4,2,0],0), \\ ([2,0,2],0) \\ \} \end{gathered}$$
那么此时的第$0$类样本个数$N_0=2$，样本集合$X_0=\{[4,2,0],[2,0,2]\}$，均值向量${\mu }_0=\frac{1}{N_0}{\sum }_{x\in X_0}x=[3,1,1]$，协方差矩阵${\Sigma }_i$的计算在LDA中是没有$\frac{1}{N-1}$或$\frac{1}{N}$的，直接计算可得：$${\Sigma }_0=\sum _{x\in X_0}(x-{\mu }_0{)}^T(x-{\mu }_0)=\left(\begin{array}{cc}1& -1\\ 1& -1\\ -1& 1\end{array}\right)\left(\begin{array}{ccc}1& 1& -1\\ -1& -1& 1\end{array}\right)=\left(\begin{array}{ccc}2& 2& -2\\ 2& 2& -2\\ -2& -2& 2\end{array}\right)$$

对于第$1$类样本做同样的运算后，可以得到相应的值：
$$N_1=3,$$$$X_1=\{[-1,3.5,2],[0,2.5,1],[1,3,1.5]\},$$$${\mu }_1=[0,3,1.5],$$$${\Sigma }_1=\left(\begin{array}{ccc}2& -0.5& -0.5\\ -0.5& 0& 0.5\\ -0.5& 0.5& 0.5\end{array}\right)$$
将数据集$D$投影到一条直线$w$上，则对于样本$x_i$，它在$w$上的投影为$w^T{x}_i$。因此对于两个类的数据中心${\mu }_0$和${\mu }_1$，其在$w$上的投影分别为$w^T{\mu }_0$及$w^T{\mu }_1$。我们要寻找的目标$w$需要使不同类间的样本中心间距尽可能的大，因此也就是要最大化$\Vert w^T{\mu }_0-w^T{\mu }_1\Vert$，整理后变为最大化$w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w$。同时保证同一类的样本点在投影后尽可能接近，因此对于第$i$类样本，需要最小化${\sum }_{x\in X_i}(w^{T}x-{\mu }_i{)}^2$，整理后得$w^T{\Sigma }_{i}w$。即对于二分类问题，最小化$w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w$。因此，LDA的目标函数可以被设计为：$$J(w)=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}$$
设$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$，$S_w={\Sigma }_0+{\Sigma }_1$，则优化目标可表示为：
$$\underset{w}{\mathrm{argmax}}J(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
即目标函数$J(w)$是$S_b$与$S_w$的广义瑞利商(generalized Rayleigh quotient)。根据瑞利商的性质，原式$J(w)$的最大值和最小值分别等于$S_w^{-1}{S}_b$的特征值的最大值和最小值。

现在将原问题等价为对偶问题：
$$\begin{gathered} \underset{w}{\mathrm{argmin}}-w^T{S}_{b}w, \\ s.t.w^T{S}_{w}w=1 \end{gathered}$$

根据拉格朗日乘子法，构建新函数：
$$\underset{w,\alpha }{\mathrm{argmin}}g(w,\alpha )=-w^T{S}_{b}w+\alpha (w^T{S}_{w}w-1)$$

上式对$w$求偏导后可得$S_{b}w=\alpha S_{w}w$。同时$S_{b}w$的方向永远平行于${\mu }_0-{\mu }_1$，因此设$S_{b}w=\alpha ({\mu }_0-{\mu }_1)$，最终得到$w=S_w^{-1}({\mu }_0-{\mu }_1)$。

使用LDA处理多分类问题

LDA的实现

降维效果的评价