LDA(线性判别回归)

LDA降维的基本思想

  LDA和PCA一样都是降维算法，但不同的是LDA是有监督的降维算法，它的目的是将不同类别的数据降维后仍能较好的区别开。而PCA是无监督的算法，它的目的是将样本数据降维后仍保留样本数据间的方差。
  LDA认为不同类的样本服从均值不同的高斯分布，主要根据均值作为降维的导向，所以它在处理非高斯分布的数据，或者不同类别的高斯分布的均值相同时，分类效果不够好。LDA将原样本映射到一个超平面上，使同一个类别在这个超平面上尽可能集中，而不同类别在这个超平面上尽可能分开。

LDA计算

  设W为样本x映射到的超平面，设原数据x的维度为$d_x$，要映射到的维度为$d_c$，则$W\in A^{d_x\times d_c}$。$x_i$映射到W上的点为$x_i$,则$x_i=W^T{x}_i$.
  上一节提到过，LDA认为不同类服从不同的高斯分布，则不同类的均值的距离越远越好，设投影前的类间距离为(下式中的C为数据集的类别数量,u为所有数据的均值点,$N_i$为i类中的样本数量)$$S_b=\sum _i^C{N}_i(u_i-u)(u_i-u{)}^T$$,则投影后为$$W^T{S}_{b}W$$类内的方差越小越好。(下式中m为样本数量，$u_i$为$x_i$所属类别的均值)设投影降维前的协方差矩阵为
$$S_w=\sum _i^m(x_i-u_i)(x_i-u_i{)}^T$$则投影后为:$$W^T{S}_{w}W$$
我们想让投影后的类内距离越小越好，投影后的类间距离越大越好，则最大化目标函数如下(|A|意为A的行列式):
$$obj=\frac{|W^T{S}_{w}W|}{|W^T{S}_{b}W|}$$（至于为什么是行列式，解释是行列式是特征值的乘积，可以反映矩阵整体的大小,我觉得解释蛮牵强的）。
因为W可以自由缩放而不影响obj的取值我们设$|W^T{S}_{b}W|=1$，则原问题$$\begin{gathered} obj=|W^T{S}_{w}W| \\ s.t:|W^T{S}_{b}W|=1 \end{gathered}$$，则对obj加入拉格朗日乘子得$$\begin{gathered} obj=W^T{S}_{w}W-\lambda W^T{S}_{b}W \\ 那么\frac{\partial obj}{\partial W}=0 \\ 可以推得S_{w}W=a{S}_{b}W \\ {S}_w^{-1}{S}_{b}W=Wdiag({\lambda }_i) \end{gathered}$$。我们需要降到几维，取前几大特征值对应的特征向量构成W即可。（注意由于$S_w^{-1}{S}_b$不一定为对称矩阵所以W的列向量不一定正交，而PCA的映射向量一定正交）由于$S_w$在高维情况不一定有逆矩阵，所以在$S_w$逆矩阵不存在的情况下，先用PCA降维再用LDA。