08 特征工程 - 特征降维 - LDA

线性判断分析(LDA): LDA是一种基于分类模型进行特征属性合并的操作,是一种有监督的降维方法。

LDA原理

LDA的全称是Linear Discriminant Analysis(线性判别分析),是一种有监督学习算法。

LDA的原理是,将带上标签的数据(点),通过投影的方法,投影到维度更低的空间中,使得投影后的点,会形成按类别区分,一簇一簇的情况,相同类别的点,将会在投影后的空间中更接近。用一句话概括就是:“投影后类内方差最小,类间方差最大”

下图中,左边的映射效果还不是很好,甚至有些分类还重合到了一起。右边的映射效果很好,达到了类内数据方差小,类与类之间方差大。

下图中的柱状图 表示有多少点落在了这一区间内。柱越高,说明这部分的数据越稠密。显然右边的方差会小于左边的方差。


如何求解LDA问题

假定转换为w,那么线性转换函数为x’= wTx; 并且转换后的数据是一维的。

考虑二元分类的情况,认为转换后的值大于某个阈值,属于某个类别,小于等于某个阈值,属于另外一个类别,使用类别样本的中心点来表示类别信息,那么这个时候其实就相当于让这两个中心的距离最远:

μj 表示原本数据的中心点。
μ‘j 表示原始数据经过坐标轴转换之后,新数据的中心点。

同时又要求划分之后同个类别中的样本数据尽可能的接近,也就是同类别的投影点的协方差要尽可能的小。

结合着两者,那么我们最终的目标函数就是:

对目标函数进行转换(A、B为方阵,A为正定矩阵):

该式子和PCA降维中的优化函数一模一样,所以直接对中间的矩阵进行矩阵分解即可。


PCA和LDA

相同点:
1、 两者均可以对数据完成降维操作。
2、 两者在降维时候均使用矩阵分解的思想。
3、 两者都假设数据符合高斯分布。

不同点:
1、 LDA是监督降维算法,PCA是无监督降维算法。
2、 LDA降维最多降到类别数目k-1的维数,而PCA没有限制。
3、 LDA除了降维外,还可以应用于分类。
4、 LDA选择的是分类性能最好的投影,而PCA选择样本点投影具有最大方差的方向。

你可能感兴趣的:(08 特征工程 - 特征降维 - LDA)