每天5分钟机器学习:线性判别分析LDA算法

本文重点

我们前面学习了PCA算法,本文我们将学习一种新的算法,这种算法和PCA非常相似,这个算法叫做线性判别分析,简称为LDA,也称为Fisher线性判别(Fisher Linear Discriminant,FLD),是模式识别的经典算法,在1996年由Belhumeur引入模式识别和人工智能领域。

LDA原理

LDA的原理是,将带上标签的数据(点),通过投影的方法,投影到维度更低的空间中,使得投影后的点,会形成按类别区分,一簇一簇的情况,相同类别的点,将会在投影后的空间中更接近。

每天5分钟机器学习:线性判别分析LDA算法_第1张图片

 

如图所示,我们可以看到有两个类别的数据,然后我们使用LDA算法,将所有的样本点映射到过原点的投影的直线,从图上可以清楚的看到,红色的点和蓝色的点被原点明显的分开了。因为红色的点表示一个类别,而蓝色的点表示一个类别。所以LDA很明显的将红色的点和蓝色的点分开了。

LDA和PCA的区别

LDA与前面介绍过的PCA都是常用的降维技术。

PCA主要是从协方差的角度,去找到比较好的投影方式。

LDA按照类别的划分,从标签类别的角度去找到比较好的投影方式。LDA更多的是考虑了标注,即希望投影后不同类别之间数据点的距离更大,同一类别的数据点更紧凑。

LDA的学习

LDA如何才能学习到不同类别之间数据点的距离更大&#

你可能感兴趣的:(每天五分钟玩转机器学习算法,算法,人工智能,LDA,线性判别分析)