线性判别分析(机器学习)

目录

线性判别分析的原理

LDA的降维过程如下



线性判别分析(机器学习)_第1张图片

 线性判别分析(LDA) 是一种有监督的线性降维算法。

PCA不同,LDA是为了使降维后的数据点尽可能地容易被区分

线性判别分析的原理


线性判别分析是对于给定的训练集,设法将样本投影到一条直线上,使得同类的投影点尽可能接近,异类样本的投影点尽可能远离;

在对新样本进行分类时,将其投影到这条直线上,再根据投影点的位置来确定新样本的类别。

PCA主要是从特征的协方差角度,去找到比较好的投影方式。

LDA更多地考虑了标注,即希望投影后不同类别之间数据点的距离更大,同一类别的数据点更紧凑

线性判别分析(机器学习)_第2张图片

LDA的降维过程如下


计算数据集中每个类别下所有样本的均值向量

通过均值向量,计算类间散布矩阵  和类内散布矩阵

依据公式 ^1 *  *  进行特征值求解,计算^−1 * 的特征向量和特征值

按照特征值排序, 选择前k个特征向量构成投影矩阵U

           通过 Y = X × 的特征值矩阵将所有样本转换到新的子空间中

线性判别分析(机器学习)_第3张图片

线性判别分析(机器学习)_第4张图片

 

 

你可能感兴趣的:(机器学习,LDA,线性判别分析)