目录
线性判别分析的原理
LDA的降维过程如下
线性判别分析(LDA) 是一种有监督的线性降维算法。
与PCA不同,LDA是为了使降维后的数据点尽可能地容易被区分
线性判别分析是对于给定的训练集,设法将样本投影到一条直线上,使得同类的投影点尽可能接近,异类样本的投影点尽可能远离;
在对新样本进行分类时,将其投影到这条直线上,再根据投影点的位置来确定新样本的类别。
PCA主要是从特征的协方差角度,去找到比较好的投影方式。
LDA更多地考虑了标注,即希望投影后不同类别之间数据点的距离更大,同一类别的数据点更紧凑
计算数据集中每个类别下所有样本的均值向量
通过均值向量,计算类间散布矩阵 和类内散布矩阵
依据公式 ^−1 * * = 进行特征值求解,计算^−1 * 的特征向量和特征值
按照特征值排序, 选择前k个特征向量构成投影矩阵U
通过 Y = X × U 的特征值矩阵将所有样本转换到新的子空间中