sklearn学习笔记——线性判别分析LDA

LDA降维

Linear and Quadratic Discriminant Analysis

LDA、PDA RDA

shrinkage 具体是指什么意思

噪声特征对样本数的比值越来越大时普通lda分类效果越来越低，而shrinkage lda 下降并不多。

默认solver为“svd”。它既能进行分类又能进行变换，不依赖于协方差矩阵的计算。在功能数量众多的情况下，这可能是一个优势。但是，“svd” solver不能用于shrinkage 。

The ‘lsqr’ solver 是一种有效的算法，只适用于分类。它支持shrinkage 。

The ‘eigen’ solver需要计算协方差矩阵，因此它可能不适合具有大量特征的情况。

　在scikit-learn中， LDA类是sklearn.discriminant_analysis.LinearDiscriminantAnalysis。那既可以用于分类又可以用于降维。当然，应用场景最多的还是降维。和PCA类似，LDA降维基本也不用调参，只需要指定降维到的维数即可。

一般来说，如果我们的数据是有类别标签的，那么优先选择LDA去尝试降维；当然也可以使用PCA做很小幅度的降维去消去噪声，然后再使用LDA降维。如果没有类别标签，那么肯定PCA是最先考虑的一个选择了。【1】

PCA是为了去除原始数据集中冗余的维度，让投影子空间的各个维度的方差尽可能大，也就是熵尽可能大。LDA是通过数据降维找到那些具有discriminative的维度，使得原始数据在这些维度上的投影，不同类别尽可能区分开来。下面这张图一定程度上表示了PCA和LDA之间投影选择的差别。

【1】https://www.cnblogs.com/pinard/p/6249328.html    用scikit-learn进行LDA降维

【2】https://blog.csdn.net/qsczse943062710/article/details/75977118    sklearn浅析（五）——Discriminant Analysis

【3】https://blog.csdn.net/daunxx/article/details/51881956    线性判别分析（Linear Discriminant Analysis）