常用降维方法

 

 

一、拉普拉斯特征映射(Laplacian Eigenmaps,LE)

(1)特点

• 非线性的降维方法
• 降维的同时保留局部近邻节点的信息
• 属于流形学习

(2)目标函数

未添加限制条件:

添加限制条件并简化后:

 

(3)需求解的特征方程

(4)优点

• LE的局部特征保留特性使得它对孤立点和噪音不会那么敏感
• 算法基于流形的内在几何结构，因此它展示出嵌入的稳定性。只要嵌入是等度量的(Isometric)，这个表示就是不变的。在移动相机的例子里，相机不同的解析度将会导致同一个流形嵌入到不同维度的空间中去。我们的算法可以产生相似的表现（Representation）,即使是不同的分辨率.

二、局部保留投影(Locality Preserving Projections,LPP)

(1)特点

• 线性降维
• 降维的同时保留局部近邻节点的信息
• 属于流形学习

(2)目标函数

未添加限制条件:

添加限制条件并简化后:

(3)待求解的特征方程

(4)优点

• 线性方法
• LPP被定义在空间的任何一点。与之对比的是，ISOMAP，LLE，LE等算法都只能用于训练数据上，而对于新的测试数据却并没有一个比较好的映射
• LPP算法可以被引入数据集所映射到的RKHS(再生核希尔伯特空间)，因此就有了核LPP算法

三、多维缩放（Multidimensional Scaling,MDS）

四、等度量映射（Isometric Mapping，Isomap)

(1)特点

• 属于流形学习的一种
• 认为低维流形嵌入高维空间后，低维流形两点间的距离是测地线距离（geodesic)
• 利用两点间的最短路径来近似两点间的测地线距离。因此，当空间中的数据点稠密时，近似效果较好，误差较小；当数据点稀疏时，效果就不太好。

(2)算法核心步骤

kNN找近邻 -> 最短路径计算 -> 距离矩阵输入MDS -> 从MDS得到低维的矩阵

五、局部线性嵌入(Locally Linear Embedding,LLE)

六、线性判别分析（Linear Discriminant Analysis,LDA）

(

七、主分量分析(Principal components analysis,PCA)

则W为XXTXXT的n'个特征向量组成的矩阵，而−λ为XXTXXT的特征值。当我们将数据集从n维降到n'维时，需要找到最大的n'个特征值对应的特征向量。这n'个特征向量组成的矩阵W即为我们需要的矩阵。