流形结构、流形学习、图嵌入

PCA、 MNF 和 LDA 等方法是以统计学原理为基础，并根据统计学的某一优化准则，构建一个最佳模型，属于线性特征提取方法。此类方法的优点是模型确定、易于理解、处理方便和扩展性好等，但忽略了数据的空间分布，不能揭示出数据的内在结构特征。

2005 年， Bachmann 等[77]学者研究发现高光谱数据中存在非线性结构，主要是由于高光谱图像成像时受不同时间的大气环境、不同反射率和光照、地物组成成分变化等影响，使同类地物光谱曲线存在差异，表现出非线性结构。

研究表明在非线性的高维数据中具有内在低维结构，即流形结构

一言以蔽之， 流形结构必须满足 高维数据+非线性

流形学习方法是一种能发现非线性数据内在流形结构的有效方法

经典方法有局部线性嵌入(Local Linear Embedding, LLE)[78]、 等距映射(Isometric Feature Mapping, ISOMAP)[79]、拉普拉斯特征映射(Laplacian Eigenmaps, LE)[80]和局部切空间排列(Local Tangent Space Alignment, LTSA)[81]等。
LLE 是在 2000 年 Roweis 等[78]学者提出，在低维空间中保持数据的局部线性组合结构不变；同年 Tenenbaum 等[79]提出 ISOMAP， 通过测地距离代替MDS算法中的欧氏距离来表征数据的分布关系；LE 是在 2003 年由 Belkin 等[80]提出，通过拉普拉斯图来表示数据的邻域相似关系，并在低维空间中保持数据间的相似性不变； 2004 年，张振跃等[81]提出 LTSA 算法，通过由邻域点的低维仿射子空间组成的切空间来表征数据的局部结构，揭示出数据的切空间流形。 LLE、 ISOMAP、 LE 和 LTSA 都属于流形学习研究的代表性文献，在流形学习领域具有划时代的意义，但这几种算法都是非线性特征提取方法，从高维空间到低维空间没有明确的映射关系，无法直接处理新样本。

为解决 LLE、 LE 和 LTSA 算法在处理新样本时的不足， He 等分别提出邻域保持嵌入(Neighborhood Preserving Embedding, NPE)[82]和局部保持投影(LocalityPreserving Projection, LPP)[83]来线性逼近 LLE 和 LE；
Zhang 等[84]提出 LTSA 的近似线性方法，即线性局部切空间排列(Linear LTSA, LLTSA)。在高光谱图像流形结构的研究中， Bachmann 等[77]利用 ISOMAP 算法揭示出高光谱图像的内在流形结构； Chen 等[85]应用 ISOMAP 中测地距离的概念，提出一种非线性流形的高光谱图像地物分类方法；杜培军等[86]结合光谱角、光谱信息散度和测地距离来改进 ISOMAP，并用于高光谱图像的特征提取； Qian 等[87]融合 LLE
和 LE 来得到高光谱图像的特征，同时改善了 LLE 和 LE 算法的性能； Ma 等[88]利用 LTSA 对高光谱图像进行异常检测；孙伟伟等[89]提出多策略提升 LTSA 方法，利用随机映射来降低计算复杂度，然后由递归兰索斯切分算法来构建近似 k 近邻，提升了 LTSA 的计算速度和高光谱图像的分类精度； Wang 和 He[90]利用 LPP 来获取高光谱图像的特征，改善了支持向量机的分类结果；魏峰等[91]提出一种空间一致性 NPE，利用高光谱图像空间块之间的相似性来选取数据的邻域，得到更优的低维空间，实现特征提取；杜博等[92]提出一种鉴别流形学习方法，同时利用光谱信息和空间信息来得到高光谱图像的特征。

为更好地理解 PCA、 LDA、 ISOMAP、 LE、 LLE、 LPP 和 NPE 等算法，颜水成等[93]于 2007 年在统计或几何理论的基础上提出一种图嵌入(Graph Embedding,GE)框架， 可用于理解原有特征提取算法或构建新的特征提取算法。在图嵌入中，构建一个本征图用于描述数据中有价值的统计或几何特征，同时构建一个惩罚图用于描述数据中需要抑制的统计或几何特征；
本征图和惩罚图的构建可扩展到线性空间、核空间和张量空间。

许多起源于统计或几何理论的算法经过改写后都可以统一到图嵌入框架下， 主要区别在于本征图和惩罚图的构建方式不同。在高光谱图像的特征提取中，基于统计特性构建的图不能揭示出数据的内在结构，对于非线性数据不能得到好的效果，而基于几何理论构建的图能很好地揭示出数据的内在流形结构，提取出有效的鉴别特征，改善分类精度。目前，数据的几何特性大部分都采用邻域关系来表征，如 k 近邻法或ε 近邻法，然而，如何有效地定义邻域选取方式和邻域大小是这类方法面临的一大挑战。



摘自：