机器学习中的流形学习算法 Manifold Learning

1. 流形学习概述

流形学习manifold learning，于2000年在Science杂志上首次提出，是一大类基于流形的框架，是机器学习、模式识别中的一种方法，在维数约简（降维）方面具有广泛的应用。它的主要思想是将高维的数据映射到低维，使低维的数据能够反映原高维数据的某些本质结构特征。不同于一般意义上的数据降维方法，典型如autoencoders 等通过学习得到一种参数化的模型，能够适用于任何输入向量，通常意义上的流形学习方法属于非参数方法。流形学习的前提是有一种假设，即某些高维数据，实际是一种低维的流形结构嵌入在高维空间中。流形学习的目的是将其映射回低维空间中，揭示其本质。作为一种数据降维的方式，流形学习还能够刻画数据的本质。数学意义上的流形笼统来说属于微分几何的一个分支，比较代表性的流形学习方法有等量隐射ISOMAP 、局部线性嵌入LLE、拉普拉斯特征图Laplacian Eigenmaps 、SNE与t-SNE。

2.流形的定义

数学概念上的流形（manifold）一词源于国内拓扑学奠基人江泽涵院士翻译于德语mannigfaltigkeit（德国数学家黎曼首次提出）。笼统地讲，流形是局部欧几里德的拓扑空间。最简单的一个例子就是地球表面，它是嵌入在三维空间中的二维曲面。从地球上每个局部点看，地球似乎都是平的。更正式地说，d维流形  是定义的一个特殊空间，空间中的每个点 都有一个邻域在拓扑上等价于一个d维欧式空间，称为切空间&