Abstract
• 问题:对于嵌入在高维空间的低维流形数据的表示;
• 利用图Laplacian算子、流形上的 Laplacian Beltrami 算子和热方程的对应关系;
• 局部保留能力和与聚类的自然联系。
1 Introduction
• 传统降维方法如PCA、MDS,非线性映射方法如自组织映射和其它基于神经网络的方法,没有有效的方法找到全局最优,没有考虑数据可能存在的流形结构;
• 算法生成的映射可以看作是对流形几何结构连续映射的离散近似;
• 框架:
1)用 adjacency graph 估计 manifold,用 weighted Laplacian 估计 Laplacian Beltrami 算子;
2)LE的局部保留能力使之对于离群点和噪声不敏感,由于只用到局部距离所以也不容易短路。算法隐含地强调了数据的聚类结构,这一点与谱聚类相近;
3)由于算法是基于流形的内在几何结构,所以它在embedding上保持稳定性。
2 The Algorithm
• step 1 ( adjacency graph ):
(a) ε 近邻:几何直观、自然对称,但容易导致图的不连通;
(b) k 近邻:可以连通,但几何不直观;
• step 2 ( weights ):
(a) 热核 (b)无参
• step 3 ( eigenmaps ):
3 Justification
3.1 Optimal Embeddings
• Wij 作为惩罚项, 去除任意缩放,
去除平移
3.2 The Laplacian Beltrami Operator
3.3 Heat Kernels and the Choice of Weight Matrix
• 流形Laplacian的几种可能近似方案:
4 Connections to Spectral Clustering
• Normalized cut:
这个组合优化问题是NP-hard,但是如果我们允许将指标函数放宽到实值,就可转化为最小化图Laplacian:
5 Analysis of Locally Linear Embedding Algorithm
( 关于LE和LLE的区别这个问题,我在保研面试的时候也被问到过 )
• step 1( adjacency information ):(a) ε-ball (b)k近邻
• step 2( approximation matrix ):
• step 3( embedding ):
E 与 L 存在如下关系:
6 Examples
实验,略
7 Conclusions
未解决的问题:
1)不是等距映射。模式识别和数据表示中到底什么样的映射是好的?
2)能估计出流形本征维数的其他几何不变量;
3)隐式地假设了流形上的均匀概率分布;不能清楚流形有边界时算法的表现;参数选择问题;需要对嵌入映射的有限样本估计的收敛性进行处理。