论文笔记·流形学习：Locality Preserving Projections

 

Abstract

• LPP算法找流形Laplacian Beltrami算子的特征函数的最优线性近似；

• LPP不仅能用在训练集上。

1  Introduction

• LPP的局部保留能力使之在信息检索上有着很好的应用；

• LPP的线性特性使算法快速，适合于实际应用；

• LPP可以处理新的数据点；

• LPP可以在数据点的再生核希伯尔特空间中进行（ Kernel LPP ）。

2  Locality Preserving Projections

2.1  The linear dimensionality reduction problem

2.2  The algorithm

• step 1 ( adjacency graph ) ：(a) ε近邻  (b) k近邻

  step 2 ( weights )：(a) Heat kernal  (b) Simple-minded

  step 3 ( eigenmaps )：

3  Justification

3.1  Optimal Linear Embedding

3.2  Geometrical Justification

• 这个投影映射是流形上 Laplacian Beltrami 算子特征函数的最优线性近似，所以能发现非线性流形结构；

3.3  Kernel LPP

• 欧式空间映射到希伯尔特空间：

• 核函数：

• v可表示为：

 

 

• 令 ，则：

 

• 核LPP在训练点上得到和LE相同的结果。

4  Experimental Results

5  Conclusions

• 相比于其他全局非线性维数约简，LPP的优点是它的特征问题的尺度是数据的的维数而不是个数，特别适合海量数据集；

• 虽然LPP是线性的，但能够发现流形的非线性结构。