降维与流形学习几种方法

PCA

无监督的学习方法,选取前K个最大的特征向量作为投影矩阵,证明事从方差最大和平方误差最小的角度来证明,选取前k个最大的特征值是有效的降维方法,线性的。

motivation:前k个最大的特征值才是主要的,小的特征值是噪声。

LDA

有监督的降维学习方法,和PCA类似.

motivation: 从类内距离最小,类间距离最大的这个角度来构造目标函数。

MDS

一种j降维的方法,是和PCA对偶的。

motivation:保证降维之后点对之间的欧式距离不变。


ISOMAP

motivation: 认为从高维的距离直接等于低维平面上的距离是不对的,所以做法是在两点之间找一个最短距离。

LLE

motivation:认为从高维到低维应该保持高维邻域之间的线性关系。

LE(拉普拉斯特征映射)

Motivation:在高维空间中离得很近的点投影到低维空间中的象也应该离得很近。两点间的加权距离作为损失函数

你可能感兴趣的:(降维与流形学习几种方法)