维数约简

高维数据;   维数约简;   降维算法;   核理论； 流形算法；  数据集结构

降维分类

按照不同的标准，降维算法可分为不同种类。例如:

1.根据所作的映射F是否线性，降维算法相应地分为线性算法和非线性算法。主成分分析(PCA)、线性判别分别(LDA)、自组织特征映射(Self-organizing maps，SOM) ^[57-61]、主曲线(Principal Curves) ^[69,70]等为经典的线性算法；等距映射(Isometric Feature Mapping，ISOMAP) ^[74]、局部线性嵌入(Locally Linear Embedding，LLE) ^[71]和拉普拉斯特征值映射(Laplacian Eigenmaps，LE) ^[34]等均为典型的非线性降维算法；

2.根据是否将数据集的局部几何结构纳入考虑，降维算法又可分为局部降维算法与非局部降维算法。如PCA和LDA等是典型性的全局型降维算法；而诸如LLE和LE一些流形学习算法以及其对应的线性化算法，局部保持投影(Locality Preserving Projections，LPP) ^[76]和近邻保持嵌入(Neighborhood Preserving Embedding，NPE) ^[77]均为局部型降维算法；

3.根据降维过程是否利用监督信息或其它形式的标号，降维算法可分为监督型算法和无监督型算法。如PCA、LPP和LLE等为无监督型约简算法；而LDA和最大间隔准则(MaximumMargin Criterion，MMC)等为有监督型约简算法；

4.根据所作的映射F是否依赖于样本数据集，可分为数据依赖型约简算法与数据独立型约简算法。到目前为止，众多降维算法中使用的映射F均需从数据集X中学习获得，如PCA的投影方向与数据集的分布有关；而另外新出现的降维算法，如随机投影RP等，所做的映射与数据集的性质并无本质联系，所以称其为数据独立型降维方法。

主要方法：

3.1线性约简算法 PAGEREF _Toc295248292 \h

3.1.1主成分 PAGEREF _Toc295248293 \h

3.1.2独立成分 PAGEREF _Toc295248294 \h

3.1.3线性鉴别分析 PAGEREF _Toc295248295 \h

3.1.4神经组织自组织映射 PAGEREF _Toc295248296 \h

3.1.5主曲线 PAGEREF _Toc295248297 \h

3.1.6投影寻踪 PAGEREF _Toc295248298 \h

3.1.7其它线性方法 PAGEREF _Toc295248299 \h

3.2基于核的非线性算法 PAGEREF _Toc295248300 \h

3.2.1核映射理论 PAGEREF _Toc295248301 \h

3.2.2核主成分 PAGEREF _Toc295248302 \h

3.2.3其他基于核的方法 PAGEREF _Toc295248303 \h

3.3基于流形的非线性算法 PAGEREF _Toc295248304 \h

3.3.1流形的形式化定义和流形学习 PAGEREF _Toc295248305 \h

3.3.2多维尺度变换方法 PAGEREF _Toc295248306 \h

3.3.3等距映射方法 PAGEREF _Toc295248307 \h

3.3.4局部线形嵌入方法 PAGEREF _Toc295248308 \h

3.3.5拉普拉斯特征映射方法 PAGEREF _Toc295248309 \h

3.3.6局部切空间排列方法 PAGEREF _Toc295248310 \h

3.3.7其他方法和总结 PAGEREF _Toc295248311 \h

实现工具：

matlab，不用说了。

http://homepage.tudelft.nl/19j49  ---维数约简matlab工具箱----drtool工具箱，维数约简

算法效果测试工具：

http://people.kyb.tuebingen.mpg.de/spider/   ----模式识别matlab工具箱----spider模式识别工具箱

资源连接：
http://www.cs.utoronto.ca/~delve/group.html
http://homepage.tudelft.nl/19j49/Home.html
http://www.cs.nyu.edu/~roweis/lle/
http://spiderspace.wordpress.com/2006/12/04/machine-learning-tools/
http://spiderspace.wordpress.com/2008/03/14/online-machine-learning-resource-from-shen-dou-homepage/
http://www.cs.berkeley.edu/~pliang/
http://vodinhphong.wordpress.com/2010/12/14/resources-on-manifold-learning-1/
http://www.tamingthebeast.net/articles2/search-engine-spiders.htm
http://www.cs.nyu.edu/~roweis/code.html
http://www.cs.ubc.ca/~murphyk/Software/
http://sitemaker.umich.edu/agirotra/files/manifoldlearning.htm

http://www.gatsby.ucl.ac.uk/~edward/code/
http://www.cs.berkeley.edu/~pliang/cs294-spring08/
http://dataminingtools.net/index.php
http://www.folksemantic.com/resources/79923
http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html
http://www.igi.tugraz.at/lehre/MLA/WS07/noframes.html
http://www.tech.plym.ac.uk/spmc/links/matlab/matlab_toolbox.html
http://homepage.tudelft.nl/19j49/Matlab_Toolbox_for_Dimensionality_Reduction.html
http://sourceforge.net/apps/trac/minorthird/wiki
http://www.activestate.com/
http://prtools.org/
http://research.ics.tkk.fi/ica/fastica/code/dlcode.html
http://www.epistasis.org/software.html
http://sourceforge.net/
http://people.kyb.tuebingen.mpg.de/spider/
http://www.scipy.org/Topical_Software#head-c4e237694d158553deb9f5e409afc31236457334
http://archive.ics.uci.edu/ml/
http://www.clsp.jhu.edu/workshops/ws09/documents/machine-learning-overview.pdf
http://learning.eng.cam.ac.uk/zoubin/software.html
http://www.360doc.com/content/07/0517/17/15897_505405.shtml