A Great Tutorial On PCA(主成份分析)

PCA又叫KL变换，是一种非常重要的处理数据的方法。然而，在《现代模式识别》书中，还有《矩阵分析与应用》书中用密密麻麻的矩阵公式来讲KL变换，也看得我云里雾里，从正交变换到特征值到二次型到多元函数的极值，为了看懂这个推导过程，几乎将微积分和线性代数翻了个遍，到头来，还是有几步推导看不懂。今晚偶然看到Jonathon Shlens的《 A Tutorial on Principal Component Analysis》，写的精彩之极，只用一个最简单的例子和最简单的线性代数的知识就把PCA的最关键的问题，问题背景和PCA的约束及扩展讲的一清二楚，再从PCA衍生到kernel-PCA，到ICA，真是大师级的写法啊。
除了将PCA解释的非常透彻之外，文中闪光点非常多，都是用一句非常简单的话说明一个核心的数学概念的意义。
比如说，方差，随便一本概率书上都介绍是 E(X-EX) ². 协方差是E[(X-EX)(Y-EY)]. 这哥们只用了2句话就打发了：假设期望为0，那么方差就是X·X的某种度量，协方差就是X·Y的某种度量，用点积一下子就说明了方差和协方差的意义。在手中的概率论书中，没一本书有这种画龙点睛的话。