图像处理中的数学原理详解20——主成分变换（PCA）

欢迎关注我的博客专栏“图像处理中的数学原理详解”

全文目录请见 图像处理中的数学原理详解（总纲）

http://blog.csdn.net/baimafujinji/article/details/48467225

阅读本文需要最基本的线性代数知识和概率论基础：）

6.4.2 主成分变换的推导

前面提到的一国经济增长与城市化水平关系的问题是典型二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，所以自然会想到使用矩阵来组织这些数据。为了帮助读者理解上面给出的协方差矩阵定义，在此举一个简单的三维的例子，假设数据集有 {x,y,z} 三个维度，则协方差矩阵为

可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。下面通过一个例子来尝试演算协方差矩阵（很多数学软件都为该操作提供了支持）。需要提醒读者注意的是，协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。例如有一个样本容量为 9 的三维数据，如下

根据公式，计算协方差需要计算均值，那是按行计算均值还是按列呢，前面也特别强调了，协方差矩阵是计算不同维度间的协方差，要时刻牢记这一点。样本矩阵的每行是一个样本，每列为一个维度，所以要按列计算均值。经过计算，不难得到上述数据对应的协方差矩阵如下

众所周知，为了描述一个点在直角坐标系中的位置，至少需要两个分量。图6-17所示是两个二维数组，其中左图显示的各个点之间相关性微乎其微，而右图所示的各个点之间则高度相关，显然数据散布在一定角度内较为集中。对于右图而言，只要知道某个点一维分量的大小就可以大致确定其位置，两个分量中任一分量的增加或者减少都能引起另一分量相应的增减。相反，左图中的情况却不是这样。

对之前给出的协方差矩阵定义式稍加改写，以使其获得计算上更为直观的便利。则有在X矢量空间（或坐标系下），协方差矩阵Σx的无偏计算公式为

表6-2给出了对于图6-17中左图所示的6个样本点的集合，以及经计算后求得的样本集协方差矩阵和相关矩阵的结果。应当注意，协方差矩阵和相关矩阵二者都是沿对角线对称的。从相关矩阵来看，各个数据分量间存在不相关关系的明显事实就是协方差矩阵（以及相关矩阵）中非对角线元素都是零。

最终计算可得

主成份变换的实现（包含一个实际的计算示例）以及它在图像处理中的应用举例，我将在下一篇文章中给出。

图像处理中的数学原理详解21——PCA实例与图像编码（http://blog.csdn.net/baimafujinji/article/details/50373143）

我的“图像处理中的数学原理”专栏中之系列文章已经以《图像处理中的数学修炼》为名结集出版（清华大学出版社）。该书详细介绍图像处理中的数学原理，为你打开一道通往图像世界的数学之门，详细内容及目录请见 http://blog.csdn.net/baimafujinji/article/details/48467225