协方差矩阵的数学含义及应用

作者：Vicktore
链接：https://www.zhihu.com/question/24283387/answer/523794714
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

协方差矩阵的定义很简单。假设你有n个随机变量  , 你要怎么刻画它们之间的相关性？一个很简单的想法就是考虑所有的配对协方差  . 但是这总共有n^2 个数字，实在是有点多。那么有没有一种紧凑的方式可以把这n^2个数字“打包”在一个结构里面呢？

这个时候矩阵语言就是你的朋友。我们刚才考虑的是n个随机变量  ，但我们其实可以把它们“打包”成1个n维的随机向量  。对于随机向量乃至随机矩阵，我们当然也可以谈期望。所以X有一个期望  . 我们再来考虑以下随机矩阵的期望

你稍微算算就知道，这个矩阵的第(i,j)个元素恰好就是  ！也就是说之前我们要用n^2个数字表达的东西，现在只需一个简洁的矩阵表达式就能完全表达。这个简洁的矩阵表达式就是  的协方差矩阵(covariance matrix).

不要小瞧记号上的简化带来的好处。在很多情况下，它不仅能够帮我们极大地简化计算流程，而且更重要的是能够让我们把原来散乱的n^2个数字  之间蕴含的结构看的更加清楚。比如说，假设X的协方差矩阵是  是一个可逆矩阵(也就是正定)，那么由线性代数知识可以很轻易地知道存在一个正交变换  使得Y的协方差矩阵是  ，成为一个对角矩阵，这也就是说我对X做一个正交变换，就能把它变成一个两两不相关的一组新的随机变量。这个规律在无数的工程问题(信号处理，多元统计，主成分分析等)中都是重要的理论基础之一。设想一下，假设不用矩阵语言，要从散乱的n^2个协方差数字之中发掘出这个规律会增加多少难度。

综上，协方差矩阵  就是多个随机变量  之间的协方差的一种矩阵化表述，本质上它和n^2个数字  所蕴含的信息无任何区别，但是矩阵化语言的作用在于它能极大地减轻人类(也许计算机也是如此)做计算时的负担，同时也能非常清晰地揭示“一大堆杂乱无章的数字”所蕴含的内在线性结构。