【CS229笔记】协方差矩阵概念快速回顾

前言

CS229讲到生成学习算法的时候，首先介绍了多元正态分布，然后发现自己对过去的一些基础概念记忆不是很清楚了（例如协方差），因此重新记录一下。如有问题，欢迎斧正。

协方差是什么？

对于单变量（特征）的样本集，我们会选择用样本均值、方差、标准差等等来描述这个样本集。对于多变量（特征）的样本集，我们可以选择对每一个变量分别计算其均值、方差等等。

但是，样本集中的这些变量往往并不是毫无关系的（例如身高和体重存在正相关关系），我们应该在高中阶段就学习过“正相关”、“负相关”这种说法，这个对两个变量之间的关系是一个定性描述。是否存在一种数学语言，能够定量描述两个变量之间的相关性呢？这个东西就是协方差。

协方差如何计算？这个部分在【马同学图解数学】的视频（链接见参考资料）里面给出了一个图形化的说明，个人认为对协方差的理解很有帮助。

协方差矩阵$\Sigma \in R^{n\ast n}$是个什么东西？

讲清楚了协方差，协方差矩阵反而就很好理解了。协方差反映的是两个变量之间的相关性，如果我的样本集里面有三个、四个甚至多个变量，怎么办？很简单，我们首先两两选择变量，分开计算他们的协方差，然后利用一个矩阵，存放各个协方差。这个就是协方差矩阵。

假设一共有d个随机变量，也就是说随机变量为$x_1,x_2,...,x_d$，那么他们的协方差矩阵长这样（图源参考资料4），不难得出，协方差矩阵是一个对称矩阵：

参考资料

• https://zhuanlan.zhihu.com/p/86624275
• https://www.bilibili.com/video/BV1gY4y187TL/?spm_id_from=333.337.search-card.all.click&vd_source=c78d520ab4e3c395d859ce07512c4461
• https://www.zhihu.com/question/20852004
• https://zhuanlan.zhihu.com/p/37609917