Covariance Matrix

定义见中文维基协方差矩阵。

从熟悉的标量随机变量开始，

1. 方差
随机变量的方差用于描述它的离散程度，也就是该变量离期望值的距离。
当变量为实数时，也叫作二阶矩或者二阶中心动差。
简单的讲，将各个误差的平方相加再除以总数就是方差，其算术平方根称为该随机变量的标准差
定义：方差可以看做随机变数与本身的协方差

variance

2.连续随机变数
如果随机变量x是连续分布，并有概率密度函数f(x)，那么其方差为：

如果一个连续分布不存在期望值，例如Cauchy distribution，那么不存在方差

3.离散随机变数
如果随机变数X是具有概率质量函数的离散概率分布x1 ↦ p1, ..., xn ↦ pn，则：
如果，x为有N个相等概率的平均分布，那么，

当X为有N个相等概率值的平均分布：

还可以用点与点之间的计算：

4.随机向量

有两种标记方法：
var( X) = cov( X) = E[ ( X- E[ X] )( X- E[ X] )^T ]， 此时也叫作方差
cov( X, Y) = E[ ( X- E[ X] )( Y- E[ Y] )^T ]

协方差矩阵可以导出一个变换矩阵，使数据完全去相关，换句话说，能够找出一组最佳最compact的base来表达数据，即常用的主成分分析（principal component analysis）。