期望、方差与协方差矩阵

期望

期望的性质

条件期望

方差

一个随机变量的方差描述的是它的离散程度，也就是该变量离其期望值的距离。

方差的性质

方差体现的向量性质

协方差

方差和标准差反应的是一维数据的分布情况，那么如果要处理二维甚至更高维度的数据时该怎么办呢？
协方差表示的是两个随机变量的关系，首先我们看下它的定义:

协方差表示在多大程序上x和y会共同变化。简单来说就是如果两个随机变量的协方差>0，则两者是正相关的，结果为负值就说明负相关的。如果为0，说明两者是不相关的
这里特别说明下，如果两个随机变量是相互独立的那么协方差
cov(X, Y) = cov( Y, X) = E(X, Y ) - uv = E(X) E(Y) - uv = uv- uv = 0
但是如果cov(X, Y) = 0 并不能说明X， Y相互独立，只能说明两者不相关，这里牵扯到相关系数，不详细说了。
协方差矩阵
协方差计算的是两个随机变量间的关系，那么如果有n个随机变量呢，两两计算cov需要计算n^2次，因此用矩阵来表示这个计算就得到协方差矩阵了

from:http://blog.csdn.net/pipisorry/article/details/48788671