方差var、协方差cov、协方差矩阵（浅谈）

原文地址：

http://blog.sina.com.cn/s/blog_9e67285801010q68.html

前些天看程序，涉及到了关于方差、协方差的内容，由于本人做学问讲究严谨（其实是忘了）特此查阅了相关内容，并试图在matlab中进行小小实验验证，结果，问题来了....

 

（本来想着立马总结下发出来让大家参考的，最近比较忙一直没有腾出时间来整理，请大家原谅俺吧  ）

 

哦，对了，这篇主要是给小菜鸟看的，大侠们可以尽管放心去走你们的阳关道

 

以下内容虽并非全部原创，但也是小编精心整理，转载请注明出处：http://blog.sina.com.cn/s/blog_9e67285801010q68.html

 

由于要介绍基本概念和后面的函数分析、matlab实例比较长，思前想后，决定分成三个部分

 

下面先看看方差、协方差、协方差矩阵的定义：

 

方差 variance:

    方差是各个数据与平均数之差的平方的平均数。在概率论与数理统计中，方差（英文Variance）用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是各个数据与平均数之差的平方和的平均数,即s=(1/n)[(x1-x_)^2+(x2-x_)^2+...+(xn-x_)^2，其中，x_表示样本的平均数，n表示样本的数量，^，xn表示个体，而s就表示方差。

       而当用(1/n)[(x1-x_)^2+(x2-x_)^2+...+(xn-x_)^2]作为样本X的方差的估计时，发现其数学期望并不是X的方差，而是X方差的(n-1)/n倍，[1/(n-1)][(x1-x_)^2+(x2-x_)^2+...+(xn-x_)^2]的数学期望才是X的方差，用它作为X的方差的估计具有“无偏性”，所以我们总是用[1/(n-1)]∑(xi-X~)^2来估计X的方差，并且把它叫做“样本方差”。（注意：这点很重要）

      设X是一个随机变量，若E{[X-E(X)]^2}存在，则称E{[X-E(X)]^2}为X的方差，记为D(X)或DX。

　　即D(X)=E{[X-E(X)]^2}称为方差，而σ(X)=D(X)^0.5（与X有相同的量纲）称为标准差（或均方差）。即用来衡量一组数据的离散程度的统计量。
　　方差刻画了随机变量的取值对于其数学期望的离散程度。即，D（X）是刻画X取值分散程度的一个量，它是衡量X取值分散程度的一个尺度。若X的取值比较集中，则方差D(X)较小；若X的取值比较分散，则方差D(X)较大。　　

…………………………………………………………………………………………………………………………………

协方差 covariance ：

        在概率论和统计学中，协方差用于衡量两个变量的总体误差，是一个衡量线性独立的无量纲的数。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。

 

　　期望值分别为E(X) = μ 与 E(Y) = ν 的两个实数随机变量X与Y之间的协方差定义为：COV(X，Y)=E[(X-E(X))(Y-E(Y))]  （注：COV(X，Y) = E(XY) - E(X)E(Y) 推导过程为原式做因式分解，神马？你没学过因式分解&￥%@#￥@%&*！！！）

 

       直观上来看，协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。　　如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。  如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

    如果X与Y是统计独立的，那么二者之间的协方差就是0，反之则不成立（我偷下懒，这个知识可以回去看看数理统计）

………………………………………………………………………………………………………………………………

协方差矩阵 covariance matrix ：

     在概率论和统计学中,，协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。是从标量随机变量（也就是单维或单值随机变量）到高维度随机向量的自然推广。

　　假设 X 是以 n 个标量随机变量（看做n个变量）组成的行向量，并且μk 是其第k个元素的期望值, 即, μk = E(Xk), 协方差矩阵然后被定义为：　　Σ=E{(X-E[X])(X-E[X])T}

 

（这儿插一句：无论你要求的X样本有多少，假设为m个，求出的协方差矩阵都是n阶方阵）
　　矩阵中的第(i,j)个元素是变量Xi与变量Xj的协方差. 这个概念是对于标量随机变量方差的一般化推广。　　尽管协方差矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为KL-变换。

 

可能你还是会对协方差矩阵迷迷糊糊的，没关系，表着急，接着往后看

……………………………………………………………………………………

→→→→→→→二师兄！后面有好多女妖怪.........

http://blog.sina.com.cn/s/blog_9e67285801010q68.html