协方差，协方差矩阵，马氏距离
从维基百科中摘录：
http://zh.wikipedia.org/wiki/协方差
http://zh.wikipedia.org/wiki/协方差矩阵
http://zh.wikipedia.org/wiki/马氏距离
*************************************************************************
协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。
期望值分别为与的两个实数随机变量X 与Y 之间的协方差定义为：
- ，
其中E是期望值。它也可以表示为：
- ，
直观上来看，协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
如果X 与Y 是统计独立的，那么二者之间的协方差就是0，这是因为
但是反过来并不成立，即如果X 与Y 的协方差为0，二者并不一定是统计独立的。
取决于协方差的相关性η
更准确地说是线性相关性，是一个衡量线性独立的无量纲数，其取值在[0,+1]之间。相关性η = 1时称为“完全线性相关”，此时将Yi对Xi作Y-X 散点图，将得到一组精确排列在直线上的点；相关性数值介于0到1之间时，其越接近1表明线性相关性越好，作散点图得到的点的排布越接近一条直线。
相关性为0（因而协方差也为0）的两个随机变量又被称为是不相关的，或者更准确地说叫作“线性无关”、“线性不相关”，这仅仅表明X 与Y 两随机变量之间没有线性相关性，并非表示它们之间一定没有任何内在的（非线性）函数关系，和前面所说的“X、Y二者并不一定是统计独立的”说法一致。如果X 与Y 是实数随机变量，a 与b 不是随机变量，那么根据协方差的定义可以得到：
- ，
- ，
- ，
对于随机变量序列X1, ..., Xn与Y1, ..., Ym，有
- ，
对于随机变量序列X1, ..., Xn，有
。
协方差矩阵
分别为m 与n 个标量元素的列向量随机变量X 与Y，二者对应的期望值分别为μ与ν，这两个变量之间的协方差定义为m×n 矩阵
两个向量变量的协方差cov(X, Y)与cov(Y, X)互为转置矩阵。
协方差有时也称为是两个随机变量之间“线性独立性”的度量，但是这个含义与线性代数中严格的线性独立性线性独立不同。
在统计学与概率论中，协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。这是从标量随机变量到高维度随机向量的自然推广。
假设是以个标量随机变量组成的列向量，
并且是其第i个元素的期望值，即, 。协方差矩阵被定义的第i，j项是如下：
即：
矩阵中的第个元素是与的协方差。这个概念是对于标量随机变量方差的一般化推广。
马氏距离是由印度统计学家马哈拉诺比斯（P. C. Mahalanobis）提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的（scale-invariant），即独立于测量尺度。 对于一个均值为，协方差矩阵为的多变量向量，其马氏距离为
马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为的随机变量与的差异程度：
如果协方差矩阵为单位矩阵，马氏距离就简化为欧氏距离；如果协方差矩阵为对角阵，其也可称为正规化的欧氏距离。
其中是的标准差。