协方差矩阵的向量表示推导

多维随机变量的协方差矩阵

对多维随机变量 X=[X1,X2,…,Xn]T ，我们往往需要计算各维度之间的协方差，这样协方差就组成了一个 n×n 的矩阵，称为协方差矩阵。协方差矩阵是一个对角矩阵，对角线上的元素是各维度上随机变量的方差。 我们定义协方差为 Σ , 矩阵内的元素 Σij 为

Σij=cov(Xi,Xj)=E[(Xi−E(Xi))(Xj−E(Xj))]

协方差矩阵为

Σ=E[(X−E(X))(X−E(X))T]

=⎡⎣⎢⎢⎢⎢⎢cov(X1,X1)cov(X2,X1)⋮cov(Xn,X1)cov(X1,X2)cov(X2,X2)⋮cov(Xn,X2,)⋯⋯⋮⋯cov(X1,Xn)cov(X2,Xn)⋮cov(Xn,Xn)⎤⎦⎥⎥⎥⎥⎥

样本的协方差矩阵

与上面的协方差矩阵相同，只是矩阵内各元素以样本的协方差替换。假设数据集 T={xi}mi=1 表示m个样本， 每个样本表示为 xi=(xi1,xi2,…,xin)T 。所有样本可以组成一个 m×n 的矩阵。

Xm×n=⎡⎣⎢⎢⎢⎢x11x21⋮xm1x12x22⋮xm2⋯⋯⋮⋯x1nx2n⋮xmn⎤⎦⎥⎥⎥⎥=[c1,c2,…,cn]

每一行代表一个对象，每一类代表一个维度，协方差矩阵，是求维度之间的相关性，而不是对象之间的，所以协方差矩阵的大小与维度相同。 ci 表示第i维的随机变量。
假设 x¯=(x¯1,x¯2,…,x¯n) , 则有 E(ci)=x¯i 。
用 Σ^ 表示样本的协方差矩阵，则有

Σ^=⎡⎣⎢⎢⎢⎢⎢cov(c1,c1)cov(c2,c1)⋮cov(cn,c1)cov(c1,c2)cov(c2,c2)⋮cov(cn,c2,)⋯⋯⋮⋯cov(c1,cn)cov(c2,cn)⋮cov(cn,cn)⎤⎦⎥⎥⎥⎥⎥

=1m−1⎡⎣⎢⎢⎢⎢⎢⎢⎢∑mi=1(xi1−x¯1)(xi1−x¯1)∑mi=1(xi2−x¯2)(xi1−x¯1)⋮∑mi=1(xin−x¯n)(xi1−x¯1)∑mi=1(xi1−x¯1)(xi2−x¯2)∑mi=1(xi2−x¯2)(xi2−x¯2)⋮∑mi=1(xin−x¯n)(xi2−x¯2)⋯⋯⋮⋯∑mi=1(xi1−x¯1)(xin−x¯n)∑mi=1(xi2−x¯2)(xin−x¯n)⋮∑mi=1(xin−x¯n)(xin−x¯n)⎤⎦⎥⎥⎥⎥⎥⎥⎥

=1m−1∑mi=1⎡⎣⎢⎢⎢⎢⎢(xi1−x¯1)(xi1−x¯1)(xi2−x¯2)(xi1−x¯1)⋮(xin−x¯n)(xi1−x¯1)(xi1−x¯1)(xi2−x¯2)(xi2−x¯2)(xi2−x¯2)⋮(xin−x¯n)(xi2−x¯2)⋯⋯⋮⋯(xi1−x¯1)(xin−x¯n)(xi2−x¯2)(xin−x¯n)⋮(xin−x¯n)(xin−x¯n)⎤⎦⎥⎥⎥⎥⎥

=1m−1∑mi=1(xi−x¯)(xi−x¯)T

这里分母为m−1是因为随机变量的数学期望未知，以样本均值代替，自由度减一。

更详细的请参考：
http://www.cnblogs.com/terencezhou/p/6235974.html

http://blog.csdn.net/thesnowboy_2/article/details/69564226#协方差