方差、协方差、协方差矩阵以及互相关矩阵
目录
- 1.方差和协方差
- 2.从方差/协方差到协方差矩阵
- 3.互相关矩阵
1.方差和协方差
在统计学中，方差是用来度量单个随机变量的离散程度，而协方差一般是用来度量两个随机变量的相似程度，其中方差的计算公式为：
σ x 2 = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) 2 \sigma _{x}^{2}=\frac{1}{n-1}\sum_{i=1}^{n}(x_{i}-\bar{x})^{2} σx2=n−11i=1∑n(xi−xˉ)2
其中， n n n表示样本总量，符号 x ˉ \bar{x} xˉ表示观测样本的均值。并且分母除以 n − 1 n-1 n−1表示无偏估计。
在此基础上，协方差公式被定义为：
σ ( x , y ) = 1 n − 1 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) \sigma (x,y)=\frac{1}{n-1}\sum_{i=1}^{n}(x_{i}-\bar{x})(y_{i}-\bar{y}) σ(x,y)=n−11i=1∑n(xi−xˉ)(yi−yˉ)
在公式中， x ˉ , y ˉ \bar{x},\bar{y} xˉ,yˉ分别表示两个随机变量对应的样本观测均值，据此，我们发现，方差 σ x 2 \sigma _{x}^{2} σx2可以视作 x x x关于自身的协方差 σ ( x , x ) \sigma (x,x) σ(x,x)。
2.从方差/协方差到协方差矩阵
根据方差的定义，给定 d d d个随机变量 x k , k = 1 , 2 , . . . , d x_{k},k=1,2,...,d xk,k=1,2,...,d，则这些随机变量的方差为：
σ ( x k , x k ) = 1 n − 1 ∑ i = 1 n ( x k i − x ˉ k ) 2 , k = 1 , 2 , . . . , d \sigma (x_{k},x_{k})=\frac{1}{n-1}\sum_{i=1}^{n}(x_{ki}-\bar{x}_{k})^{2},k=1,2,...,d σ(xk,xk)=n−11i=1∑n(xki−xˉk)2,k=1,2,...,d
其中， x k i x_{ki} xki表示随机变量 x k x_{k} xk中的第 i i i个观测样本， n n n表示样本量，每个随机变量所对应的观测样本数量均为 n n n。
对于这写随机变量，我们还可以根据协方差的定义，求出两两之间的协方差，即：
σ ( x m , x k ) = 1 n − 1 ∑ i = 1 n ( x m i − x m ˉ ) ( x k i − x k ˉ ) \sigma (x_{m},x_{k})=\frac{1}{n-1}\sum_{i=1}^{n}(x_{mi}-\bar{x_{m}})(x_{ki}-\bar{x_{k}}) σ(xm,xk)=n−11i=1∑n(xmi−xmˉ)(xki−xkˉ)
因此，协方差矩阵(covariance matric)为：
∑ = [ σ ( x 1 , x 1 ) . . . σ ( x 1 , x d ) ⋮ ⋱ ⋮ σ ( x d , x 1 ) ⋯ σ ( x d , x d ) ] ∈ R d × d \sum =\begin{bmatrix} \sigma (x_{1},x_{1})& ...& \sigma (x_{1},x_{d})\\ \vdots & \ddots &\vdots \\ \sigma (x_{d},x_{1}) & \cdots & \sigma (x_{d},x_{d}) \end{bmatrix}\in R^{d\times d} ∑=⎣⎢⎡σ(x1,x1)⋮σ(xd,x1)...⋱⋯σ(x1,xd)⋮σ(xd,xd)⎦⎥⎤∈Rd×d
其中，对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差。因为协方差 σ ( x m , x k ) \sigma (x_{m},x_{k}) σ(xm,xk)和 σ ( x k , x m ) \sigma (x_{k},x_{m}) σ(xk,xm)相等，矩阵 ∑ \sum ∑为对称矩阵，其大小为 d × d d\times d d×d。
3.互相关矩阵
假设有两个随机序列 X , Y X,Y X,Y，则这两者的互相关矩阵为：
R X Y = E ( X Y T ) R_{XY}=E(XY^{T}) RXY=E(XYT)
如果两个序列的期望均为0，他们的互相关矩阵和协方差矩阵是一样的。从物理意义上来看，互相关矩阵呈现了两个随机序列的相似性，协方差矩阵反映了两个序列的离散程度。