概率论之 多维随机变量的期望，协方差矩阵
概率论之 多维随机变量的期望，协方差矩阵
- 前言
- 多维系统状态
- 多维随机变量的期望
- 多维随机变量的协方差矩阵
-
- 矩阵表示
- 公式表示
- 后记
前言
上一次写了一维随机变量的期望，方差，协方差。本次来记录多维随机变量的期望和协方差矩阵。这一块内容由浅入深，因此会有更新。
多维系统状态
假设系统状态有多个分量 x 1 , x 2 , … , x n x_1,x_2,\dots,x_n x1,x2,…,xn，则将其表示为向量的形式 X = ( x 1 , x 2 , … , x n ) T X=(x_1,x_2,\dots,x_n)^T X=(x1,x2,…,xn)T
多维随机变量的期望
多维随机变量的期望可表示为各分量的期望组成的向量：
E ( X ) = ( E ( x 1 ) , E ( x 2 ) , … , E ( x 3 ) ) T = ( μ 1 , μ 2 , … , μ n ) T E(X)=(E(x_1),E(x_2),\dots,E(x_3))^T \\ = (\mu_1,\mu_2,\dots,\mu_n)^T E(X)=(E(x1),E(x2),…,E(x3))T=(μ1,μ2,…,μn)T
性质
与一维随机变量具有类似的性质性：
E ( X + a ) = E ( X ) + a , a ∈ R E ( b X ) = b E ( X ) , b ∈ R E ( X + Y ) = E ( X ) + E ( Y ) ( E ( X ) ) T = E ( X T ) E(X+a) =E(X) +a, a\in R \\ E(bX) = bE(X), b \in R \\ E(X+Y)=E(X)+E(Y) \\ (E(X))^T = E(X^T) E(X+a)=E(X)+a,a∈RE(bX)=bE(X),b∈RE(X+Y)=E(X)+E(Y)(E(X))T=E(XT)
如果 A = ( a 1 , a 2 , … , a n ) T ∈ R n A =(a_1,a_2,\dots,a_n)^T \in R^{n} A=(a1,a2,…,an)T∈Rn，则有：
E ( A T X ) = A T E ( X ) E ( X T A ) = E ( X T ) A E ( A T X X T A ) = A T E ( X X T ) A E(A^TX)=A^TE(X) \\ E(X^TA)=E(X^T)A \\ E(A^TXX^TA)=A^TE(XX^T)A E(ATX)=ATE(X)E(XTA)=E(XT)AE(ATXXTA)=ATE(XXT)A
证明:
E ( A T X ) = E ( a 1 x 1 + a 2 x 2 + ⋯ + a n x n ) T = a 1 μ 1 + a 2 μ 2 + ⋯ + a n μ n = A T ( μ 1 , μ 2 , … , μ n ) T = A T E ( X ) E ( X T A ) = E ( ( A T X ) T ) = ( E ( A T X ) ) T = E ( X T ) A \begin{aligned} E(A^TX)&=E(a_1x_1+a_2x_2+\dots+a_nx_n)^T \\ &= a_1\mu_1+a_2\mu_2+\dots+a_n\mu_n \\ &= A^T(\mu_1,\mu_2,\dots,\mu_n)^T=A^TE(X) \\ E(X^TA) &= E((A^TX)^T) \\ &=(E(A^TX))^T=E(X^T)A \end{aligned} E(ATX)E(XTA)=E(a1x1+a2x2+⋯+anxn)T=a1μ1+a2μ2+⋯+anμn=AT(μ1,μ2,…,μn)T=ATE(X)=E((ATX)T)=(E(ATX))T=E(XT)A
实际上就是多维随机变量期望的线性性质。
多维随机变量的协方差矩阵
矩阵表示
两个一维随机变量的协方差表示为：
C o v ( x , y ) = E [ ( x − E ( x ) ) ( y − E ( y ) ) ] Cov(x,y)=E[(x-E(x))(y-E(y))] Cov(x,y)=E[(x−E(x))(y−E(y))]
多维随机变量的协方差矩阵，其实就是各分量两两之间的协方差的组成：
P X X = [ C o v 11 C o v 12 … C o v 1 n C o v 21 C o v 22 … C o v 2 n … … … … C o v n 1 C o v n 2 … C o v n n ] C o v n n = C o v ( x n , x n ) \begin{aligned} & P_{XX} = \begin{bmatrix} Cov_{11} & Cov_{12} &\dots & Cov_{1n} \\ Cov_{21} & Cov_{22} &\dots & Cov_{2n} \\ \dots & \dots&\dots & \dots \\ Cov_{n1} & Cov_{n2} &\dots & Cov_{nn} \\ \end{bmatrix} \\ \quad \\ & Cov_{nn}=Cov(x_n,x_n) \end{aligned} PXX=⎣⎢⎢⎡Cov11Cov21…Covn1Cov12Cov22…Covn2…………Cov1nCov2n…Covnn⎦⎥⎥⎤Covnn=Cov(xn,xn)
从以上协方差矩阵表示可以看出， P X X P_{XX} PXX的对角线元素实际上是各分量的方差，其它元素是各分量之间的协方差，并且协方差矩阵是对称矩阵。
公式表示
协方差矩阵还可以从代数形式上表示：
P X X = E [ ( X − E ( X ) ) ( X − E ( X ) ) T ] , X ∈ R n P_{XX}=E[(X-E(X))(X-E(X))^T],X\in R^n PXX=E[(X−E(X))(X−E(X))T],X∈Rn
实际上就是将一维随机变量的协方差公式换成了多维变量。
由公式可知协方差矩阵 P X X P_{XX} PXX是对称矩阵，并且是半正定矩阵。
设 A ∈ R n × n A\in R^{n\times n} A∈Rn×n为实对称矩阵，若对于每个非零实向量 X X X，都有 X T A X ≥ 0 X^TAX≥0 XTAX≥0，则称 A A A为半正定矩阵，称 X T A X X^TAX XTAX为半正定二次型。
证明：
对 称 性 ： P X X T = ( E [ ( X − E ( X ) ) ( X − E ( X ) ) T ] ) T = E [ ( ( X − E ( X ) ) ( X − E ( X ) ) T ) T ] = E [ ( X − E ( X ) ) ( X − E ( X ) ) T ] 半 正 定 ： Y T P X X Y = Y T E [ ( X − E ( X ) ) ( X − E ( X ) ) T ] Y = E [ Y T ( X − E ( X ) ) ( X − E ( X ) ) T Y ] = E [ Y T ( X − E ( X ) ) ( Y T ( X − E ( X ) ) ) T ] = E ( ∥ Y T ( X − E ( X ) ) ∥ 2 ) ≥ 0 \begin{aligned} 对称性：\\ P_{XX}^T&=(E[(X-E(X))(X-E(X))^T])^T \\ &= E[((X-E(X))(X-E(X))^T)^T] \\ &= E[(X-E(X))(X-E(X))^T] \\ 半正定：\\ Y^TP_{XX}Y &= Y^TE[(X-E(X))(X-E(X))^T]Y \\ &= E[Y^T(X-E(X))(X-E(X))^TY] \\ &= E[Y^T(X-E(X))(Y^T(X-E(X)))^T] \\ &= E( \Vert Y^T(X-E(X)) \Vert^2) \ge0 \end{aligned} 对称性：PXXT半正定：YTPXXY=(E[(X−E(X))(X−E(X))T])T=E[((X−E(X))(X−E(X))T)T]=E[(X−E(X))(X−E(X))T]=YTE[(X−E(X))(X−E(X))T]Y=E[YT(X−E(X))(X−E(X))TY]=E[YT(X−E(X))(YT(X−E(X)))T]=E(∥YT(X−E(X))∥2)≥0
性质：
C o v ( A X , A X ) = A C o v ( X , X ) A T , A ∈ R n × n C o v ( X + B , X + B ) , B ∈ R n × n 如 果 X , Y 都 是 n 维 随 机 变 量 ， 则 有 C o v ( X + Y , X + Y ) = C o v ( X , X ) + C o v ( Y , Y ) + C o v ( X , Y ) + C o v ( Y , X ) Cov(AX,AX)=ACov(X,X)A^T,A \in R^{n\times n}\\ Cov(X+B,X+B),B \in R^{n\times n} \\ \quad \\ 如果X,Y都是n维随机变量，则有\\ Cov(X+Y,X+Y)=Cov(X,X)+Cov(Y,Y) +Cov(X,Y)+Cov(Y,X) \\ Cov(AX,AX)=ACov(X,X)AT,A∈Rn×nCov(X+B,X+B),B∈Rn×n如果X,Y都是n维随机变量，则有Cov(X+Y,X+Y)=Cov(X,X)+Cov(Y,Y)+Cov(X,Y)+Cov(Y,X)
证明第三条性质：
C o v ( A X , A X ) = E ( A X − E ( A X ) ) ( ( A X − E ( A X ) ) T ) = E ( A X − A E ( X ) ) ( X T A T − E ( X T A T ) ) = A E ( X − E ( X ) ) ( X T − E ( X T ) ) A T = A E ( X − E ( X ) ) ( X − E ( X ) ) T A T = A C o v ( X , X ) A T Cov(AX,AX)=E(AX-E(AX))((AX-E(AX))^T) \\ = E(AX-AE(X))(X^TA^T-E(X^TA^T)) \\ = AE(X-E(X))(X^T-E(X^T))A^T \\ =AE(X-E(X))(X-E(X))^TA^T \\ =ACov(X,X)A^T Cov(AX,AX)=E(AX−E(AX))((AX−E(AX))T)=E(AX−AE(X))(XTAT−E(XTAT))=AE(X−E(X))(XT−E(XT))AT=AE(X−E(X))(X−E(X))TAT=ACov(X,X)AT
后记
本次记录了多为随机变量的期望和协方差矩阵，下一次会先记录正定矩阵，半正定矩阵和格拉姆矩阵的性质，以及范数，再回到协方差矩阵的意义上来。