概率论之 多维随机变量的期望，协方差矩阵

前言

上一次写了一维随机变量的期望，方差，协方差。本次来记录多维随机变量的期望和协方差矩阵。这一块内容由浅入深，因此会有更新。

多维系统状态

假设系统状态有多个分量$x_1,x_2,\dots ,x_n$，则将其表示为向量的形式$X=(x_1,x_2,\dots ,x_n{)}^T$

多维随机变量的期望

多维随机变量的期望可表示为各分量的期望组成的向量：
$$\begin{gathered} E(X)=(E(x_1),E(x_2),\dots ,E(x_3){)}^T \\ =({\mu }_1,{\mu }_2,\dots ,{\mu }_n{)}^T \end{gathered}$$

性质
与一维随机变量具有类似的性质性：
$$\begin{gathered} E(X+a)=E(X)+a,a\in R \\ E(bX)=bE(X),b\in R \\ E(X+Y)=E(X)+E(Y) \\ (E(X){)}^T=E(X^T) \end{gathered}$$

---

如果$A=(a_1,a_2,\dots ,a_n{)}^T\in R^n$，则有：
$$\begin{gathered} E(A^{T}X)=A^{T}E(X) \\ E(X^{T}A)=E(X^T)A \\ E(A^{T}X{X}^{T}A)=A^{T}E(X{X}^T)A \end{gathered}$$
证明:
$$\begin{array}{rl}E(A^{T}X)& =E(a_1{x}_1+a_2{x}_2+\cdots +a_n{x}_n{)}^T\\ & =a_1{\mu }_1+a_2{\mu }_2+\cdots +a_n{\mu }_n\\ & =A^T({\mu }_1,{\mu }_2,\dots ,{\mu }_n{)}^T=A^{T}E(X)\\ E(X^{T}A)& =E((A^{T}X{)}^T)\\ & =(E(A^{T}X){)}^T=E(X^T)A\end{array}$$

实际上就是多维随机变量期望的线性性质。

多维随机变量的协方差矩阵

矩阵表示

两个一维随机变量的协方差表示为：
$$Cov(x,y)=E[(x-E(x))(y-E(y))]$$

多维随机变量的协方差矩阵，其实就是各分量两两之间的协方差的组成：
$$\begin{array}{rl}& P_{XX}=\left[\begin{array}{cccc}Co{v}_{11}& Co{v}_{12}& \dots & Co{v}_{1n}\\ Co{v}_{21}& Co{v}_{22}& \dots & Co{v}_{2n}\\ \dots & \dots & \dots & \dots \\ Co{v}_{n1}& Co{v}_{n2}& \dots & Co{v}_{nn}\end{array}\right]\\ & \\ & Co{v}_{nn}=Cov(x_n,x_n)\end{array}$$

从以上协方差矩阵表示可以看出，$P_{XX}$的对角线元素实际上是各分量的方差，其它元素是各分量之间的协方差，并且协方差矩阵是对称矩阵。

公式表示

协方差矩阵还可以从代数形式上表示：
$$P_{XX}=E[(X-E(X))(X-E(X){)}^T],X\in R^n$$
实际上就是将一维随机变量的协方差公式换成了多维变量。

由公式可知协方差矩阵$P_{XX}$是对称矩阵，并且是半正定矩阵。

设$A\in R^{n\times n}$为实对称矩阵，若对于每个非零实向量$X$，都有$X^{T}AX\ge 0$，则称$A$为半正定矩阵，称$X^{T}AX$为半正定二次型。

证明：
$$\begin{array}{rl}对称性：& \\ P_{XX}^T& =(E[(X-E(X))(X-E(X){)}^T]{)}^T\\ & =E[((X-E(X))(X-E(X){)}^T{)}^T]\\ & =E[(X-E(X))(X-E(X){)}^T]\\ 半正定：& \\ Y^T{P}_{XX}Y& =Y^{T}E[(X-E(X))(X-E(X){)}^T]Y\\ & =E[Y^T(X-E(X))(X-E(X){)}^{T}Y]\\ & =E[Y^T(X-E(X))(Y^T(X-E(X)){)}^T]\\ & =E(\Vert Y^T(X-E(X)){\Vert }^2)\ge 0\end{array}$$

---

性质：
$$\begin{gathered} Cov(AX,AX)=ACov(X,X)A^T,A\in R^{n\times n} \\ Cov(X+B,X+B),B\in R^{n\times n} \\ 如果X,Y都是n维随机变量，则有 \\ Cov(X+Y,X+Y)=Cov(X,X)+Cov(Y,Y)+Cov(X,Y)+Cov(Y,X) \end{gathered}$$
证明第三条性质：
$$\begin{gathered} Cov(AX,AX)=E(AX-E(AX))((AX-E(AX){)}^T) \\ =E(AX-AE(X))(X^T{A}^T-E(X^T{A}^T)) \\ =AE(X-E(X))(X^T-E(X^T))A^T \\ =AE(X-E(X))(X-E(X){)}^T{A}^T \\ =ACov(X,X)A^T \end{gathered}$$

后记

本次记录了多为随机变量的期望和协方差矩阵，下一次会先记录正定矩阵，半正定矩阵和格拉姆矩阵的性质，以及范数，再回到协方差矩阵的意义上来。