概率论 —— 随机变量的数字特征

一、一维随机变量的数字特征

1. 数学期望

（1）概念定义

• 如果 $X$ 是离散型随机变量，其分布列为 $p_i=P\{X=x_i\}(i=1,2,...)$，$Y$ 是 $X$ 的函数，$Y=g(X)$

  • 若级数 $\sum _{i=1}^{\infty }{x}_i{p}_i$绝对收敛，则称随机变量 $X$ 的数学期望存在，并将级数和 $\sum _{i=1}^{\infty }{x}_i{p}_i$ 称为随机变量的数学期望，记为 $E(X)或EX$，即 $E(X)=\sum _{i=1}^{\infty }{x}_i{p}_i$ 否则称 $X$ 的数学期望不存在；
  • 若级数 $\sum _{i=1}^{\infty }g(x_i)p_i$ 绝对收敛，则称 $Y=g(x)$ 的数学期望 $E[g(X)]$ 存在，且 $E[g(X)]=\sum _{i=1}^{\infty }g(x_i)p_i$，否则称 $g(X)$ 的数学期望不存在

• 如果 $X$ 是连续型随机变量，其概率密度为 $f(x)$，$Y$ 是 $X$ 的函数，$Y=g(X)$

  • 若积分 ${\int }_{-\infty }^{+\infty }xf(x)dx$ 绝对收敛，则称 $X$ 的数学期望存在，且 $EX={\int }_{-\infty }^{+\infty }xf(x)dx$，否则称 $X$ 的数学期望不存在。

  • 若积分 ${\int }_{-\infty }^{+\infty }g(x)f(x)dx$ 绝对收敛，则称 $g(X)$ 的数学期望存在，且 $E[g(X)]={\int }_{-\infty }^{+\infty }g(x)f(x)dx$，否则称 $g(X)$ 的数学期望不存在。

（2）说明

• 数学期望又称为概率平均值，常常简称 期望 或 均值。数学期望是描述随机变量平均取值状况特征的指标，它刻画随机变量的一切可能值的集中位置
• 在数学期望的定义中要求级数（或积分）绝对收敛，否则称期望不存在。这是因为 $X$ 的期望存在要求与 $X$ 的取值顺序无关，即要求任意改变 $x_i$ 的次序不应改变 $EX$ 的存在性，这在数学上就要求级数（或积分）绝对收敛，况且绝对收敛又有很多性质也便于数学上的处理。

（3）性质

1. 对任意常数 $a$ 和随机变量 $X_i(i=1,2,...,n)$ 有 $E(\sum _{i=1}^n{a}_i{X}_i)=\sum _{i=1}^n{a}_{i}E{X}_i$

   1. $Ec=c$
   2. $E(aX+c)=aEX+c$
   3. $E(X\pm Y)=EX\pm EY$

2. 设 $X$ 与 $Y$ 相互独立，则

   1. $E(XY)=EX\cdot EY$
   2. $E[g_1(X)\cdot g_2(Y)]=E[g_1(X)]\cdot E[g_2(Y)]$

3. 一般地，设 $X_1,X_2,...,X_n$ 相互独立，则

   1. $E(\prod _{i=1}^n{X}_i)=\prod _{i=1}^{n}E{X}_i$
   2. $E[\prod _{i=1}^n{g}_i(X_i)]=\prod _{i=1}^{n}E[g_i(X_i)]$

2. 方差、标准差

（1）概念

1. 方差：设 $X$ 是随机变量，如果 $E[(X-EX{)}^2]$ 存在，则称 $E[(X-EX{)}^2]$ 为 $X$ 的方差，记为 $DX$ 或 $\text{Var}(X)$，即

   ​ $$DX=E[(X-EX{)}^2]=E(X^2)-(EX{)}^2$$

2. 标准差：称 $\sqrt{DX}$ 为 $X$ 的标准差或均方差，记为 $\sigma (X)$

3. 标准化随机变量：称随机变量 $X^{\ast }=\frac{X-EX}{\sqrt{DX}}$ 为 $X$ 的标准化随机变量，有 $E{X}^{\ast }=0,D{X}^{\ast }=1$

（2）性质

1. $DX\ge 0,E(X^2)=DX+(EX{)}^2\ge (EX{)}^2$
2. $Dc=0$ （c为常数）
3. $D(aX+b)=a^{2}DX$
4. $D(X\pm Y)=DX+DY+2Cov(X,Y)$
5. 若 $X$ 和 $Y$ 相互独立，则
   ​ $$D(aX+bY)=a^{2}DX+b^{2}DY$$
   一般地，如果 $X_1,X_2,...,X_n$ 相互独立，$g_i(x)$ 为 $x$ 的连续函数，则
   ​ $$\begin{gathered} D(\sum _{i=1}^n{a}_i{X}_i)=\sum _{i=1}^n{a}_i^{2}D{X}_i \\ D[\sum _{i=1}^n{g}_i(X_i)]=\sum _{i=1}^{n}D[g_i(X_i)] \end{gathered}$$

3. 切比雪夫不等式

• 如果随机变量 $X$ 的方差 $DX$ 存在，则对任意 $ϵ>0$，有

  ​ $$P\{|X-EX|\ge ϵ\}\le \frac{DX}{{ϵ}^2}$$

• 由切比雪夫不等式知，当 $DX$ 愈小时，概率 $P\{|X-EX|<ϵ\}$ 越大，这表明方差是刻画随机变量与其期望值偏离程度的量，是描述随机变量 $X$ “分散程度” 特征的指标

• 常用分布的期望和方差
  

二、二维随机变量的数字特征

1. 数学期望

• 设 $X,Y$ 为随机变量，$g(X,Y)$ 为 $X,Y$ 的函数
• 如果 $(X,Y)$ 为离散型随机变量，其联合分布为
  ​ $$p_{ij}=P\{X=x_i,Y=y_i\}(i,j=1,2,...)$$
  ​ 若级数 $\sum _i\sum _{j}g(x_i,y_i)p_{ij}$ 绝对收敛，则定义
  ​ $$E[g(X,Y)]=\sum _i\sum _{j}g(x_i,y_i)p_{ij}$$
• 如果 $(X,Y)$ 为连续型随机变量，其概率密度为 $f(x,y)$，若积分 ${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$ 绝对收敛，则定义
  ​ $$E[g(X,Y)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$$

2. 协方差与相关系数

（1）概念

• 如果随机变量 $X$ 与 $Y$ 的方差存在且 $Dx>0,DY>0$，则称 $E[(X-EX)(Y-EY)]$ 为随机变量 $X$ 与 $Y$ 的 协方差，记为 $Cov(X,Y)$，即
  ​ $$Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX\cdot EY$$
  其中

  ​ $$E(XY)=\{\begin{array}{rl}& \sum _i\sum _j{x}_i{y}_{j}P(X=x_i,Y=y_j)(离散型),\\ & {\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xyf(x,y)dxdy(连续型)\end{array}$$

  称 ${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$ 为随机变量 $X$ 与 $Y$ 的 相关系数，若为0则称 $X$ 与 $Y$ 不相关；否则称相关

• 说明

  • 协方差 $Cov(X,Y)$ 描述随机变量 $X$ 和 $Y$ 间关联程度，比如研究父亲身高 $X$ 与孩子身高之间的偏 $Y$ 的偏差程度，便可用 $Cov(X,Y$) 来刻画
  • 相关系数 ${\rho }_{XY}$ 描述随机变量 $X$ 和 $Y$ 之间的线性相依性，$|{\rho }_{XY}|$ 的大小是刻画 $X$ 和 $Y$ 之间的线性相关程度的一种度量。 ${\rho }_{XY}=0$ 表示 $X$ 和 $Y$ 之间不存在线性关系，故称 $X$ 和 $Y$ 不线性相关，但这并不意味着 $X$ 和 $Y$ 之间不存在相依关系，它们之间还可存在某种非线性关系。

（2） 性质

• 协方差相关性质
  

（3）深入理解协方差

• 参考：协方差的深入理解

三、独立性与相关性的判定