数学期望及常见分布的期望计算与推导

1. 数据期望定义

• 设离散型随机变量$X$的分布律为$$P\{X=x_k\}=p_k,k=0,1,2,\cdots .$$ 若级数$$\sum _{k=1}^{\infty }{x}_k{p}_k$$ 绝对收敛，则称级数$\sum _{k=1}^{\infty }{x}_k{p}_k$ 的和为随机变量$X$的数学期望，记为$E(X)$. 即 $$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k.$$

• 设连续型随机变量$X$的概率密度为$f(x)$ ，若积分$${\int }_{-\infty }^{+\infty }xf(x)dx$$ 绝对收敛，则称积分${\int }_{-\infty }^{+\infty }xf(x)dx$的值为随机变量$X$的数学期望，记为$E(X)$. 即 $$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx.$$

• 数学期望简称期望，又称均值

  可以用加权平均值来理解期望。

2. 随机变量函数的数学期望

• 设$Y$是随机变量$X$的函数：$Y=g(X)$ ($g$是连续函数).
  1. 如果$X$是离散型随机变量，它的分布律为$P\{X=x_k\}=p_k,k=0,1,2,\cdots ,$ 若$\sum _{k=1}^{\infty }g(x_k)p_k$ 绝对收敛，则有$$E(Y)=E[g(X)]=\sum _{k=1}^{\infty }g(x_k)p_k.$$
  2. 如果$X$是连续型随机变量，它的概率密度为$f(x)$，若积分$${\int }_{-\infty }^{+\infty }g(x)f(x)dx$$ 绝对收敛,则有$$E(Y)=E[g(X)]={\int }_{-\infty }^{+\infty }g(x)f(x)dx.$$

3. 二维随机变量函数的期望

• 设$Z$是随机变量$X$，$Y$的函数：$Z=g(X,Y)$ ($g$是连续函数)，那么，$Z$ 是一个一维随机变量
  1. 若$(X,Y)$为离散型随机变量，其分布律为$P\{X=x_i,Y=y_j\}=p_{ij},i,j=1,2,\cdots ,$ 则有$$E(Z)=E[g(X,Y)]=\sum _{j=1}^{\infty }\sum _{i=1}^{\infty }g(x_i,y_j)p_{ij}$$，这里假设上式右边的级数绝对收敛。
  2. 若$(X,Y)$为连续型随机变量，其概率密度为$f(x,y)$，则有$$\begin{array}{r}E(Z)=E[g(X,Y)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy\end{array}$$

4. 数学期望性质

• 设$C$是常数，则有$E(C)=C.$

  目前我们主要研究离散型随机变量和连续性随机变量，因此，我们从两个方面证明期望性质的正确性

  证明：

  对于离散型，有

  $E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k=C\sum _{k=1}^{\infty }{x}_k=C$

  对于连续型，有

  $E(X)={\int }_{-\infty }^{+\infty }xf(x)dx.=C{\int }_{-\infty }^{+\infty }f(x)dx=C$

• 设$X$ 是一个随机变量，$C$是常数，则有$E(CX)=CE(X).$

  证明：

  对于离散型，有

  $E(CX)=\sum _{k=1}^{\infty }C{x}_k{p}_k=C\sum _{k=1}^{\infty }{x}_k{p}_k=CE(X)$

  对于连续型，有

  $E(X)={\int }_{-\infty }^{+\infty }Cxf(x)dx.=C{\int }_{-\infty }^{+\infty }xf(x)dx=CE(X)$

• 设$X$,$Y$ 是两个随机变量，则有$E(X+Y)=E(X)+E(Y).$

  证明

  对于离散型，有

  $E(X+Y)=\sum _{j=1}^{\infty }\sum _{i=1}^{\infty }(x_i+y_j)p_{ij}=\sum _{j=1}^{\infty }\sum _{i=1}^{\infty }{x}_i{p}_{ij}+\sum _{j=1}^{\infty }\sum _{i=1}^{\infty }{y}_j{p}_{ij}=E(X)+E(Y)$

  对于连续型，有

  $\begin{array}{rl}E(X+Y)& ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x+y)f(x,y)dxdy\\ & ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xf(x,y)dxdy+{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }yf(x,y)dxdy\\ & ={\int }_{-\infty }^{+\infty }xdx[{\int }_{-\infty }^{+\infty }f(x,y)dy]+{\int }_{-\infty }^{+\infty }ydy[{\int }_{-\infty }^{+\infty }f(x,y)dy]\\ & ={\int }_{-\infty }^{+\infty }x{f}_X(x)dx+{\int }_{-\infty }^{+\infty }y{f}_Y(y)dy\\ & =E(X)+E(Y)\end{array}$

  该性质可推广到任意有限个随机变量之和的情况

• 设$X$,$Y$ 是两个相互独立的随机变量，则有$E(XY)=E(X)E(Y).$

  证明

  对于离散型，有

  $E(XY)=\sum _{j=1}^{\infty }\sum _{i=1}^{\infty }(x_i{y}_j)p_{ij}=\sum _{j=1}^{\infty }\sum _{i=1}^{\infty }{x}_i{y}_j{p}_{i\cdot }{p}_{\cdot j}=\sum _{i=1}^{\infty }{x}_i{p}_{i\cdot }\cdot \sum _{j=1}^{\infty }{y}_j{p}_{\cdot j}=E(X)\cdot E(Y)$

  对于连续型，有

  $\begin{array}{rl}E(XY)& ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xyf(x,y)dxdy\\ & ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }x{f}_X(x)y{f}_Y(y)dxdy\\ & =[{\int }_{-\infty }^{+\infty }x{f}_X(x)dx]\cdot [{\int }_{-\infty }^{+\infty }y{f}_Y(y)dy]\\ & =E(X)E(Y)\end{array}$

  该性质可推广到任意有限个相互独立的随机变量之积的情况

5. 常见随机变量分布的期望

5.1 $(0-1)$分布

• 随机变量$X$服从$(0-1)$分布,则其分布律为 $P\{X=k\}=p^k(1-p{)}^{1-k},k=0,1$

  此时有$E(X)=p$ .

  证明：

  $E(X)=\sum _{k=0}^1{x}_k{p}_k=0\cdot p^0(1-p{)}^{1-0}+1\cdot p^1(1-p{)}^{1-1}=p$

5.2 二项分布

• $X\sim b(n,p)$ ,则其分布律为$P\{X=k\}=\left({}_k^n\right)p^k{q}^{n-k}k=0,1,2\cdots ,n$ ，此时有$E(X)=np.$

  证明：

  $$\begin{array}{rl}E(X)& =\sum _{k=0}^{n}k{(}_k^n)p^k{q}^{n-k}\\ & =\sum _{k=0}^{n}k\frac{n!}{k!(n-k)!}{p}^k{q}^{n-k}\\ & =\sum _{k=1}^{n}np\frac{(n-1)!}{(k-1)!(n-k)!}{p}^{k-1}{q}^{n-k}(k变成从1到n，原因计算期望时k=0的一项为0，不影响结果，且这一步能避免出现(-1)!)\\ & =np\cdot (p+q{)}^{n-1}(上式中只有k是未知数，因此np在累加时可提出，累加项刚好为(p+q{)}^{n-1}的二项展开项)\\ & =np\end{array}$$

5.3 泊松分布

• $X\sim \pi (\lambda )$ ,则其分布律为$P\{X=k\}=\frac{{\lambda }^k}{k!}{e}^{-\lambda }k=0,1,2,\cdots$ ，此时有$E(X)=\lambda .$

  证明：

  $$\begin{array}{rl}E(X)& =\sum _{k=0}^{\infty }k\frac{{\lambda }^k}{k!}{e}^{-\lambda }\\ & =\lambda e^{-\lambda }\sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}(k变成从1到n，原因计算期望时k=0的一项为0，不影响结果，且这一步能避免出现(-1)的阶乘.\lambda e^{-\lambda }为常数，可以从累加式中提出)\\ & =\lambda e^{-\lambda }{e}^{\lambda }(泰勒公式可知e^{\lambda }=\sum _{n=0}^N\frac{1}{n!}{x}^n，如果看不出来，令(k-1)=n,则\sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}=\sum _{n=0}^{\infty }\frac{{\lambda }^n}{n!})\\ & =\lambda \end{array}$$
  关于泰勒公式之前文章 离散型随机变量及其常见分布律 有相关描述.

  证明方法二：

  $$\begin{array}{rl}E(X)& =\sum _{k=0}^{\infty }k\frac{{\lambda }^k}{k!}{e}^{-\lambda }=\lambda \sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}{e}^{-\lambda }\\ & 令k-1=n，则\\ E(X)& =\lambda \sum _{n=0}^{\infty }\frac{{\lambda }^n}{n!}{e}^{-\lambda }\\ & =\lambda \cdot 1(\sum _{n=0}^{\infty }\frac{{\lambda }^n}{n!}{e}^{-\lambda }刚好是泊松分布，所有可能取值的概率和，即为1)\\ & =\lambda \end{array}$$
  关于泊松分布所有可能取值的概率和为1的证明， 感兴趣的同学可以看看之前的文章 离散型随机变量及其常见分布律 有相关证明.

5.4 几何分布

• $X\sim G(p)$ ,则其分布律为$P\{X=k\}=(1-p{)}^{k-1}pk=1,2,3,\cdots$ ，此时有$E(X)=\frac{1}{p}.$

  证明：

  $$\begin{array}{rl}& E(X)=\sum _{k=1}^{\infty }k(1-p{)}^{k-1}p=p\sum _{k=1}^{\infty }k(1-p{)}^{k-1}\\ & 令S=\sum _{k=1}^{\infty }k(1-p{)}^{k-1}=1\cdot (1-p{)}^0+2\cdot (1-p{)}^1+3\cdot (1-p{)}^2+\cdots +(k-1)\cdot (1-p{)}^{k-2}+k\cdot (1-p{)}^{k-1}(1)\\ & (1-p)S=1\cdot (1-p{)}^1+2\cdot (1-p{)}^2+3\cdot (1-p{)}^3+\cdots +(k-1)\cdot (1-p{)}^{k-1}+k\cdot (1-p{)}^k(2)\\ & 由(1)-(2)可得,pS=(1-p{)}^0+(1-p{)}^1+(1-p{)}^2+\cdots +(1-p{)}^{k-2}+(1-p{)}^{k-1}-k\cdot (1-p{)}^k\\ & \therefore pS=\frac{1}{p}-(\frac{1}{p}+k)(1-p{)}^k\because 0\le (1-p)\le 1且k\to \infty \therefore \underset{k\to \infty }{\lim }(1-p{)}^k=0\therefore pS=\frac{1}{p}\\ & \therefore S=\sum _{k=1}^{\infty }k(1-p{)}^{k-1}=\frac{1}{p^2}\\ & \therefore E(X)=p\sum _{k=1}^{\infty }k(1-p{)}^{k-1}=pS=\frac{1}{p}\end{array}$$

  证明方法二：

  $$\begin{array}{rl}& E(X)=\sum _{k=1}^{\infty }k(1-p{)}^{k-1}p=p\sum _{k=1}^{\infty }k(1-p{)}^{k-1}\end{array}$$

  我们注意到，求和级数的形式为 $k{x}^{k-1}$ , 求和不便，但是我们知道 $(x^k{)}^{\prime }=k{x}^{k-1}$

  $$\begin{array}{rl}& \therefore \sum _{k=1}^{\infty }k{x}^{k-1}=(\sum _{k=1}^{\infty }{x}^k{)}^{\prime }=(\frac{x(1-x^k)}{1-x}{)}^{\prime }\\ & 当0<x<1且k\to \infty 时，\underset{k\to \infty }{\lim }{x}^k=0\\ & \therefore \sum _{k=1}^{\infty }k{x}^{k-1}=(\frac{x}{1-x}{)}^{\prime }=\frac{1}{(1-x{)}^2}\end{array}$$

  $$\begin{array}{rl}\therefore E(X)& =p\sum _{k=1}^{\infty }k(1-p{)}^{k-1}\\ & =p\frac{1}{(1-(1-p){)}^2}(0<1-p<1且k\to \infty )\\ & =p\frac{1}{p^2}\\ & =\frac{1}{p}\end{array}$$

5.5 超几何分布

• $X\sim H(n,M,N)$ ,则其分布律为$P\{X=k\}=\frac{{(}_k^M){(}_{n-k}^{N-M})}{{(}_n^N)}k=0,1,\cdots ,min\{n,M\}.$ ，此时有$E(X)=n\frac{M}{N}.$

  证明：

  $$\begin{array}{rl}E(X)& =\sum _{k=0}^{min\{n,M\}}k\frac{{(}_k^M){(}_{n-k}^{N-M})}{{(}_n^N)}\\ & =\sum _{k=0}^{min\{n,M\}}k\frac{M!}{k!(M-k)!}\frac{(N-M)!}{(n-k)!(N-M-n+k)!}\frac{n!(N-n)!}{N!}\\ & =\sum _{k=1}^{min\{n,M\}}\frac{M(M-1)!}{(k-1)!(M-k)!}\frac{(N-M)!}{(n-k)!(N-M-n+k)!}\frac{n(n-1)!(N-n)!}{N(N-1)!}\\ & =n\frac{M}{N}\frac{1}{{(}_{n-1}^{N-1})}\sum _{k=1}^{min\{n,M\}}{(}_{k-1}^{M-1}){(}_{n-k}^{N-M})\\ & =n\frac{M}{N}\frac{1}{{(}_{n-1}^{N-1})}{(}_{n-1}^{N-1})(范德蒙恒等式C_{m+n}^k=\sum _{i=0}^k{C}_m^i{C}_n^{k-i})\\ & =n\frac{M}{N}\end{array}$$

5.6 均匀分布

• $X\sim U(a,b)$ ,则其概率密度为$f(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b，\\ 0,else\end{array}.$ ，此时有$E(X)=\frac{a+b}{2}.$

  证明:

  $$\begin{array}{rl}E(X)& ={\int }_{-\infty }^{+\infty }xf(x)dx={\int }_{-\infty }^{a}x\cdot 0dx+{\int }_a^{b}x\frac{1}{b-a}dx+{\int }_b^{+\infty }x\cdot 0dx\\ & =0+(\frac{1}{2}\frac{1}{b-a}{x}^2){|}_a^b+0\\ & =\frac{a+b}{2}\end{array}$$

5.7 指数分布

• $X\sim E(\theta )$ ,则其概率密度为$f(x)=\{\begin{array}{l}\frac{1}{\theta }{e}^{-x/\theta },0<x，\\ 0,else\end{array}(\theta >0).$ ，此时有$E(X)=\theta .$

  证明：

  $$\begin{array}{rl}E(X)& ={\int }_{-\infty }^{+\infty }xf(x)dx={\int }_{-\infty }^{0}x\cdot 0dx+{\int }_0^{+\infty }x\frac{1}{\theta }{e}^{-x/\theta }dx\\ & =0+(-x{e}^{-x/\theta }){|}_0^{+\infty }-{\int }_0^{+\infty }-e^{-x/\theta }dx(分部积分法)\\ & =0-(\theta e^{-x/\theta }){|}_0^{+\infty }\\ & =-(0-\theta )\\ & =\theta \end{array}$$

  证明方法二：

  $$\begin{array}{rl}E(X)& ={\int }_{-\infty }^{+\infty }xf(x)dx={\int }_{-\infty }^{0}x\cdot 0dx+{\int }_0^{+\infty }x\frac{1}{\theta }{e}^{-x/\theta }dx\\ & =0+(-x{e}^{-x/\theta }){|}_0^{+\infty }-{\int }_0^{+\infty }-e^{-x/\theta }dx(分部积分法)\\ & =\theta {\int }_0^{+\infty }\frac{1}{\theta }{e}^{-x/\theta }dx(构造\theta 和\frac{1}{\theta }，不影响其结果，好处是积分项{\int }_0^{+\infty }\frac{1}{\theta }{e}^{-x/\theta }dx=F(+\infty )-F(0)=1)\\ & =\theta \cdot 1\\ & =\theta \end{array}$$

5.8 正态分布

• $X\sim N(\mu ,{\sigma }^2)$ ,则其概率密度为$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty .$ ，此时有$E(X)=\mu .$

  证明：

  $$\begin{array}{rl}E(X)& ={\int }_{-\infty }^{+\infty }xf(x)dx={\int }_{-\infty }^{+\infty }x\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx\\ & 令\frac{x-\mu }{\sigma }=t,则x=t\sigma +\mu \\ & =\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^{+\infty }(t\sigma +\mu )e^{-\frac{t^2}{2}}\sigma dt\\ & =\frac{1}{\sqrt{2\pi }}({\int }_{-\infty }^{+\infty }t\sigma e^{-\frac{t^2}{2}}dt+{\int }_{-\infty }^{+\infty }\mu e^{-\frac{t^2}{2}}dt)\\ & =\frac{1}{\sqrt{2\pi }}(-e^{-\frac{t^2}{2}}){|}_{-\infty }^{+\infty }+\frac{1}{\sqrt{2\pi }}\mu \sqrt{2\pi }(在介绍连续型随机变量概率密度时，有证明{\int }_{-\infty }^{+\infty }{e}^{-\frac{t^2}{2}}dt=\sqrt{2\pi })\\ & =0+\mu \\ & =\mu \end{array}$$

  关于${\int }_{-\infty }^{+\infty }{e}^{-\frac{t^2}{2}}dt=\sqrt{2\pi }$的详细证明可看之前文章 连续型随机变量及其常见分布函数和概率密度 中，正态分布必要性证明部分.

  证明方法二：

  我们知道，一般正态分布可以通过$Z=\frac{X-\mu }{\sigma }$ 转为标准正态分布，标准正态分布的期望是很好计算的，设为$E(X_0)$，之后再利用期望的性质$E(\frac{X-\mu }{\sigma })=\frac{E(X)}{\sigma }-\frac{\mu }{\sigma }=E(X_0).$ 反解出$E(X)$即可. 下面给出具体的证明步骤：

  标准正态分布的概率密度为$f(x)={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}dx$ 则

  $$\begin{array}{rl}E(X_0)& ={\int }_{-\infty }^{+\infty }xf(x)dx={\int }_{-\infty }^{+\infty }x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}dx\\ & =\frac{1}{\sqrt{2\pi }}(-e^{-\frac{x^2}{2}}){|}_{-\infty }^{+\infty }\\ & =0\end{array}$$

  $$\begin{array}{r}\therefore E(\frac{X-\mu }{\sigma })=\frac{E(X)}{\sigma }-\frac{\mu }{\sigma }=0\therefore E(X)=\mu \end{array}$$

5.9 总结

分布	参数	分布律或概率密度	数学期望
$(0-1)$分布	$0<p<1$	$P\{X=k\}=p^k(1-p{)}^{1-k},k=0,1$	$p$
二项分布 $X\sim b(n,p)$	$$\begin{gathered} n\ge 1 \\ 0<p<1 \end{gathered}$$	$P\{X=k\}=\left({}_k^n\right)p^k{q}^{n-k}k=0,1,2\cdots ,n$	$np$
泊松分布 $X\sim \pi (\lambda )$	$\lambda >0$	$P\{X=k\}=\frac{{\lambda }^k}{k!}{e}^{-\lambda }k=0,1,2,\cdots$	$\lambda$
几何分布$X\sim G(p)$	$0<p<1$	$P\{X=k\}=(1-p{)}^{k-1}pk=1,2,3,\cdots$	$\frac{1}{p}$
超几何分布 $X\sim H(n,M,N)$	$$\begin{gathered} N,M,n \\ N\ge M \\ N\ge n \end{gathered}$$	$P\{X=k\}=\frac{{(}_k^M){(}_{n-k}^{N-M})}{{(}_n^N)}k=0,1,\cdots ,min\{n,M\}.$	$n\frac{M}{N}$
均匀分布 $X\sim U(a,b)$	$a<b$	$f(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b，\\ 0,else\end{array}.$	$\frac{a+b}{2}$
指数分布 $X\sim E(\theta )$	$\theta >0$	$f(x)=\{\begin{array}{l}\frac{1}{\theta }{e}^{-x/\theta },0<x，\\ 0,else\end{array}.$	$\theta$
正态分布 $X\sim N(\mu ,{\sigma }^2)$	$$\begin{gathered} \mu \\ \sigma >0 \end{gathered}$$	$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty .$	$\mu$