宋浩概率论与数理统计-第三章-笔记

第三章

3.1.1 二维随机变量及其分布函数

$E$为随机试验，$\Omega$为样本空间，$X,Y$是定义在$\Omega$上的两个随机变量
$(X,Y)$称为二维随机向量/变量

联合分布

分布函数：
$F(x,y)=P(X\le x,Y\le y)$（$X,Y$的联合分布函数）

性质：

1. $0\le F(x,y)\le 1$
2. $F(x,y)$是$x$或$y$的不减函数
3. $F(-\infty ,y)=0,F(x,-\infty )=0,F(-\infty ,-\infty )=0,F(+\infty ,+\infty )=1$
4. $F(x,y)$分别关于$x,y$右连续
5. $x_1<x_2,y_1<y_2$，则$P(x_1<X\le x_2,y_1<Y\le y_2)=F(x_2,y_2)-F(x_2,y_1)-F(x_1,y_2)+F(x_1,y_1)$

边缘分布

$F_X(x)=P(X\le x)=F(x,+\infty )=P(X\le x,Y<+\infty )$
$F_Y(y)=P(Y\le y)=F(+\infty ,y)=P(X<+\infty ,Y\le y)$

3.1.2 二维离散型的联合分布和边缘分布

$\begin{array}{cccc}X\backslash Y& 1& 2& 3\\ 1& 0& 1/2& 1/8\\ 2& 1/8& 1/8& 1/8\end{array}$
（联合分布表）
$P(X=x_i,Y=y_j)=P_{ij}$

性质：

1. $P_{ij}\ge 0$
2. $\sum _i\sum _j{P}_{ij}=1$

$F(x,y)=P(X\le x,Y\le y)=\sum _{X_i\le x}\sum _{Y_j\le y}{P}_{ij}$

边缘分布：
对行/列求和

联合分布可唯一确定边缘分布，边缘分布不能确定联合分布（$X,Y$独立）

3.1.3 二维连续型的联合分布和边缘分布

联合分布

$F(x,y)=P(X\le x,Y\le y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(s,t)dsdt$

分布函数$F(x,y)$，联合密度函数$f(x,y)$

性质：

1. $f(x,y)\ge 0$
2. ${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)dxdy=1$
3. $\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=f(x,y)$
4. $G$是$XY$平面上的区域，$P((X,Y)\in G)=\underset{G}{\iint }f(x,y)dxdy$

例题
【例1】
$f(x,y)=\{\begin{array}{ll}C& (x,y)\in G\\ 0& else\end{array}$
$G:x^2+y^2\le r^2$
求$C$

解：
${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)dxdy=\underset{G}{\iint }Cdxdy=C\pi r^2=1$
$C=\frac{1}{\pi r^2}$

均匀分布定义：
$f(x,y)=\{\begin{array}{ll}\frac{1}{S_G}& (x,y)\in G\\ 0& else\end{array}$

【例2】
$f(x,y)=\{\begin{array}{ll}{e}^{-(x+y)}& x>0,y>0\\ 0& else\end{array}$
$G:x\ge 0,y\ge 0,x+y\le 1$
求：1. $F(x,y)$；2. $P((x,y)\in G)$；3. $F_X(x),F_Y(y)$

解：

1. $F(x,y)=P(X\le x,Y\le y)$

• $x>0,y>0$
  $F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(s,t)dsdy={\int }_0^x{\int }_0^y{e}^{-s}{e}^{-t}dsdy$
  已知${\int }_a^b{\int }_c^{d}f(x,y)dxdy={\int }_a^b{\int }_c^d{f}_1(x)f_2(y)dxdy={\int }_a^b{f}_1(x)dx\cdot {\int }_c^d{f}_2(y)dy$（高数知识）
  故$F(x,y)={\int }_0^x{e}^{-s}ds\cdot {\int }_0^y{e}^{-t}dy=(1-e^{-x})(1-e^{-y})$
• $x<0$或$y<0$，$F(x,y)=0$

2. $P((x,y)\in G)=\underset{G}{\iint }f(x,y)dxdy=\underset{G}{\iint }{e}^{-(x+y)}dxdy={\int }_0^{1}dx{\int }_0^{1-x}{e}^{-(x+y)}dy=1-2e^{-1}$

3. $F_X(x)=\underset{y\to +\infty }{\lim }F(x,y)=\{\begin{array}{ll}1-e^{-x}& x>0\\ 0& x\le 0\end{array}$

边缘分布

$F_X(x)=F(x,+\infty )={\int }_{-\infty }^x[{\int }_{-\infty }^{+\infty }f(s,t)dt]ds$
对上式求导
已知$[{\int }_a^{f(x)}g(t)dt{]}^{\prime }=f^{\prime }(x)g(f(x))$（高数知识）
则：
$f_X(x)={\int }_{-\infty }^{+\infty }f(x,t)dt={\int }_{-\infty }^{+\infty }f(x,y)dy$
$f_Y(y)={\int }_{-\infty }^{+\infty }f(s,y)ds={\int }_{-\infty }^{+\infty }f(x,y)dx$

例题
【例3】
已知$f(x,y)=\frac{1}{{\pi }^2(1+x^2)(1+y^2)}$，求$f_X(x),f_Y(y)$

解：
$f_X(x)={\int }_{-\infty }^{+\infty }\frac{1}{{\pi }^2(1+x^2)(1+y^2)}dy=\frac{1}{{\pi }^2(1+x^2)}\arctan y{|}_{-\infty }^{+\infty }=\frac{1}{\pi (1+x^2)}$
$f_Y(y)={\int }_{-\infty }^{+\infty }\frac{1}{{\pi }^2(1+x^2)(1+y^2)}dx=\frac{1}{{\pi }^2(1+y^2)}\arctan x{|}_{-\infty }^{+\infty }=\frac{1}{\pi (1+y^2)}$

定理：
$f(x,y)=f_X(x)\cdot f_Y(y)$

【例4】
$f(x,y)=\{\begin{array}{ll}\frac{1}{\pi r^2}& x^2+y^2\le r\\ 0& else\end{array}$
求$f_X(x),f_Y(y)$

解：

• $|x|\le r$时，$f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy={\int }_{-\sqrt{r^2-x^2}}^{\sqrt{r^2-x^2}}\frac{1}{\pi r^2}dy=\frac{2\sqrt{r^2-x^2}}{\pi r^2}$
• $|x|>r$时，$f_X(x)=0$

综上，$f_X(x)=\{\begin{array}{ll}\frac{2\sqrt{r^2-x^2}}{\pi r^2}& |x|\le r\\ 0& else\end{array}$
同理，
$f_Y(y)=\{\begin{array}{ll}\frac{2\sqrt{r^2-y^2}}{\pi r^2}& |y|\le r\\ 0& else\end{array}$

均匀分布：
一维变量$x,y$都属于均匀分布时，二维随机变量并非属于均匀分布

正态分布：

1. 二维正态分布的边缘分布也是正态分布
2. 两个边缘分布是正态分布，二维随机变量不一定是二维正态分布

3.2.1 条件分布

$F(x)=P(X\le x)$

条件分布：
$F(x|A)=P(X\le x|A)$

例题
【例1】
求$f(x)=\frac{1}{\pi (1+x^2)}$在$x>1$的条件下的条件分布
解：
$F(X|x>1)=P(X\le x|X>1)=\frac{P(X\le x,X>1)}{P(X>1)}$

• $x\le 1$时，$F(X|x>1)=0$
• $x>1$时，$P(1<X\le x)={\int }_1^x\frac{1}{\pi (1+x^2)}dt=\frac{1}{\pi }\arctan t{|}_1^x=\frac{1}{\pi }\arctan x-\frac{1}{4}$
  $P(X>1)={\int }_1^{+\infty }\frac{1}{\pi (1+x^2)}dt=\frac{1}{4}$
  因此，$F(X|x>1)=\{\begin{array}{ll}0& x\le 1\\ \frac{4}{\pi }\arctan x-1& x>1\end{array}$

3.2.2 离散型的条件分布

$\begin{array}{ccc}{X}_1\backslash X_2& 0& 1\\ 0& 0.1& 0.3\\ 1& 0.3& 0.3\end{array}$

$P(X_2=0|X_1=0)=0.1/0.4=0.25$

3.2.3 连续型的条件分布

二维随机变量$(X,Y)$，已知$f(x,y),f_X(x),f_Y(y)$，若$f_Y(y)>0$，在$Y=y$条件下，$F(x|y)={\int }_{-\infty }^x\frac{f(u,y)}{f_Y(y)}du$

$F(y|x)={\int }_{-\infty }^y\frac{f(x,v)}{f_X(x)}dv$

$f(x|y)=\frac{f(x,y)}{f_Y(y)}$
$f(y|x)=\frac{f(x,y)}{f_X(x)}$

理论证明：
$P(X\le x|Y=y)=\frac{P(X\le x,Y=y)}{P(Y=y)}=\underset{ϵ\to 0}{\lim }\frac{P(X\le x,y\le Y\le y+ϵ)}{P(y\le Y\le y+ϵ)}=\underset{ϵ\to 0}{\lim }\frac{{\int }_{-\infty }^x{\int }_y^{y+ϵ}f(u,v)dvdu}{{\int }_y^{y+ϵ}{f}_Y(v)dv}=\underset{ϵ\to 0}{\lim }\frac{{\int }_{-\infty }^x\frac{1}{ϵ}{\int }_y^{y+ϵ}f(u,v)dvdu}{\frac{1}{ϵ}{\int }_y^{y+ϵ}{f}_Y(v)dv}$

由积分中值定理（存在$\xi \in (a,b)$，$s.t.{\int }_a^{b}f(x)dx=f(\xi )(b-a)$），可得：

存在$\xi \in (y,y+ϵ)$，$s.t.{\int }_y^{y+ϵ}{f}_Y(v)dv=f(\xi )ϵ=f(y)ϵ$

故$P(X\le x|Y=y)=\frac{{\int }_{-\infty }^{x}f(u,v)du}{f_Y(y)}={\int }_{-\infty }^x\frac{u,y}{f_Y(y)}du$

例题
【例1】
$f(x,y)=\frac{1}{{\pi }^2(1+x^2)(1+y^2)}$
则$f_X(x)=\frac{1}{\pi (1+x^2)},f_Y(y)=\frac{1}{\pi (1+y^2)}$

因此：
$f(x|y)=\frac{f(x,y)}{f_Y(y)}=\frac{1}{\pi (1+x^2)}$
$f(x|y)=\frac{f(x,y)}{f_X(x)}=\frac{1}{\pi (1+y^2)}$

【例2】
$f(x,y)=\{\begin{array}{ll}\frac{1}{\pi r^2}& x^2+y^2\le r^2\\ 0& else\end{array}$

则$f_X(x)=\{\begin{array}{ll}\frac{2\sqrt{r^2-x^2}}{\pi r^2}& |x|\le r\\ 0& else\end{array}$
$f_Y(y)=\{\begin{array}{ll}\frac{2\sqrt{r^2-y^2}}{\pi r^2}& |y|\le r\\ 0& else\end{array}$

• 若$|y|<r$，$f(x|y)=\frac{f(x,y)}{f_Y(y)}=\{\begin{array}{ll}\frac{1}{2\sqrt{r^2-y^2}}& -\sqrt{r^2-y^2}\le x\le \sqrt{r^2-y^2}\\ 0& else\end{array}$

• $P(X>0|Y=0)={\int }_0^{+\infty }\frac{1}{2r}dx=\frac{1}{2}$

3.2.4 随机变量的独立性

判断随机变量独立性的条件（任选）：

• $f(x|y)=f_X(x)=\frac{f(x,y)}{f_Y(y)}$（即：$f(x,y)=f_X(x)f_Y(y)$）（常见）
• $F(x,y)=F_X(x)F_Y(y)$
• $P(X\in S_x,Y\in S_y)=P(X\in S_x)P(Y\in S_y)$

二维离散型的独立性

$P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)$

二维连续型的独立性

$f(x,y)=f_X(x)f_Y(y)$

例题
【例2】经理到达办公室时间为8-12时均匀分布，秘书到达时间为7-9时均匀分布，求两人到达时间不超过5 min（1/12 hour）的概率

解：
设$X$为经理到达时间，$Y$为秘书到达时间
$f_X(x)=\{\begin{array}{ll}\frac{1}{4}& 8<x<12\\ 0& else\end{array}$
$f_Y(y)=\{\begin{array}{ll}\frac{1}{2}& 7<y<9\\ 0& else\end{array}$

$X,Y$相互独立
$f(x,y)=f_X(x)f_Y(y)=\{\begin{array}{ll}\frac{1}{8}& 8<x<12,7<y<9\\ 0& else\end{array}$

$x-\frac{1}{12}\le y\le x+\frac{1}{12}$

$P(|X-Y|\le \frac{1}{12})=\underset{G}{\iint }f(x,y)dxdy=\underset{G}{\iint }\frac{1}{8}dxdy=\frac{1}{48}$

变量独立，构造的函数也独立

定理：$X,Y$独立，则$g_1(X),g_2(Y)$也独立

3.3.1 二维离散型随机变量函数的分布

举例
【例1】
$\begin{array}{ccc}X\backslash Y& 4& 4.2\\ 5& 0.2& 0.4\\ 5.1& 0.3& 0.1\end{array}$
求$Z=XY$：
$\begin{array}{ccccc}Z& 20& 21& 20.4& 21.42\\ P& 0.2& 0.4& 0.3& 0.1\end{array}$

【例2】
$x_1,x_2$独立，$0-1$分布，参数为$p$，求$x_1+x_2$

$\begin{array}{ccc}{x}_1& 0& 1\\ P& 1-p& p\end{array}$

$\begin{array}{ccc}{x}_2& 0& 1\\ P& 1-p& p\end{array}$

因此：
$\begin{array}{cccc}{x}_1+x_2& 0& 1& 2\\ P& (1-p{)}^2& 2p(1-p)& p^2\end{array}$

$x_1+x_2\sim B(2,p)$

【例3】
$X,Y$独立，分别服从参数为${\lambda }_1,{\lambda }_2$的泊松分布，求$Z=X+Y$

泊松分布：$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$

$P(Z=k)=\sum _{i=0}^{k}P(X=i,Y=k-i)=\sum _{i=0}^{k}P(X=i)P(Y=k-i)=\sum _{i=0}^k\frac{{\lambda }_1^i}{i!}{e}^{-{\lambda }_1}\frac{{\lambda }_2^{k-i}}{(k-i)!}{e}^{-{\lambda }_2}=\frac{({\lambda }_1+{\lambda }_2{)}^k}{k!}{e}^{-({\lambda }_1+{\lambda }_2)}$

$Z\sim P({\lambda }_1+{\lambda }_2)$
（泊松分布具有可加性）

3.3.2 二维连续型随机变量函数的分布

二维随机变量$(X,Y)$，联合密度函数$f(x,y)$，$Z=g(X,Y)$

1. $F_Z(z)=P(X\le z)=P(g(X,Y)\le z)=\underset{D_z}{\iint }f(x,y)dxdy$
   （$D_z=\{(x,y)|g(x,y)\le z\}$）
2. 对上式两边求导：
   $f_Z(z)=\dots \dots$

例题
【例1】
$f(x,y)=\frac{1}{2\pi }{e}^{-\frac{x^2+y^2}{2}}$，求$Z=\sqrt{X^2+Y^2}$

解：

• $z<0$时，$F_Z(z)=P(Z\le z)=P(\sqrt{X^2+Y^2}\le z)=0$
• $z\ge 0$时，$F_Z(z)=P(Z\le z)=P(\sqrt{X^2+Y^2}\le z)=P(X^2+Y^2\le z^2)=\underset{G}{\iint }\frac{1}{2\pi }{e}^{-\frac{x^2+y^2}{2}}dxdy={\int }_0^{2\pi }{\int }_0^z\frac{1}{2\pi }{e}^{-\frac{x^2+y^2}{2}}rdr={\int }_0^{2\pi }{\int }_0^z\frac{1}{2\pi }{e}^{-\frac{x^2+y^2}{2}}\frac{1}{2}d{r}^2=1-e^{-z^2}$
  
  因此，
  $F_Z(z)=\{\begin{array}{ll}0& z<0\\ 1-e^{-z^2}& z\ge 0\end{array}$
  $f_Z(z)=\{\begin{array}{ll}0& z<0\\ 2z{e}^{-z^2}& z\ge 0\end{array}$

两种特殊情况

1. $Z=X+Y$

则$F_Z(z)=P(Z\le z)=P(X+Y\le z)=\underset{X+Y\le z}{\iint }f(x,y)dxdy={\int }_{-\infty }^{+\infty }dx{\int }_{-\infty }^{z-x}f(x,y)dy$
令$t=x+y$，有：
$F_Z(z)={\int }_{-\infty }^{+\infty }dx{\int }_{-\infty }^{z}f(x,t-x)dt={\int }_{-\infty }^z[{\int }_{-\infty }^{+\infty }f(x,t-x)dx]dt$

两边求导：
$f_Z(z)={\int }_{-\infty }^{+\infty }f(x,z-x)dx$
同理，$f_Z(z)={\int }_{-\infty }^{+\infty }f(z-y,y)dy$

特别地，当$XY$独立时，有：
$f_Z(z)={\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(z-x)dx$
$f_Z(z)={\int }_{-\infty }^{+\infty }{f}_X(z-y)f_Y(y)dy$
（称“卷积公式”）

卷积公式使用条件：

1. $Z=X+Y$
2. $XY$独立

例

【例2】
$X\sim N(0,1),Y\sim N(0,1)$，$XY$独立，求$Z=X+Y$

解：
${\varphi }_Z(z)={\int }_{-\infty }^{+\infty }{\varphi }_X(x){\varphi }_Y(z-x)dx={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(z-x{)}^2}{2}}dx={\int }_{-\infty }^{+\infty }\frac{1}{2\pi }{e}^{-\frac{z^2}{4}}{e}^{-(x-\frac{z}{2}{)}^2}dx=\frac{1}{2\pi }{e}^{-\frac{z^2}{4}}{\int }_{-\infty }^{+\infty }{e}^{-(x-\frac{z}{2}{)}^2}d(x-\frac{z}{2})=\frac{1}{\sqrt{2\pi }\sqrt{2}}{e}^{-\frac{z^2}{2(\sqrt{2}{)}^2}}$

因此，$Z\sim N(0,2)$

推论：$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$，则$X+Y\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$

2. $M=max(X,Y),N=min(X,Y)$

$F_M(z)=P(M\le z)=P(X\le z,Y\le z)=P(X\le z)P(Y\le z)=F_X(z)F_Y(z)$
$F_N(z)=P(N\le z)=1-P(N>z)=1-P(X>z,Y>z)=1-P(X>z)P(Y>z)=1-(1-P(X\le z))(1-P(Y\le z))=1-(1-F_X(z))(1-F_Y(z))$

例

【例3】
$XY$独立，$X:[0,1]$上的均匀分布，$Y:\lambda =3$的指数分布，求$M=max(X,Y),N=min(X,Y)$

解：
$f_X(x)=\{\begin{array}{ll}1& 0\le x\le 1\\ 0& else\end{array}$
$f_Y(y)=\{\begin{array}{ll}3e^{-3y}& y>0\\ 0& y\le 0\end{array}$

$F_X(x)=\{\begin{array}{ll}0& x<0\\ x& 0\le x<1\\ 1& x\ge 1\end{array}$
$F_Y(y)=\{\begin{array}{ll}1-e^{-3y}& y>0\\ 0& y\le 0\end{array}$

因此，有：
$M=max(X,Y)$
$F_M(z)=\{\begin{array}{ll}0& z<0\\ z(1-e^{-3z})& 0\le z<1\\ 1-e^{-3z}& z\ge 1\end{array}$
$F_M(z)=\{\begin{array}{ll}0& z<0\\ 1-e^{-3z}+3z{e}^{-3z}& 0\le z<1\\ 3e^{-3z}& z\ge 1\end{array}$

$N=min(X,Y)$
$F_N(z)=\{\begin{array}{ll}0& z<0\\ 1-(1-z)e^{-3z}& 0\le z<1\\ 1& z\ge 1\end{array}$
$F_N(z)=\{\begin{array}{ll}4e^{-3z}-3z{e}^{-3z}& 0\le z<1\\ 0& else\end{array}$