连续随机变量(概率导论第三章)

连续随机变量

1. 连续随机变量和概率密度函数

1.1 关于$PDF$概率密度函数的性质

设$X$的$PDF$(概率密度函数)为$f_X(x)$。

• $f_X(x)\ge 0$对一切$x$成立
• ${\int }_{-\infty }^{\infty }{f}_X(x)dx=1$
• 设$\delta$是一个充分小的正数，则$P([x,x+\delta ])\approx f_X(x)\cdot \delta$
• 对任何实数轴上的子集$B$，

$$P(x\in B)={\int }_B{f}_X(x)dx$$

1.2 连续随机变量的期望

设$X$为连续随机变量，其相应的$PDF$(概率密度函数)为$f_X(x)$

• $X$的期望由下式定义：

$$E[X]={\int }_{-\infty }^{\infty }x{f}_X(x)dx$$

• 关于随机变量$g(X)$的期望规则为

$$E[g(X)]={\int }_{-\infty }^{\infty }g(x)f_X(x)dx$$

• $X$的方差由下式给出：

$$var(X)=E[X^2]-(E[X]{)}^2={\int }_{-\infty }^{\infty }(x-E[X]{)}^2{f}_X(x)dx$$

• 设$Y=aX+b$，其中$a$和$b$为常数，则

$$E[Y]=aE[X]+b,var(Y)=a^{2}var(X)$$

2. 分布函数

随机变量$X$的$CDF$ $F_X$由下式定义
$$对每一个x,F_X(x)=P(X\le x)$$
并且$F_X$具有下列性质。

• $F_X$是单调非减函数：

$$若x\le y,则F_X(x)\le F_X(y)$$

• 当$x\to -\infty$的时候，$F_X(x)$趋于$0$，当$x\to \infty$的时候，$F_X(x)$趋于$1$。
• 当$X$是离散随机变量的时候，$F_X(x)$为$x$的阶梯函数。
• 当$X$是连续随机变量的时候，$F_X(x)$为$x$的连续函数。
• 当$X$的离散随机变量并且去整数数值时，分布函数和分布列可以利用求和或差分互求：

$$F_X(k)=P(X\le k)=\sum _{i=1}^k{p}_X(i)$$

$$p_X(k)=P(X\le k)-P(X\le k-1)=F_X(k)-F_X(k-1)$$

其中$k$可以取任意整数。

• 当$X$是连续随机变量的时候，分布函数和概率密度函数可以利用积分或微分互换：

$$F_x(x)={\int }_{-\infty }^x{f}_X(t)dt,f_X(x)=\frac{d{F}_X}{dx}(x)$$

(第二个等式只在分布函数可微的那些点上成立)

3. 正态随机变量

关于正态随机变量的$CDF$的计算:

利用标准正态分布表计算正态随机变量$X$的分布函数($X$的均值为$\mu$，方差为${\sigma }^2$)，下面分两部分进行：

1. 将$X$标准化，减去$\mu$，再除以$\sigma$得到标准正态变量$Y$。
2. 从标准正态分布表查得$CDF$的值：

$$P(X\le x)=P(\frac{X-\mu }{\sigma }\le \frac{x-\mu }{\sigma })=P(Y\le \frac{x-u}{\sigma })=\Phi (\frac{x-u}{\sigma })$$

其中$Y$是标准正态随机变量。

4. 多个随机变量的联合概率密度

令$X$和$Y$为联合连续随机变量，其联合概率密度函数为$f_{X,Y}$。

• 利用联合概率密度函数可以进行概率计算：

$$P((X,Y)\in B)={\iint }_{(x,y)\in B}{f}_{X,Y}(x,y)dxdy$$

• $X$和$Y$的边缘概率密度函数可以利用联合概率密度函数进行计算得到：

$$f_X(x)={\int }_{-\infty }^{\infty }{f}_{X,Y}(x,y)dy,f_Y(y)={\int }_{-\infty }^{\infty }{f}_{X,Y}(x,y)dx$$

• 联合分布函数由公式$F_{X,Y}(x,y)=P(X\le x,Y\le y)$定义，并且在联合概率密度函数的连续点上，下面的公式成立：

$$f_{X,Y}=\frac{{\partial }^2{F}_{X,Y}}{\partial x\partial y}(x,y)$$

• $X$和$Y$的函数$g(X,Y)$定义了一个新的随机变量，并且

$$E[g(X,Y)]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }g(x,y)f_{X,Y}dxdy$$

• 若$g$是一个线性函数$aX+bY+c$，则

$$E[aX+bY+c]=aE[X]+bE[Y]+c$$

• 上面的结论能够自然地推广到多于两个随机变量的情况。

5. 条件概率

5.1 以事件为条件的条件概率密度函数

• 对于给定的事件$A(P(A)>0)$，连续随机变量$X$的条件概率密度函数$f_{X|A}$的满足下列条件的函数：

$$P(X\in B|A)={\int }_B{f}_{X|A}(x)dx$$

其中$B$是实数轴上的任意集合。

• 设$A$是一个实数集合，满足条件$P(X\in A)>0$，则

$$f_{X|\{X\in A\}}(x)=\{\begin{array}{ll}\frac{f_X(x)}{P(X\in A)}& 若x\in A,\\ 0,& 其他\end{array}$$

• 设$A_1,A_2,\cdot \cdot \cdot ,A_n$为互不相容的$n$个事件，对每个$i$，$P(A_i)>0$，并且这些事件形成样本空间的一个分割，则

$$f_X(x)=\sum _{i=1}^{n}P(A_i)f_{X|A_i}(x)$$

(全概率定理的一种变形)

5.2 以另一个随机变量为条件的条件概率密度函数

设$X$和$Y$的联合连续随机变量，其联合概率密度函数为$f_{X,Y}$。

• $X$和$Y$的联合，边缘和条件概率密度函数是相互关联的。他们的关系用下面的公式表示

$$f_{X,Y}(x,y)=f_Y(y)f_{X|Y}(x|y)$$

$$f_X(x)={\int }_{-\infty }^{\infty }{f}_Y(y)f_{X|Y}(x|y)dy$$

条件概率密度函数$f_{X|Y}(x|y)$只在集合$\{y|f_Y(y)>0\}$上有定义。

• 关于条件概率，我们有

$$P(X\in A|Y=y)={\int }_A{f}_{X|Y}(x|y)dx$$

5.3 条件期望的性质

记$X$和$Y$为连续随机变量，$A$是满足$P(A)>0$的事件。

• $X$在给定的事件$A$之下的条件期望由下式定义

$$E[X|A]={\int }_{-\infty }^{\infty }x{f}_{X|A}(x)dx$$

给定$Y=y$之下的条件期望由下式定义
$$E[X|Y=y]={\int }_{-\infty }^{\infty }x{f}_{X|Y}(x|y)dx$$

• 期望规则依然有效：

$$E[g(X)|A]={\int }_{-\infty }^{\infty }g(x)f_{X|A}(x)dx$$

$$E[g(X)|Y=y]={\int }_{-\infty }^{\infty }g(x)f_{X|Y}(x|y)dx$$

• 全期望定理：设$A_1,A_2,\cdot \cdot \cdot ,A_n$为互不相容的$n$个事件，对每个$i$，$P(A_i)>0$，并且这些事件形成样本空间的一个分割。则

$$E[X]=\sum _{i=1}^{n}P(A_i)E[X|A_i]$$

相似地，
$$E[X]={\int }_{-\infty }^{\infty }E[X|Y=y]f_Y(y)dy$$

• 涉及几个随机变量的函数情况，具有完全相似的结果。例如

$$E[g(X,Y)|Y=y]=\int g(x,y)f_{X|Y}(x|y)dx$$

$$E[g(X,Y)]=\int E[g(X,Y)|Y=y]f_Y(y)dy$$

5.4 连续随机变量的相互独立性

令$X$和$Y$为联合连续随机变量。

• 若

$$f_{X,Y}(x,y)=f_X(x)f_Y(y)$$

则$X$和$Y$相互独立。

• 若$X$和$Y$相互独立，则

$$E[XY]=E[X]E[Y]$$

进一步地，对于任意函数$g$和$h$，随机变量$g(X)$和$h(Y)$也是相互独立的，于是
$$E[g(X)h(Y)]=E[g(X)]E[h(Y)]$$

• 若$X$和$Y$相互独立，则

$$var(X+Y)=var(X)+var(Y)$$

6. 连续贝叶斯准则

令$Y$为连续随机变量。

• 若$X$为连续随机变量，我们有

$$f_{X|Y}(x|y)f_Y(y)=f_X(x)f_{Y|X}(y|x)$$

和
$$f_{X|Y}(x|y)=\frac{f_X(x)f_{Y|X}(y|x)}{f_Y(y)}=\frac{f_X(x)f_{Y|X}(y|x)}{{\int }_{-\infty }^{\infty }{f}_X(t)f_{Y|X}(y|t)dt}$$

• 若$N$为离散随机变量，我们有

$$f_Y(y)P(N=n|Y=y)=p_N(n)f_{Y|N}(y|n)$$

得到的贝叶斯公式为
$$P(N=n|Y=y)=\frac{p_N(n)f_{Y|N}(y|n)}{f_Y(y)}=\frac{p_N(n)f_{Y|N}(y|n)}{\sum _i{P}_N(i)f_{Y|N}(y|i)}$$
和
$$f_{Y|N}(y|n)=\frac{f_Y(y)P(N=n|Y=y)}{P_N(n)}=\frac{f_Y(y)P(N=n|Y=y)}{{\int }_{-\infty }^{\infty }{f}_Y(t)P(N=n|Y=t)dt}$$

• 对于事件$A$，关于$P(A|Y=y)$和$f_{Y|A}(y)$具有类似的贝叶斯公式。

7. 几个特殊的连续随机变量

$[a,b]$上的连续均匀随机变量
$$f_X(x)=\{\begin{array}{ll}\frac{1}{b-a},& 若a\le b,\\ 0,& 其他,\end{array}$$

$$E[X]=\frac{a+b}{2},var(X)=\frac{(b-a{)}^2}{12}$$

分布参数为$\lambda$的指数随机变量
$$f_X(x)=\{\begin{array}{ll}\lambda e^{-\lambda x},& 若x\ge 0,\\ 0,& 其他,\end{array}{F}_X(x)=\{\begin{array}{ll}1-e^{-\lambda x},& 若x\ge 0,\\ 0,& 其他,\end{array}$$

$$E[X]=\frac{1}{\lambda },var(X)=\frac{1}{{\lambda }^2}$$

分布参数为$\mu$和${\sigma }^2>0$的正态随机变量
$$f_X(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

$$E[X]=\mu ,var(X)={\sigma }^2$$