【概率论】一维随机变量

未经同意，禁止转载

本文为本人在校学习笔记，若有疑问或谬误，欢迎探讨、指出。

【概率论】一维随机变量

• 离散型：有限个 / 可列无限多个取值
• 连续型：分布函数是由一个非负可积函数变上限积分得到的（易知是连续的）
• 混合型：不是离散也不是连续型

证明分布函数右连续：

海涅定理 + 极限

证明$P\{x=a\}=F(a-0)$

• 证明：连续型随机变量的分布函数一定连续

  转化为证明由可积函数（概率密度）$f(x) $ 的变上限积分 ${\int }_{-\infty }^{x}f(x)\mathrm{d}x$ 一定连续

$$\begin{array}{rl}& \underset{\delta \to 0}{\lim }{\int }_{-\infty }^{x+\delta }f(x)\mathrm{d}x\\ & \Rightarrow \underset{\delta \to 0}{\lim }({\int }_{-\infty }^{x}f(x)\mathrm{d}x+{\int }_x^{x+\delta }f(x)\mathrm{d}x)\\ & \\ & \text{only need to prove }\underset{\delta \to 0}{\lim }{\int }_x^{x+\delta }f(x)\mathrm{d}x=0\end{array}$$

$$\begin{gathered} f(x)\text{ is integrabel, so it is bounded} \\ \exists M,\text{ s.t.}-M<f(x)<M \\ \begin{array}{rl}& \because -M\delta \le {\int }_x^{x+\delta }f(x)\mathrm{d}x\le M\delta \\ & \Rightarrow \underset{\delta \to 0}{\lim }-M\delta \le \underset{\delta \to 0}{\lim }{\int }_x^{x+\delta }f(x)\mathrm{d}x\le \underset{\delta \to 0}{\lim }M\delta \\ & \Rightarrow 0\le \underset{\delta \to 0}{\lim }{\int }_x^{x+\delta }f(x)\mathrm{d}x\le 0\\ & \therefore \text{Squeeze Theorem: }\underset{\delta \to 0}{\lim }{\int }_x^{x+\delta }f(x)\mathrm{d}x=0\end{array} \end{gathered}$$

$$\begin{gathered} \underset{\delta \to 0}{\lim }{\int }_{-\infty }^{x+\delta }f(x)\mathrm{d}x={\int }_{-\infty }^{x}f(x)\mathrm{d}x, \\ {\int }_{-\infty }^{x}f(x)\mathrm{d}x\text{ is continuous} \end{gathered}$$

离散型

(0-1)分布 Bernoulli Distribution

（两点分布、伯努利分布） $X\sim B(1,p)$

可以视为仅重复一次的伯努利试验

• 随机变量
  $$X(e)=\{\begin{array}{ll}0,& \text{when }e=e_1,\\ 1,& \text{when }e=e_2,\end{array}$$

• 分布律
  $$P\{X=k\}=p^k(1-p{)}^{1-k},k=0,1$$

• 数字特征

  • 数学期望
    $$E(X)=1\cdot p+0\cdot (1-p)=p$$

  • 方差
    $$\begin{gathered} D(X)=E(X^2)-E^2(X)=p-p^2 \\ \Rightarrow D(X)=p(1-p) \end{gathered}$$

二项分布 Binomial Distribution

$X\sim B(n,p)$

n重伯努利试验中 $A$ 发生 $X$ 次的概率服从二项分布

• 伯努利试验：每次实验只有两种结果（$A,\overline{A}$），则称该试验为Bernoulli试验

• 分布律

  $A$ 的成功概率为 $p$， 则有
  $$P\{X=k\}=C_n^k{p}^k(1-p{)}^{n-k},k=0,2,3,...,n$$

• 趋势

  

• 数字特征

  • 数学期望
    $$E(X)=np$$
    推导：

  $$X_i=\{\begin{array}{ll}1,& \text{第i次试验成功}\\ 0,& \text{第i次试验失败}\end{array}$$

  $$X=\sum _{i=1}^n{X}_i$$

  $$\begin{gathered} E(X)=E(\sum _{i=1}^n{X}_i)=\sum _{i=1}^{n}E(X_i)=\sum _{i=1}^n{X}_i \\ \Rightarrow E(X)=np \end{gathered}$$

  • 方差
    $$D(X)=np(1-p)$$
    推导：

    各次伯努利试验之间相互独立，协方差项为0，则
    $$\begin{array}{rl}D(X)& =D(\sum _{i=1}^n{X}_i)=\sum _{i=1}^{n}D(X_i)\\ & =nD(X_i)\\ & =np(1-p)\end{array}$$

• 计算性质：可加性
  $$\begin{gathered} X\sim b(n_1,p),Y\sim b(n_2,p) \\ X+Y\sim b(n_1+n_2,p) \end{gathered}$$

泊松分布 Poisson Distribution

$X\sim \pi (\lambda )$

• 分布律
  $$P\{X=k\}=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,2,...$$

• 数字特征

  • 数学期望

    $$E(X)=\lambda$$
    （推导）：
    $$\begin{array}{rl}E(x)& =\sum _{k=0}^{\infty }k\cdot \frac{{\lambda }^k}{k!}{e}^{-\lambda }\\ & =\lambda e^{-\lambda }\sum _{k=0}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}\\ & =\lambda e^{-\lambda }{e}^{\lambda }\\ & =\lambda \end{array}$$

  • 方差
    $$D(X)=\lambda$$
    （推导）：

    $$\begin{array}{rl}E(X^2)& =E[X(X-1)+X]\\ & =E[X(X-1)]+E(X)\\ & =\sum _{k=0}^{\infty }k(k-1)\cdot \frac{{\lambda }^k}{k!}{e}^{-\lambda }+E(x)\\ & =e^{-\lambda }\sum _{k=0}^{\infty }\frac{{\lambda }^{k-2}}{(k-2)!}+E(x)\\ & ={\lambda }^2{e}^{-\lambda }\sum _{k=2}^{\infty }\frac{{\lambda }^{k-2}}{(k-2)!}+E(x)\\ & ={\lambda }^2{e}^{-\lambda }\sum _{i=0}^{\infty }\frac{{\lambda }^i}{i!}+E(x)\\ & ={\lambda }^2{e}^{-\lambda }{e}^{\lambda }+E(x)\\ & ={\lambda }^2+\lambda \end{array}$$

    代入方差表达式得
    $$\begin{array}{rl}D(X)& =E(X^2)-E^2(X)\\ & ={\lambda }^2+\lambda -{\lambda }^2\\ & =\lambda \end{array}$$

• 计算性质：可加性
  $$\begin{gathered} X\sim \pi ({\lambda }_1),Y\sim \pi ({\lambda }_2) \\ X+Y\sim \pi ({\lambda }_1+{\lambda }_2) \end{gathered}$$

• 泊松定理

  设 $\lambda >0$ 是一个常数， $n$ 为任意正整数， 设 $n{p}_n=\lambda$， 则对于任一固定的非负整数有
  $$\underset{n\to \infty }{\lim }{C}_n^k{p}^k(1-p{)}^{n-k}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$$

  样本 $n$ 足够大时，$p_n$ 会很小。

  当 $\lambda =np$ 值合适时（不太大也不太小），可用Poisson Distribution逼近Binomial Distribution

  $$C_n^k{p}^k(1-p{)}^{n-k}\approx \frac{{\lambda }^k{e}^{-\lambda }}{k!}$$

几何分布 Geometric Distribution

$X\sim GE(p)$

在n次Bernoulli试验中，试验k次才得到第一次成功的机率。也即：前k-1次皆失败，第k次成功的概率。

几何分布是Pascal分布当r=1时的特例。

• 分布律
  $$P\{X=k\}=(1-p{)}^{k-1}p,k=1,2,...$$

• 数字特征

  • 数学期望
    $$E(X)=\frac{1}{p}$$
    直觉：命中率更高的，数学期望小（失败次数少）。

    推导：
    $$\begin{array}{rl}E(X)& =\sum _{k=0}^{\infty }k(1-p{)}^{k-1}p\\ & =p\sum _{k=0}^{\infty }[-(1-p{)}^k{]}^{\prime }\\ & =-p\cdot [\sum _{k=0}^{\infty }(1-p{)}^k{]}^{\prime }\\ & =-p\cdot [\frac{1}{p}{]}^{\prime }\\ & =\frac{1}{p}\end{array}$$
    （用等差乘等比数列方法求 $a_k=k(1-p{)}^{k-1}$ 前n项和通项，再求极限，也能够推出，但麻烦）

  • 方差
    $$D(X)=\frac{1-p}{p^2}$$

    推导：
    $$\begin{array}{rl}E(X^2)& =E[X(X-1)]+E(X)\\ & =\sum _{k=1}^{\infty }k(k-1)(1-p{)}^{k-1}p+E(X)\\ & =\sum _{k=2}^{\infty }k(k-1)(1-p{)}^{k-1}p+E(X)\\ & =p(1-p)\sum _{k=2}^{\infty }k(k-1)(1-p{)}^{k-2}+E(X)\\ & =p(1-p)\sum _{k=2}^{\infty }[(1-p{)}^k{]}^{\prime \prime }+E(X)\\ & =p(1-p)[\sum _{k=2}^{\infty }(1-p{)}^k{]}^{\prime \prime }+E(X)\\ & =p(1-p)\cdot [\frac{(1-p{)}^2}{p}{]}^{\prime \prime }+E(X)\\ & =\frac{2(1-p)}{p^2}+\frac{1}{p}\\ & =\frac{2-p}{p^2}\end{array}$$

    故可计算
    $$D(X)=E(X^2)-E^2(X)$$

• 无记忆性

  推导：（从无记忆性的需求推导出变量离散情况下的概率为几何分布）
  $$\begin{array}{rl}& P\{X>t+s|X>t\}=P\{X>s\}\\ & \iff \frac{P\{X>t+s\cap X>t\}}{P\{X>t\}}=P\{X>s\}\\ & \iff P\{X>t+s\}=P\{X>s\}P\{X>t\}\end{array}$$
  let $y(x)=P\{X>x\}$, then
  $$y(t+s)=y(s)y(t)$$
  assume $y(1)=q$, therefore
  $$\begin{array}{rl}& y(2)=y(1+1)=y^2(1)=q^2\\ & y(3)=y(1+2)=y^3(1)=q^3\\ & ...\\ & y(k)=q^k\end{array}$$

  $$\begin{array}{rl}\because P\{X=k\}& =P\{X>k-1\}-P\{X>k\}\\ & =y(k-1)-y(k)\\ & =q^{k-1}-q^k\\ & =q^{k-1}(1-q)\end{array}$$

  let $p=1-q$， then

  $$\begin{gathered} P\{X=k\}=(1-p{)}^{k-1}p \\ \therefore X\sim GE(p) \end{gathered}$$

连续型

均匀分布 Uniform Distribution

$X\sim U(a,b)$

• 概率密度

$$f(x)=\{\begin{array}{ll}\frac{1}{b-a},& x>0\\ 0,& other\end{array}$$

• 分布函数

$$F(x)=\{\begin{array}{ll}\frac{x-a}{b-a},& x>0\\ 0,& other\end{array}$$

• 图线

• 数字特征

  • 数学期望

    中点
    $$E(X)=\frac{1}{2}(a+b)$$

  • 方差
    $$D(X)=\frac{1}{12}(b-a{)}^3$$

• 背景

  $X\sim U(a,b)$ 时，$X$ 取得 $(a,b)$ 上某一区间内值的概率，与该区间长度成正比。

指数分布 Exponential Distribution

$X\sim E(\lambda )$ or $X\sim E(\theta )$

参数是 $\lambda$ 的表示方法是站在伽马分布的角度，把 $\lambda$ 作为伽马分布的 $\beta$ 参数，$\alpha =1$，得到指数分布 $E(\lambda )=\Gamma (1,\lambda )$

参数是 $\theta$ 的表示方法是站在指数分布表达式的角度（或均值的角度），有 $E(X)=\theta$

• 概率密度

$$f(x)=\{\begin{array}{ll}\frac{1}{\theta }{e}^{-\frac{1}{\theta }x},& x>0\\ 0,& other\end{array}$$

• 分布函数

$$F(x)=\{\begin{array}{ll}1-e^{-\frac{1}{\theta }x},& x>0\\ 0,& other\end{array}$$

• 图线

  $x\to 0$ 时密度逼近最大值 $1/\theta$

  

• 数字特征

  • 数学期望
    $$E(X)=\theta =\frac{1}{\lambda }$$
    推导：分部积分

  • 方差
    $$D(X)={\theta }^2=\frac{1}{{\lambda }^2}$$

• 无记忆性

$$P\{X>t+s|X>t\}=P\{X>s\}$$

推导：（从无记忆性的需求推导出变量连续情况下的概率为指数分布）

$$\begin{array}{rl}& P\{X>t+s|X>t\}=P\{X>s\}\\ & \iff \frac{P\{X>t+s\cap X>t\}}{P\{X>t\}}=P\{X>s\}\\ & \iff P\{X>t+s\}=P\{X>s\}P\{X>t\}\end{array}$$

let $y(x)=P\{X>x\}$, then

$$\begin{array}{rl}& y(t+s)=y(s)y(t)\\ & \\ & \Rightarrow y(t+s)-y(s)=y(s)y(t)-y(s)\\ & \Rightarrow y(t+s)-y(s)=y(s)y(t)-y(s)y(0)\\ & \Rightarrow \frac{y(t+s)-y(s)}{t}=\frac{y(s)y(t)-y(s)y(0)}{t}\\ & \Rightarrow \underset{t\to 0}{\lim }\frac{y(t+s)-y(s)}{t}=\underset{t\to 0}{\lim }\frac{y(s)y(t)-y(s)y(0)}{t}\\ & \Rightarrow y^{\prime }(s)=y(s)\cdot y^{\prime }(0)\\ & \Rightarrow \frac{y^{\prime }(s)}{y(s)}=y^{\prime }(0)\\ & \Rightarrow \int \frac{y^{\prime }(s)}{y(s)}\mathrm{d}s=\int y^{\prime }(0)\mathrm{d}s\\ & \Rightarrow \ln |y(x)|=y^{\prime }(0)\cdot s+C\\ & \Rightarrow y(x)=e^{y^{\prime }(0)\cdot s+C}\end{array}$$
let $-\frac{1}{\theta }=y^{\prime }(0)$, $x=s$, and $y(0)=1\Rightarrow C=0$, then
$$y(x)=e^{-\frac{1}{\theta }x}$$

or let $-\lambda =y^{\prime }(0)$, then
$$y(x)=e^{-\lambda x}$$
so
$$\begin{array}{rl}& P\{X>x\}=e^{-\frac{1}{\theta }x}\\ & \Rightarrow F(x)=P\{X\le x\}=1-e^{-\frac{1}{\theta }x}\end{array}$$

伽马分布 Gamma Distribution

$X\sim \Gamma (\alpha ,\beta )$

服从指数分布 $E(\lambda )$ 也即服从伽马分布 $\Gamma (1,\lambda )$ ，是伽马分布的一种特例

• 伽马函数性质
  $$\begin{gathered} \Gamma (\alpha +1)=\alpha \Gamma (\alpha ), \\ \Gamma (\alpha )=(\alpha -1)\Gamma (\alpha -1), \\ \dots \end{gathered}$$
  数字特征

• • 数学期望

    积分中使用 $u=x/\beta$ 换元，使用伽马函数的性质，易得

  $$E(X)=\alpha \beta$$

  • 方差

  先积分计算 $E(X^2)$ ，同样使用还原和伽马函数的性质，易得
  $$E(X^2)=\alpha (1+\alpha ){\beta }^2$$
  故有
  $$D(X)=\alpha {\beta }^2$$

正态分布 Normal Distribution

$X\sim N(\mu ,{\sigma }^2)$

又名为高斯分布(Gauss Distribution)。

参数 $\mu$ （数学期望）控制分布集中位置，参数 $\sigma$ （标准差）控制分布的离散程度（越大越离散）

• 概率密度

$$f(x)=\frac{1}{\sqrt{2\pi }\cdot \sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<\infty$$

• 分布函数

$$F(x)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^x{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\mathrm{d}x,-\infty <x<\infty$$

• 图线

  

• 标准正态分布 $X\sim N(0,1)$

  概率密度： $\phi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}},-\infty <x<\infty$

  分布函数： $\Phi (x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{x^2}{2}}\mathrm{d}x,-\infty <x<\infty$

  • 标准正态分布函数易知以下规律：

    1. $\Phi (-x)=1-\Phi (x)$
    2. $P\{|X|<a\}=2\Phi (a)-1$

  • 任一正态分布 $X\sim N(0,1)$ 通过线性替换
    $$Z=\frac{X-\mu }{\sigma }$$
    都能够得到标准正态分布 $Z\sim N(0,1)$