概率论知识要点整理

概率论知识要点整理

参考教材：概率论与数理统计(浙大第四版)

Chapter1 概率论的基本概念

• 随机试验
• 样本空间、随机事件(关系及运算)
• 概率的定义和性质
• 古典概型和几何概型
• 条件概率、全概率公式、Bayes公式

Chapter2 随机变量及其分布

离散型随机变量的分布律

1. 0-1分布
2. 二项分布
   $$P\{X=k\}=C_n^k{p}^k{q}^{n-k},k=0,1,\cdots ,n$$
3. 泊松分布
   $$P\{X=k\}=\frac{{\lambda }^k{e}^{-\lambda }}{k!},k=0,1,2,\cdots$$

连续型随机变量的概率密度函数

1. 均匀分布
   $$f(x)=\{\begin{array}{ll}\frac{1}{b-a},& \text{a<x<b}\\ 0,& \text{else}\end{array}$$
2. 正态分布
   $$f(x)=\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{(x-\mu {)}^2}{2{\delta }^2}},-\infty <x<\infty$$
3. 指数分布
   $$f(x)=\{\begin{array}{ll}\frac{1}{\theta }{e}^{-x/\theta },& \text{x>0}\\ 0,& \text{else}\end{array}$$

随机变量函数的分布

利用分布函数法求得，先利用定义写出分布函数，然后求导得概率密度函数.

Chapter3 随机向量及其分布

一、分布

• 离散型：联合分布律
• 连续型：联合概率密度

1. 均匀分布
2. 二维正态
   $$f(x,y)=\frac{1}{2\pi {\delta }_1{\delta }_2\sqrt{1-{\rho }^2}}exp\{-\frac{1}{2(1-{\rho }^2)}(\frac{(x-{\mu }_1{)}^2}{{\delta }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\delta }_1{\delta }_2}+\frac{(y-{\mu }_2{)}^2}{{\delta }_2^2})\}$$

二、边缘分布，有离散型和连续型

三、条件分布

• 离散型
• 连续型
  $$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)},\text{with fY(y)>0}$$

四、独立性

$P\{X=x_i,Y=y_j\}=P\{X=x_i\}P\{Y=y_j\}$
$f(x,y)=f_X(x)f_Y(y)$

五、随机向量的函数的分布

1. 和函数

$Z=X+Y，f_Z(z)={\int }_{-\infty }^{\infty }f(x,z-x)dx$

2. $max\{X,Y\}、min\{X,Y\}$ 利用定义求分布函数，求导可得概率密度函数
    

Chapter4 随机变量的数字特征

一、期望

离散型： $E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k$
连续型： $E(X)={\int }_{-\infty }^{\infty }xf(x)dx$

常用性质：
  1.线性
  2.不相关时的可拆性：若 $X,Y$ 不相关，则 $E(XY)=E(X)E(Y)$

二、方差

$D(X)=E([X-E(X){]}^2)$

常用性质：
1.$D(cX)=c^{2}D(X)$
2.$D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$
 若$X,Y$不相关，则$D(X\pm Y)=D(X)+D(Y)$

常见分布的期望和方差

分布	期望	方差
二项分布	$np$	$npq$
泊松分布	$\lambda$	$\lambda$
均匀分布	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
正态分布	$\mu$	${\delta }^2$
指数分布	$\theta$	${\theta }^2$
开方分布	$n$	$2n$

三、矩

k阶原点矩：$E(X^k)$
k阶中心矩：$E\{[X-E(X){]}^k\}$

四、协方差及相关系数

1. 协方差:
   $Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$
   性质：
   $Cov(aX,bY)=abCov(X,Y)$
   $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
2. 相关系数
   ${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$
   (1)$|{\rho }_{XY}|\le 1$
   (2)$|{\rho }_{XY}|=1⟺P\{Y=aX+b\}=1$

随机向量自身的协方差矩阵了解一下即可，见课本P111。

Chapter5 中心极限定理

1.定理一(独立同分布的中心极限定理)
设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$ 相互独立，且服从同一分布，且具有期望和方差：$E(X_k)=\mu ,D(X_k)={\delta }^2>0(k=1,2,\cdots )$，则随机变量之和 $\sum _{k=1}^n{X}_k$ 的标准化变量
$$Y_n=\frac{{\sum }_{k=1}^n{X}_k-E({\sum }_{k=1}^n{X}_k)}{\sqrt{D({\sum }_{k=1}^n{X}_k)}}=\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\delta }$$
的分布函数 $F_n(x)$满足：
$$\underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P\{\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\delta }\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)，\forall x\in R$$

2. 定理二
设随机变量 ${\eta }_n(n=1,2,\cdots )$ 服从参数为 $n,p(0<p<1)$ 的二项分布，则
$$\underset{n\to \infty }{\lim }P\{\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)，\forall x\in R$$
 

Chapter6 样本及抽样分布

1.统计量 P136

2.抽样分布 P138~P143

 

Chapter7 参数估计

矩估计

1. 写出总体矩和参数的关系；
2. 用样本矩代替总体矩；
3. 如需求估计值，进行相应的转化；

极大似然估计

1. 确定似然函数.
   离散型：$L(\theta )=\prod _{i=1}^{n}p(x_i;\theta )$
   连续型：$L(\theta )=\prod _{i=1}^{n}f(x_i;\theta )$
2. 找出似然函数的最大值所对应的 $\theta$ 值.(注：以 $\theta$ 为变量，通常通过求导运算求得，观察值 $(x_1,x_2,\cdots ,x_n)$ 落在可能取值范围内)

区间估计

1. 选取主元 $Z$；
2. 确定事件 $P\{a<Z<b\}=1-\alpha$，一般取 $[a,b]$ 为对称区间；
3. 解不等式 $a<Z<b$，代入数值，求得置信区间；

正态总体主元的选取

情况	主元	主元分布
${\delta }^2$ 已知，求 $\mu$ 的置信区间	$\frac{\overline{X}-\mu }{\delta /\sqrt{n}}$	$N(0,1)$
${\delta }^2$ 未知，求 $\mu$ 的置信区间	$\frac{\overline{X}-\mu }{S/\sqrt{n}}$	$t(n-1)$
求 ${\delta }^2$ 的置信区间	$\frac{(n-1)S^2}{{\delta }^2}$	${\chi }^2(n-1)$

Chapter8 假设检验

一般步骤

1. 提出原假设 $H_0$ 和备选假设 $H_1$；
2. 确定检验统计量 $T$；
3. 根据显著性水平 $\alpha$ 给出拒绝域；
4. 代入数值计算，并作出决策；

参照表格：P189