概率论知识要点整理
概率论知识要点整理
参考教材：概率论与数理统计(浙大第四版)
Chapter1 概率论的基本概念
- 随机试验
- 样本空间、随机事件(关系及运算)
- 概率的定义和性质
- 古典概型和几何概型
- 条件概率、全概率公式、Bayes公式
Chapter2 随机变量及其分布
离散型随机变量的分布律
- 0-1分布
- 二项分布
P { X = k } = C n k p k q n − k , k = 0 , 1 , ⋯ , n P\lbrace X=k \rbrace=C^k_np^kq^{n-k} , k=0,1,\cdots,n P{X=k}=Cnkpkqn−k,k=0,1,⋯,n - 泊松分布
P { X = k } = λ k e − λ k ! , k = 0 , 1 , 2 , ⋯ P\lbrace X=k \rbrace=\frac{\lambda^ke^{-\lambda}}{k!},k=0,1,2,\cdots P{X=k}=k!λke−λ,k=0,1,2,⋯
连续型随机变量的概率密度函数
- 均匀分布
f ( x ) = { 1 b − a , a < x < b 0 , else f(x)= \begin{cases} \displaystyle\frac{1}{b-a}, &\text{$a - 正态分布
f ( x ) = 1 2 π δ e − ( x − μ ) 2 2 δ 2 , − ∞ < x < ∞ f(x)=\frac{1}{\sqrt{2\pi}\delta}e^{-\frac{(x-\mu)^2}{2\delta^2}},-\infty - 指数分布
f ( x ) = { 1 θ e − x / θ , x > 0 0 , else f(x)=\begin{cases} \displaystyle\frac{1}{\theta}e^{-x/\theta}, &\text{$x>0$} \\ 0, &\text{else}\end{cases} f(x)=⎩⎨⎧θ1e−x/θ,0,x>0else
随机变量函数的分布
利用分布函数法求得，先利用定义写出分布函数，然后求导得概率密度函数.
Chapter3 随机向量及其分布
一、分布
- 离散型：联合分布律
- 连续型：联合概率密度
- 均匀分布
- 二维正态
f ( x , y ) = 1 2 π δ 1 δ 2 1 − ρ 2 e x p { − 1 2 ( 1 − ρ 2 ) ( ( x − μ 1 ) 2 δ 1 2 − 2 ρ ( x − μ 1 ) ( y − μ 2 ) δ 1 δ 2 + ( y − μ 2 ) 2 δ 2 2 ) } f(x,y)= \frac{1}{2\pi\delta_1\delta_2\sqrt{1-\rho^2}}exp \lbrace -\frac{1}{2(1-\rho^2)}(\frac{(x-\mu_1)^2}{\delta^2_1}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\delta_1\delta_2}+\frac{(y-\mu_2)^2}{\delta^2_2}) \rbrace f(x,y)=2πδ1δ21−ρ21exp{−2(1−ρ2)1(δ12(x−μ1)2−2ρδ1δ2(x−μ1)(y−μ2)+δ22(y−μ2)2)}
二、边缘分布，有离散型和连续型
三、条件分布
- 离散型
- 连续型
f X ∣ Y ( x ∣ y ) = f ( x , y ) f Y ( y ) , with f Y ( y ) > 0 f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)},\text{with $f_Y(y)>0$} fX∣Y(x∣y)=fY(y)f(x,y),with fY(y)>0
四、独立性
P { X = x i , Y = y j } = P { X = x i } P { Y = y j } P\lbrace X=x_i,Y=y_j \rbrace=P\lbrace X=x_i \rbrace P\lbrace Y=y_j \rbrace P{X=xi,Y=yj}=P{X=xi}P{Y=yj}
f ( x , y ) = f X ( x ) f Y ( y ) f(x,y)=f_X(x)f_Y(y) f(x,y)=fX(x)fY(y)
五、随机向量的函数的分布
- 和函数
Z = X + Y ， f Z ( z ) = ∫ − ∞ ∞ f ( x , z − x ) d x \quad\quad \displaystyle Z=X+Y，f_Z(z)=\int_{-\infty}^{\infty}f(x,z-x)dx Z=X+Y，fZ(z)=∫−∞∞f(x,z−x)dx
- m a x { X , Y } 、 m i n { X , Y } max\{X,Y\}、min\{X,Y\} max{X,Y}、min{X,Y} 利用定义求分布函数，求导可得概率密度函数
Chapter4 随机变量的数字特征
一、期望
离散型： E ( X ) = ∑ k = 1 ∞ x k p k \displaystyle E(X)=\sum_{k=1}^{\infty}{x_kp_k} E(X)=k=1∑∞xkpk
连续型： E ( X ) = ∫ − ∞ ∞ x f ( x ) d x \displaystyle E(X)=\int_{-\infty}^{\infty}xf(x)dx E(X)=∫−∞∞xf(x)dx
常用性质：
1.线性
2.不相关时的可拆性：若 X , Y X,Y X,Y 不相关，则 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)
二、方差
D ( X ) = E ( [ X − E ( X ) ] 2 ) D(X)=E([X-E(X)]^2) D(X)=E([X−E(X)]2)
常用性质：
1. D ( c X ) = c 2 D ( X ) D(cX)=c^2D(X) D(cX)=c2D(X)
2. D ( X ± Y ) = D ( X ) + D ( Y ) ± 2 C o v ( X , Y ) D(X \pm Y)=D(X)+D(Y)\pm2Cov(X,Y) D(X±Y)=D(X)+D(Y)±2Cov(X,Y)
若 X , Y X,Y X,Y不相关，则 D ( X ± Y ) = D ( X ) + D ( Y ) D(X \pm Y)=D(X)+D(Y) D(X±Y)=D(X)+D(Y)
常见分布的期望和方差
| 分布 | 期望 | 方差 |
|---|---|---|
| 二项分布 | n p np np | n p q npq npq |
| 泊松分布 | λ \lambda λ | λ \lambda λ |
| 均匀分布 | a + b 2 \displaystyle\frac{a+b}{2} 2a+b | ( b − a ) 2 12 \displaystyle\frac{(b-a)^2}{12} 12(b−a)2 |
| 正态分布 | μ \mu μ | δ 2 \delta^2 δ2 |
| 指数分布 | θ \theta θ | θ 2 \theta^2 θ2 |
| 开方分布 | n n n | 2 n 2n 2n |
三、矩
k阶原点矩： E ( X k ) E(X^k) E(Xk)
k阶中心矩： E { [ X − E ( X ) ] k } E\{[X-E(X)]^k\} E{[X−E(X)]k}
四、协方差及相关系数
- 协方差:
C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}
性质：
C o v ( a X , b Y ) = a b C o v ( X , Y ) Cov(aX,bY)=abCov(X,Y) Cov(aX,bY)=abCov(X,Y)
C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( X 2 , Y ) Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y) - 相关系数
ρ X Y = C o v ( X , Y ) D ( X ) D ( Y ) \displaystyle \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} ρXY=D(X)D(Y)Cov(X,Y)
(1) ∣ ρ X Y ∣ ≤ 1 \quad|\rho_{XY}|\leq1 ∣ρXY∣≤1
(2) ∣ ρ X Y ∣ = 1 ⟺ P { Y = a X + b } = 1 \quad |\rho_{XY}|=1 \iff P\{Y=aX+b\}=1 ∣ρXY∣=1⟺P{Y=aX+b}=1
随机向量自身的协方差矩阵了解一下即可，见课本P111。
Chapter5 中心极限定理
1.定理一(独立同分布的中心极限定理)
设随机变量 X 1 , X 2 , ⋯ , X n , ⋯ X_1,X_2,\cdots,X_n,\cdots X1,X2,⋯,Xn,⋯ 相互独立，且服从同一分布，且具有期望和方差： E ( X k ) = μ , D ( X k ) = δ 2 > 0 ( k = 1 , 2 , ⋯ ) E(X_k)=\mu,D(X_k)=\delta^2>0 (k=1,2,\cdots) E(Xk)=μ,D(Xk)=δ2>0(k=1,2,⋯)，则随机变量之和 ∑ k = 1 n X k \displaystyle \sum_{k=1}^{n}{X_k} k=1∑nXk 的标准化变量
Y n = ∑ k = 1 n X k − E ( ∑ k = 1 n X k ) D ( ∑ k = 1 n X k ) = ∑ k = 1 n X k − n μ n δ Y_n=\frac{\sum_{k=1}^{n}{X_k}-E(\sum_{k=1}^{n}{X_k})}{\sqrt{D(\sum_{k=1}^{n}{X_k})}}=\frac{\sum_{k=1}^{n}{X_k}-n\mu}{\sqrt{n}\delta} Yn=D(∑k=1nXk)∑k=1nXk−E(∑k=1nXk)=nδ∑k=1nXk−nμ
的分布函数 F n ( x ) F_n(x) Fn(x)满足：
lim n → ∞ F n ( x ) = lim n → ∞ P { ∑ k = 1 n X k − n μ n δ ≤ x } = ∫ − ∞ x 1 2 π e − t 2 / 2 d t = Φ ( x ) ， ∀ x ∈ R \lim_{n\to\infty}{F_n(x)}=\lim_{n\to\infty}{P\{\frac{\sum_{k=1}^{n}{X_k}-n\mu}{\sqrt{n}\delta}}\leq x\}=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt=\Phi(x)，\forall x\in R n→∞limFn(x)=n→∞limP{nδ∑k=1nXk−nμ≤x}=∫−∞x2π1e−t2/2dt=Φ(x)，∀x∈R
2. 定理二
设随机变量 η n ( n = 1 , 2 , ⋯ ) \eta_n(n=1,2,\cdots) ηn(n=1,2,⋯) 服从参数为 n , p ( 0 < p < 1 ) n,p(0
lim n → ∞ P { η n − n p n p ( 1 − p ) ≤ x } = ∫ − ∞ x 1 2 π e − t 2 / 2 d t = Φ ( x ) ， ∀ x ∈ R \lim_{n\to\infty}{P\{\frac{\eta_n-np}{\sqrt{np(1-p)}}\leq x\}}=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt=\Phi(x)，\forall x\in R n→∞limP{np(1−p)ηn−np≤x}=∫−∞x2π1e−t2/2dt=Φ(x)，∀x∈R
Chapter6 样本及抽样分布
1.统计量 P136
2.抽样分布 P138~P143
Chapter7 参数估计
矩估计
- 写出总体矩和参数的关系；
- 用样本矩代替总体矩；
- 如需求估计值，进行相应的转化；
极大似然估计
- 确定似然函数.
离散型： L ( θ ) = ∏ i = 1 n p ( x i ; θ ) \displaystyle L(\theta)=\prod_{i=1}^n p(x_i;\theta) L(θ)=i=1∏np(xi;θ)
连续型： L ( θ ) = ∏ i = 1 n f ( x i ; θ ) \displaystyle L(\theta)=\prod_{i=1}^n f(x_i;\theta) L(θ)=i=1∏nf(xi;θ) - 找出似然函数的最大值所对应的 θ \theta θ 值.(注：以 θ \theta θ 为变量，通常通过求导运算求得，观察值 ( x 1 , x 2 , ⋯ , x n ) (x_1,x_2,\cdots,x_n) (x1,x2,⋯,xn) 落在可能取值范围内)
区间估计
- 选取主元 Z Z Z；
- 确定事件 P { a < Z < b } = 1 − α P\{a
- 解不等式 a < Z < b a
正态总体主元的选取
| 情况 | 主元 | 主元分布 |
|---|---|---|
| δ 2 \delta^2 δ2 已知，求 μ \mu μ 的置信区间 | X ‾ − μ δ / n \displaystyle \frac{\overline{X}-\mu}{\delta/\sqrt{n}} δ/nX−μ | N ( 0 , 1 ) N(0,1) N(0,1) |
| δ 2 \delta^2 δ2 未知，求 μ \mu μ 的置信区间 | X ‾ − μ S / n \displaystyle \frac{\overline{X}-\mu}{S/\sqrt{n}} S/nX−μ | t ( n − 1 ) t(n-1) t(n−1) |
| 求 δ 2 \delta^2 δ2 的置信区间 | ( n − 1 ) S 2 δ 2 \displaystyle \frac{(n-1)S^2}{\delta^2} δ2(n−1)S2 | χ 2 ( n − 1 ) \chi^2(n-1) χ2(n−1) |
Chapter8 假设检验
一般步骤
- 提出原假设 H 0 H_0 H0 和备选假设 H 1 H_1 H1；
- 确定检验统计量 T T T；
- 根据显著性水平 α \alpha α 给出拒绝域；
- 代入数值计算，并作出决策；