学习笔记参考:《Kalman滤波基础及MATLAB仿真》北京航空航天大学出版社——王可东编著
注:本篇笔记根据博主个人数学的掌握情况整理
一、概率
1、常用概率分布及其数学期望和方差
分布 | 分布列 p k p_k pk 或分布密度 p ( x ) p(x) p(x) | 期望 | 方差 |
---|---|---|---|
0 − 1 0-1 0−1 分布 | p k = p k ( 1 − p ) 1 − k , p_k=p^k(1-p)^{1-k}, pk=pk(1−p)1−k, k = 0 , 1 k=0,1 k=0,1 | p p p | p ( 1 − p ) p(1-p) p(1−p) |
二项分布 b ( n , p ) b(n,p) b(n,p) | p k = C n k p k ( 1 − p ) n − k , p_k=C_n^{k}p^k(1-p)^{n-k}, pk=Cnkpk(1−p)n−k, k = 0 , 1 , ⋯ , n k=0,1,\cdots,n k=0,1,⋯,n | n p np np | n p ( 1 − p ) np(1-p) np(1−p) |
泊松分布 P ( λ ) P(\lambda) P(λ) | p k = λ k k ! e − λ , p_k=\frac{{\lambda}^k}{k!}e^{-\lambda}, pk=k!λke−λ, k = 0 , 1 , ⋯ k=0,1,\cdots k=0,1,⋯ | λ \lambda λ | λ \lambda λ |
超几何分布 h ( n , N , M ) h(n,N,M) h(n,N,M) | p k = C M k C N − M n − k C N n , p_k=\frac{C_M^{k}C_{N-M}^{n-k}}{C_N^{n}}, pk=CNnCMkCN−Mn−k, k = 0 , 1 , ⋯ , r k=0,1,\cdots,r k=0,1,⋯,r ( r = m i n { M , n } ) (r=min\{M,n\}) (r=min{M,n}) | n M N n\frac{M}{N} nNM | n M ( N − M ) ( N − n ) N 2 ( N − 1 ) \frac{nM(N-M)(N-n)}{N^2(N-1)} N2(N−1)nM(N−M)(N−n) |
几何分布 G e ( p ) Ge(p) Ge(p) | p k = ( 1 − p ) k − 1 p , p_k=(1-p)^{k-1}p, pk=(1−p)k−1p, k = 1 , 2 , ⋯ k=1,2,\cdots k=1,2,⋯ | 1 p \frac{1}{p} p1 | 1 − p p 2 \frac{1-p}{p^2} p21−p |
负二项分布 N b ( r , p ) Nb(r,p) Nb(r,p) | p k = C k − 1 r − 1 ( 1 − p ) k − r p r , p_k=C_{k-1}^{r-1}(1-p)^{k-r}p^r, pk=Ck−1r−1(1−p)k−rpr, k = r , r + 1 , ⋯ k=r,r+1,\cdots k=r,r+1,⋯ | r p \frac{r}{p} pr | r ( 1 − p ) p 2 \frac{r(1-p)}{p^2} p2r(1−p) |
均匀分布 U ( a , b ) U(a,b) U(a,b) | p ( x ) = 1 b − a , p(x)=\frac{1}{b-a}, p(x)=b−a1, a < x < b a |
a + b 2 \frac{a+b}{2} 2a+b | ( b − a ) 2 12 \frac{(b-a)^2}{12} 12(b−a)2 |
指数分布 E x p ( λ ) Exp(\lambda) Exp(λ) | p ( x ) = λ e − λ x , p(x)=\lambda e^{-\lambda x}, p(x)=λe−λx, x ≥ 0 x\geq0 x≥0 | 1 λ \frac{1}{\lambda} λ1 | 1 λ 2 \frac{1}{\lambda^2} λ21 |
正态分布 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2) | p ( x ) = 1 2 π σ e x p { − ( x − μ ) 2 2 σ 2 } , p(x)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-{\frac{(x-\mu)^2}{2\sigma^2}}\}, p(x)=2πσ1exp{−2σ2(x−μ)2}, − ∞ < x < ∞ -\infty |
μ \mu μ | σ 2 \sigma^2 σ2 |
对数正态分布 L N ( μ , σ 2 ) LN(\mu,\sigma^2) LN(μ,σ2) | p ( x ) = 1 2 π σ x e x p { − ( l n x − μ ) 2 2 σ 2 } , p(x)=\frac{1}{\sqrt{2\pi}\sigma x}exp\{-{\frac{(lnx-\mu)^2}{2\sigma^2}}\}, p(x)=2πσx1exp{−2σ2(lnx−μ)2}, x > 0 x>0 x>0 | e μ + σ 2 / 2 e^{\mu+\sigma^2/2} eμ+σ2/2 | e 2 μ + σ 2 ( e σ 2 − 1 ) e^{2\mu+\sigma^2}(e^{\sigma^2}-1) e2μ+σ2(eσ2−1) |
伽马分布 G a ( α , λ ) Ga(\alpha,\lambda) Ga(α,λ) | p ( x ) = λ α Γ ( α ) x α − 1 e − λ x , p(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}, p(x)=Γ(α)λαxα−1e−λx, x ≥ 0 x\geq0 x≥0 | α λ \frac{\alpha}{\lambda} λα | α λ 2 \frac{\alpha}{\lambda^2} λ2α |
贝塔分布 B e ( a , b ) Be(a,b) Be(a,b) | p ( x ) = Γ ( a + b ) Γ ( a ) Γ ( b ) x a − 1 ( 1 − x ) b − 1 , p(x)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}x^{a-1}(1-x)^{b-1}, p(x)=Γ(a)Γ(b)Γ(a+b)xa−1(1−x)b−1, 0 < x < 1 0 |
a a + b \frac{a}{a+b} a+ba | a b ( a + b ) 2 ( a + b + 1 ) \frac{ab}{(a+b)^2(a+b+1)} (a+b)2(a+b+1)ab |
柯西分布 C a u ( μ , λ ) Cau(\mu,\lambda) Cau(μ,λ) | p ( x ) = 1 π λ λ 2 + ( x − μ ) 2 , p(x)=\frac{1}{\pi}\frac{\lambda}{\lambda^2+(x-\mu)^2}, p(x)=π1λ2+(x−μ)2λ, − ∞ < x < ∞ -\infty |
不 存 在 不存在 不存在 | 不 存 在 不存在 不存在 |
韦布尔分布 | p ( x ) = d d x ( 1 − e x p { − ( x η ) m } ) , p(x)=\frac{d}{dx}(1-exp\{-(\frac{x}{\eta})^m\}), p(x)=dxd(1−exp{−(ηx)m}), x > 0 x>0 x>0 | η Γ ( 1 + 1 m ) \eta\Gamma(1+\frac{1}{m}) ηΓ(1+m1) | η 2 [ Γ ( 1 + 2 m ) − Γ 2 ( 1 + 1 m ) ] \eta^2 [ \Gamma(1+\frac{2}{m})-\Gamma^2(1+\frac{1}{m})] η2[Γ(1+m2)−Γ2(1+m1)] |
卡方分布 χ 2 ( n ) \chi^2(n) χ2(n) | p ( x ) = x n / 2 − 1 e − x / 2 Γ ( n / 2 ) 2 n / 2 , p(x)=\frac{x^{n/2-1}e^{-x/2}}{\Gamma(n/2)2^{n/2}}, p(x)=Γ(n/2)2n/2xn/2−1e−x/2, x ≥ 0 x\geq0 x≥0 | n n n | 2 n 2n 2n |
t t t分布 | p ( x ) = Γ ( ( n + 1 ) / 2 ) Γ ( n / 2 ) n π ( 1 + x 2 n ) − n + 1 2 , p(x)=\frac{\Gamma((n+1)/2)}{\Gamma(n/2)\sqrt{n\pi}}(1+\frac{x^2}{n})^{-\frac{n+1}{2}}, p(x)=Γ(n/2)nπΓ((n+1)/2)(1+nx2)−2n+1, − ∞ < x < ∞ -\infty |
0 0 0 ( n ≥ 2 ) (n\geq2) (n≥2) | n n − 2 \frac{n}{n-2} n−2n ( n ≥ 3 ) (n\geq3) (n≥3) |
F F F分布 | p ( x ) = Γ ( ( m + n ) / 2 ) Γ ( n / 2 ) Γ ( m / 2 ) m m 2 n n 2 x m 2 − 1 ( n + m x ) − m + n 2 , p(x)=\frac{\Gamma((m+n)/2)}{\Gamma(n/2)\Gamma(m/2)}m^{\frac{m}{2}}n^{\frac{n}{2}}x^{\frac{m}{2}-1}(n+mx)^{-\frac{m+n}{2}}, p(x)=Γ(n/2)Γ(m/2)Γ((m+n)/2)m2mn2nx2m−1(n+mx)−2m+n, x > 0 x>0 x>0 | n n − 2 \frac{n}{n-2} n−2n ( n ≥ 3 ) (n\geq3) (n≥3) | 2 n 2 ( m + n − 2 ) m ( n − 2 ) 2 ( n − 4 ) \frac{2n^2(m+n-2)}{m(n-2)^2(n-4)} m(n−2)2(n−4)2n2(m+n−2) ( n ≥ 5 ) (n\geq5) (n≥5) |
2、几个概念的区分
① 互斥事件:若两事件 A A A 和 B B B 不能在同一次试验中都发生(但可以都不发生),则称它们是互斥的;如果一些事件中任意两个都互斥,则称这些事件是两两互斥的,或简称互斥的 。
② 对立事件:是互斥事件的一个重要情况,专指两个事件的关系。若 A A A 为一事件,则事件 B = { A d o e s n o t h a p p e n } B=\{A \ does \ not \ happen\} B={A does not happen} 称为 A A A 的对立事件,记为 A ˉ \bar{A} Aˉ 。
③ 独立事件:两个事件之间的独立性指:一个事件的发生不影响另一个事件的发生,即: P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B) 。
④ 不相关事件:随机变量的协方差为 0 。
3、一些公式
① A − B = A − A B = A B ˉ A-B=A-AB=A\bar{B} A−B=A−AB=ABˉ
② P ( A 1 + A 2 + A 3 ) = P ( A 1 ) + P ( A 2 ) + P ( A 3 ) − P ( A 1 A 2 ) − P ( A 2 A 3 ) − P ( A 3 A 1 ) + P ( A 1 A 2 A 3 ) P(A_1+A_2+A_3)=P(A_1)+P(A_2)+P(A_3)-P(A_1A_2)-P(A_2A_3)-P(A_3A_1)+P(A_1A_2A_3) P(A1+A2+A3)=P(A1)+P(A2)+P(A3)−P(A1A2)−P(A2A3)−P(A3A1)+P(A1A2A3)
③ P ( A B ∣ C ) = P ( A ∣ B C ) P ( B ∣ C ) P(AB|C)=P(A|BC)P(B|C) P(AB∣C)=P(A∣BC)P(B∣C)
④ 全概率公式: P ( A ) = ∑ j = 1 n P ( B j ) P ( A ∣ B j ) P(A)=\sum_{j=1}^nP(B_j)P(A|B_j) P(A)=∑j=1nP(Bj)P(A∣Bj)
⑤ 贝叶斯公式: P ( B i ∣ A ) = P ( A B i ) P ( A ) = P ( B i ) P ( A ∣ B i ) ∑ j = 1 n P ( B j ) P ( A ∣ B j ) P(B_i|A)=\frac{P(AB_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{\sum_{j=1}^nP(B_j)P(A|B_j)} P(Bi∣A)=P(A)P(ABi)=∑j=1nP(Bj)P(A∣Bj)P(Bi)P(A∣Bi)
4、两个结论
① n n n 个人排成一圈的排法个数为: ( n − 1 ) ! (n-1)! (n−1)!
② 将 n n n 个相异的物件分成 k k k 堆,各堆物件数分别为 r 1 , r 2 , ⋯ , r k r_1,r_2,\cdots,r_k r1,r2,⋯,rk 的分法个数为: n ! r 1 ! r 2 ! ⋯ r k ! \frac{n!}{r_1!r_2!\cdots r_k!} r1!r2!⋯rk!n!,其中 r 1 + r 2 + ⋯ + r k = n r_1+r_2+\cdots+r_k=n r1+r2+⋯+rk=n 。
5、二维离散随机变量 p i j p_{ij} pij
① p i j = P { X = x i , Y = y j } p_{ij}=P\{X=x_i,Y=y_j\} pij=P{X=xi,Y=yj} , ∑ i = 1 ∞ ∑ j = 1 ∞ p i j = 1 \sum_{i=1}^\infty\sum_{j=1}^\infty p_{ij}=1 ∑i=1∞∑j=1∞pij=1 , F ( x , y ) = ∑ x i ≤ x ∑ y i ≤ y p i j F(x,y)=\sum_{x_i\leq x}\sum_{y_i\leq y}p_{ij} F(x,y)=∑xi≤x∑yi≤ypij ;
② p i ⋅ = P { X = x i } = ∑ j = 1 ∞ p i j p_{i\cdot}=P\{X=x_i\}=\sum_{j=1}^\infty p_{ij} pi⋅=P{X=xi}=∑j=1∞pij , p ⋅ j = P { Y = y j } = ∑ i = 1 ∞ p i j p_{\cdot j}=P\{Y=y_j\}=\sum_{i=1}^\infty p_{ij} p⋅j=P{Y=yj}=∑i=1∞pij ;
③ P { X = x i ∣ Y = y j } = p i j p ⋅ j P\{X=x_i|Y=y_j\}=\frac{p_{ij}}{p_{\cdot j}} P{X=xi∣Y=yj}=p⋅jpij , P { Y = y j ∣ X = x i } = p i j p i ⋅ P\{Y=y_j|X=x_i\}=\frac{p_{ij}}{p_{i\cdot }} P{Y=yj∣X=xi}=pi⋅pij ;
④ P { ( X , Y ) ∈ G } = ∑ ( x i , y j ) ∈ G p i j P\{(X,Y)\in G\}=\sum_{(x_i,y_j)\in G} p_{ij} P{(X,Y)∈G}=∑(xi,yj)∈Gpij ;
⑤ 若 X X X 与 Y Y Y 独立,则 p i j = p i ⋅ p ⋅ j p_{ij}=p_{i\cdot }p_{\cdot j} pij=pi⋅p⋅j 。
6、二维连续随机变量 f ( x , y ) f(x,y) f(x,y)
① F ( x , y ) = ∫ − ∞ x ∫ − ∞ y f ( u , v ) d u d v F(x,y)=\int_{-\infty}^x\int_{-\infty}^yf(u,v)dudv F(x,y)=∫−∞x∫−∞yf(u,v)dudv , f ( x , y ) = ∂ 2 F ∂ x ∂ y f(x,y)=\frac{\partial^2F}{\partial x\partial y} f(x,y)=∂x∂y∂2F ;
② F X ( x ) = F ( x , + ∞ ) F_X(x)=F(x,+\infty) FX(x)=F(x,+∞) , F Y ( y ) = F ( + ∞ , y ) F_Y(y)=F(+\infty,y) FY(y)=F(+∞,y) ;
③ f X ( x ) = ∫ − ∞ + ∞ f ( x , y ) d y f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy fX(x)=∫−∞+∞f(x,y)dy , f Y ( y ) = ∫ − ∞ + ∞ f ( x , y ) d x f_Y(y)=\int_{-\infty}^{+\infty}f(x,y)dx fY(y)=∫−∞+∞f(x,y)dx ;
④ f Y ∣ X ( y ∣ x ) = f ( x , y ) f X ( x ) f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)} fY∣X(y∣x)=fX(x)f(x,y) , f X ∣ Y ( x ∣ y ) = f ( x , y ) f Y ( y ) f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)} fX∣Y(x∣y)=fY(y)f(x,y) ;
⑤ P { x 1 < X < x 2 , y 1 < Y < y 2 } = F ( x 2 , y 2 ) + F ( x 1 , y 1 ) − F ( x 1 , y 2 ) − F ( x 2 , y 1 ) P\{x_1
⑥ P { ( X , Y ) ∈ D } = ∬ ( x , y ) ∈ D f ( x , y ) d x d y P\{(X,Y)\in D\}=\iint_{(x,y)\in D}f(x,y)dxdy P{(X,Y)∈D}=∬(x,y)∈Df(x,y)dxdy ;
⑦ X X X 与 Y Y Y 独立 ⇔ F ( x , y ) = F X ( x ) F Y ( y ) ⇔ f ( x , y ) = f X ( x ) f Y ( y ) ⇔ f X ∣ Y ( x ∣ y ) = f X ( x ) ⇔ f Y ∣ X ( y ∣ x ) = f Y ( y ) \Leftrightarrow F(x,y)=F_X(x)F_Y(y)\Leftrightarrow f(x,y)=f_X(x)f_Y(y)\Leftrightarrow f_{X|Y}(x|y)=f_X(x)\Leftrightarrow f_{Y|X}(y|x)=f_Y(y) ⇔F(x,y)=FX(x)FY(y)⇔f(x,y)=fX(x)fY(y)⇔fX∣Y(x∣y)=fX(x)⇔fY∣X(y∣x)=fY(y) 。
7、相互独立随机变量函数的分布
① 和的分布
设 ( X , Y ) ∼ f ( x , y ) (X,Y)\thicksim f(x,y) (X,Y)∼f(x,y),则 Z = X + Y Z=X+Y Z=X+Y 概率密度函数为:
f Z ( z ) = ∫ − ∞ + ∞ f ( x , z − x ) d x = ∫ − ∞ + ∞ f ( z − y , y ) d y f_Z(z)=\int_{-\infty}^{+\infty}f(x,z-x)dx=\int_{-\infty}^{+\infty}f(z-y,y)dy fZ(z)=∫−∞+∞f(x,z−x)dx=∫−∞+∞f(z−y,y)dy 若 X X X 与 Y Y Y 独立,则有卷积公式:
f Z ( z ) = ∫ − ∞ + ∞ f X ( x ) f Y ( z − x ) d x = ∫ − ∞ + ∞ f X ( z − y ) f Y ( y ) d y f_Z(z)=\int_{-\infty}^{+\infty}f_X(x)f_Y(z-x)dx=\int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)dy fZ(z)=∫−∞+∞fX(x)fY(z−x)dx=∫−∞+∞fX(z−y)fY(y)dy ② 差的分布
设 ( X , Y ) ∼ f ( x , y ) (X,Y)\thicksim f(x,y) (X,Y)∼f(x,y),则 Z = X − Y Z=X-Y Z=X−Y 概率密度函数为:
f Z ( z ) = ∫ − ∞ + ∞ f ( x , x − z ) d x = ∫ − ∞ + ∞ f ( y + z , y ) d y f_Z(z)=\int_{-\infty}^{+\infty}f(x,x-z)dx=\int_{-\infty}^{+\infty}f(y+z,y)dy fZ(z)=∫−∞+∞f(x,x−z)dx=∫−∞+∞f(y+z,y)dy 若 X X X 与 Y Y Y 独立,则有:
f Z ( z ) = ∫ − ∞ + ∞ f X ( x ) f Y ( x − z ) d x = ∫ − ∞ + ∞ f X ( y + z ) f Y ( y ) d y f_Z(z)=\int_{-\infty}^{+\infty}f_X(x)f_Y(x-z)dx=\int_{-\infty}^{+\infty}f_X(y+z)f_Y(y)dy fZ(z)=∫−∞+∞fX(x)fY(x−z)dx=∫−∞+∞fX(y+z)fY(y)dy ③ 积的分布
设 ( X , Y ) ∼ f ( x , y ) (X,Y)\thicksim f(x,y) (X,Y)∼f(x,y),则 Z = X Y Z=XY Z=XY 概率密度函数为:
f Z ( z ) = ∫ − ∞ + ∞ 1 ∣ x ∣ f ( x , z x ) d x = ∫ − ∞ + ∞ 1 ∣ y ∣ f ( z y , y ) d y f_Z(z)=\int_{-\infty}^{+\infty}\frac{1}{\mid x\mid}f(x,\frac{z}{x})dx=\int_{-\infty}^{+\infty}\frac{1}{\mid y\mid}f(\frac{z}{y},y)dy fZ(z)=∫−∞+∞∣x∣1f(x,xz)dx=∫−∞+∞∣y∣1f(yz,y)dy 若 X X X 与 Y Y Y 独立,则有:
f Z ( z ) = ∫ − ∞ + ∞ 1 ∣ x ∣ f X ( x ) f Y ( z x ) d x = ∫ − ∞ + ∞ 1 ∣ y ∣ f X ( z y ) f Y ( y ) d y f_Z(z)=\int_{-\infty}^{+\infty}\frac{1}{\mid x\mid}f_X(x)f_Y(\frac{z}{x})dx=\int_{-\infty}^{+\infty}\frac{1}{\mid y\mid}f_X(\frac{z}{y})f_Y(y)dy fZ(z)=∫−∞+∞∣x∣1fX(x)fY(xz)dx=∫−∞+∞∣y∣1fX(yz)fY(y)dy ④ 商的分布
设 ( X , Y ) ∼ f ( x , y ) (X,Y)\thicksim f(x,y) (X,Y)∼f(x,y),则 Z = X / Y Z=X/Y Z=X/Y 概率密度函数为:
f Z ( z ) = ∫ − ∞ + ∞ ∣ y ∣ f ( y z , y ) d y f_Z(z)=\int_{-\infty}^{+\infty}\mid y\mid f(yz,y)dy fZ(z)=∫−∞+∞∣y∣f(yz,y)dy 若 X X X 与 Y Y Y 独立,则有:
f Z ( z ) = ∫ − ∞ + ∞ ∣ y ∣ f X ( y z ) f Y ( y ) d y f_Z(z)=\int_{-\infty}^{+\infty}\mid y\mid f_X(yz)f_Y(y)dy fZ(z)=∫−∞+∞∣y∣fX(yz)fY(y)dy ⑤ m a x { X , Y } max\{X,Y\} max{X,Y} 的分布
设 ( X , Y ) ∼ f ( x , y ) (X,Y)\thicksim f(x,y) (X,Y)∼f(x,y),则 Z = m a x { X , Y } Z=max\{X,Y\} Z=max{X,Y} 概率分布函数为:
F m a x ( z ) = F ( z , z ) F_{max}(z)=F(z,z) Fmax(z)=F(z,z) 若 X X X 与 Y Y Y 独立,则有:
F m a x ( z ) = F X ( z ) F Y ( z ) F_{max}(z)=F_X(z)F_Y(z) Fmax(z)=FX(z)FY(z) ⑥ m i n { X , Y } min\{X,Y\} min{X,Y} 的分布
设 ( X , Y ) ∼ f ( x , y ) (X,Y)\thicksim f(x,y) (X,Y)∼f(x,y),则 Z = m i n { X , Y } Z=min\{X,Y\} Z=min{X,Y} 概率分布函数为:
F m i n ( z ) = F X ( z ) + F Y ( z ) − F ( z , z ) F_{min}(z)=F_X(z)+F_Y(z)-F(z,z) Fmin(z)=FX(z)+FY(z)−F(z,z) 若 X X X 与 Y Y Y 独立,则有:
F m i n ( z ) = 1 − [ 1 − F X ( z ) ] [ 1 − F Y ( z ) ] F_{min}(z)=1-[1-F_X(z)][1-F_Y(z)] Fmin(z)=1−[1−FX(z)][1−FY(z)]
8、常见分布的可加性
设 X X X 与 Y Y Y 独立,则:
① 若 X ∼ b ( n , p ) X\thicksim b(n,p) X∼b(n,p), Y ∼ b ( m , p ) Y\thicksim b(m,p) Y∼b(m,p),则 X + Y ∼ b ( n + m , p ) X+Y\thicksim b(n+m,p) X+Y∼b(n+m,p) ;
② 若 X ∼ P ( λ 1 ) X\thicksim P(\lambda_1) X∼P(λ1), Y ∼ P ( λ 2 ) Y\thicksim P(\lambda_2) Y∼P(λ2),则 X + Y ∼ P ( λ 1 + λ 2 ) X+Y\thicksim P(\lambda_1+\lambda_2) X+Y∼P(λ1+λ2) ;
③ 若 X ∼ N ( μ 1 , σ 1 2 ) X\thicksim N(\mu_1,\sigma_1^2) X∼N(μ1,σ12), Y ∼ N ( μ 2 , σ 2 2 ) Y\thicksim N(\mu_2,\sigma_2^2) Y∼N(μ2,σ22),则 a X + b Y ∼ N ( a μ 1 + b μ 2 , a 2 σ 1 2 + b 2 σ 2 2 ) aX+bY\thicksim N(a\mu_1+b\mu_2,a^2\sigma_1^2+b^2\sigma_2^2) aX+bY∼N(aμ1+bμ2,a2σ12+b2σ22) ;
④ 若 X ∼ χ 2 ( n ) X\thicksim \chi^2(n) X∼χ2(n), Y ∼ χ 2 ( m ) Y\thicksim \chi^2(m) Y∼χ2(m),则 X + Y ∼ χ 2 ( n + m ) X+Y\thicksim \chi^2(n+m) X+Y∼χ2(n+m) 。
9、两个例题
① X X X 的分布函数为 F ( x ) F(x) F(x) 且反函数存在,则随机变量 Y = F ( X ) Y=F(X) Y=F(X) 的分布函数 F ( y ) F(y) F(y) 为?
解:已知 F ( y ) = P { Y ≤ y } = P { F ( X ) ≤ y } F(y)=P\{Y\leq y\}=P\{F(X)\leq y\} F(y)=P{Y≤y}=P{F(X)≤y},且 F ( X ) ∈ ( 0 , 1 ) F(X)\in (0,1) F(X)∈(0,1),则:
当 y < 0 y<0 y<0: F ( y ) = 0 F(y)=0 F(y)=0; 当 y ≥ 1 y\geq1 y≥1: F ( y ) = 1 F(y)=1 F(y)=1;
当 0 ≤ y < 1 0\leq y<1 0≤y<1: F ( y ) = P { X ≤ F − 1 ( y ) } = F ( F − 1 ( y ) ) = y F(y)=P\{X\leq F^{-1}(y)\}=F(F^{-1}(y))=y F(y)=P{X≤F−1(y)}=F(F−1(y))=y 。
② X ∼ N ( 0 , 1 ) X\thicksim N(0,1) X∼N(0,1), Y ∼ B ( n , p ) Y\thicksim B(n,p) Y∼B(n,p),且 X X X 与 Y Y Y 独立, Z = X + Y Z=X+Y Z=X+Y,则 F Z ( z ) F_Z(z) FZ(z) 为?
解: F Z ( z ) = P { X + Y ≤ z } = ∑ i = 0 n P { Y = i } P { X + Y ≤ z ∣ Y = i } = ∑ i = 0 n C n i p i ( 1 − p ) n − i P { X ≤ z − Y ∣ Y = i } F_Z(z)=P\{X+Y\leq z\}=\sum_{i=0}^nP\{Y=i\}P\{X+Y\leq z|Y=i\}=\sum_{i=0}^nC_n^ip^i(1-p)^{n-i}P\{X\leq z-Y|Y=i\} FZ(z)=P{X+Y≤z}=∑i=0nP{Y=i}P{X+Y≤z∣Y=i}=∑i=0nCnipi(1−p)n−iP{X≤z−Y∣Y=i}
由于 X X X 与 Y Y Y 独立,则: F Z ( z ) = ∑ i = 0 n C n i p i ( 1 − p ) n − i P { X ≤ z − i } = ∑ i = 0 n C n i p i ( 1 − p ) n − i ∫ − ∞ z − i 1 2 π e − t 2 2 d t F_Z(z)=\sum_{i=0}^nC_n^ip^i(1-p)^{n-i}P\{X\leq z-i\}=\sum_{i=0}^nC_n^ip^i(1-p)^{n-i}\int_{-\infty}^{z-i}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt FZ(z)=i=0∑nCnipi(1−p)n−iP{X≤z−i}=i=0∑nCnipi(1−p)n−i∫−∞z−i2π1e−2t2dt
10、一维连续随机变量的函数的分布
设连续随机变量 X X X 概率密度为 f ( x ) f(x) f(x) , y = g ( x ) y=g(x) y=g(x) 在 ( a , b ) (a,b) (a,b) 上严格单调,其反函数 x = h ( y ) x=h(y) x=h(y) 有连续导数,随机变量 Y = g ( X ) Y=g(X) Y=g(X),则有: Ψ ( n ) = { f ( h ( y ) ) ⋅ ∣ h ′ ( y ) ∣ , if y ∈ ( c , d ) 0 , others \Psi(n)= \begin{cases} f(h(y))\cdot\mid h'(y)\mid, & \text {if $y\in(c,d)$} \\ 0, & \text{others} \end{cases} Ψ(n)={f(h(y))⋅∣h′(y)∣,0,if y∈(c,d)others其中 ( c , d ) (c,d) (c,d) 为 g ( x ) g(x) g(x) 的值域 。
11、期望 E E E
① 对于一维离散随机变量 p i = P { X = x i } p_i=P\{X=x_i\} pi=P{X=xi} :
E ( X ) = ∑ i = 1 ∞ x i p i , E [ g ( X ) ] = ∑ i = 1 ∞ g ( x i ) p i E(X)=\sum_{i=1}^{\infty}x_ip_i,E[g(X)]=\sum_{i=1}^{\infty}g(x_i)p_i E(X)=i=1∑∞xipi,E[g(X)]=i=1∑∞g(xi)pi对于二维离散随机变量 p i j = P { X = x i , Y = y j } p_{ij}=P\{X=x_i,Y=y_j\} pij=P{X=xi,Y=yj} : E [ g ( X , Y ) ] = ∑ i = 1 ∞ ∑ j = 1 ∞ g ( x i , y j ) p i j E[g(X,Y)]=\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}g(x_i,y_j)p_{ij} E[g(X,Y)]=i=1∑∞j=1∑∞g(xi,yj)pij ② 对于一维连续随机变量 X ∼ f ( x ) X\thicksim f(x) X∼f(x) :
E ( X ) = ∫ − ∞ + ∞ x f ( x ) d x , E [ g ( X ) ] = ∫ − ∞ + ∞ g ( x ) f ( x ) d x E(X)=\int_{-\infty}^{+\infty}xf(x)dx,E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx E(X)=∫−∞+∞xf(x)dx,E[g(X)]=∫−∞+∞g(x)f(x)dx对于二维连续随机变量 ( X , Y ) ∼ f ( x , y ) (X,Y)\thicksim f(x,y) (X,Y)∼f(x,y) : E [ g ( X , Y ) ] = ∫ − ∞ + ∞ ∫ − ∞ + ∞ g ( x , y ) f ( x , y ) d x d y E[g(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)dxdy E[g(X,Y)]=∫−∞+∞∫−∞+∞g(x,y)f(x,y)dxdy ③ E ( ∑ i = 1 n a i X i ) = ∑ i = 1 n a i E ( X i ) E(\sum_{i=1}^{n}a_iX_i)=\sum_{i=1}^{n}a_iE(X_i) E(∑i=1naiXi)=∑i=1naiE(Xi)
④ 设 X 1 , ⋯ , X n X_1,\cdots,X_n X1,⋯,Xn 相互独立: E ( ∑ i = 1 n X i ) = ∑ i = 1 n E ( X i ) E(\sum_{i=1}^{n}X_i)=\sum_{i=1}^{n}E(X_i) E(∑i=1nXi)=∑i=1nE(Xi), E ( ∑ i = 1 n g i ( X i ) ) = ∑ i = 1 n E ( g i ( X i ) ) E(\sum_{i=1}^{n}g_i(X_i))=\sum_{i=1}^{n}E(g_i(X_i)) E(∑i=1ngi(Xi))=∑i=1nE(gi(Xi))
12、方差 D D D 或 V a r Var Var
① D ( X ) = E [ ( X − E X ) 2 ] = E ( X 2 ) − ( E X ) 2 D(X)=E[(X-EX)^2]=E(X^2)-(EX)^2 D(X)=E[(X−EX)2]=E(X2)−(EX)2
② D ( X ) ≥ 0 ⇒ E ( X 2 ) ≥ ( E X ) 2 D(X)\geq 0\Rightarrow E(X^2)\geq(EX)^2 D(X)≥0⇒E(X2)≥(EX)2
③ D ( X + Y ) = D X + D Y + 2 C o v ( X , Y ) D(X+Y)=DX+DY+2Cov(X,Y) D(X+Y)=DX+DY+2Cov(X,Y), D ( X − Y ) = D X + D Y − 2 C o v ( X , Y ) D(X-Y)=DX+DY-2Cov(X,Y) D(X−Y)=DX+DY−2Cov(X,Y)
④ D ( ∑ i = 1 n a i X i ) = ∑ i = 1 n a i 2 D ( X i ) + 2 ∑ 1 ≤ i ≤ j ≤ n a i a j C o v ( X i , X j ) D(\sum_{i=1}^{n}a_iX_i)=\sum_{i=1}^{n}a_i^2D(X_i)+2\sum_{1\leq i\leq j\leq n}a_ia_jCov(X_i,X_j) D(∑i=1naiXi)=∑i=1nai2D(Xi)+2∑1≤i≤j≤naiajCov(Xi,Xj)
⑤ ∀ \forall ∀ 常数 c c c, D ( X ) ≤ E ( ( X − c ) 2 ) D(X)\leq E((X-c)^2) D(X)≤E((X−c)2)
⑥ 设 X 1 , ⋯ , X n X_1,\cdots,X_n X1,⋯,Xn 相互独立: D ( ∑ i = 1 n a i X i ) = ∑ i = 1 n a i 2 D ( X i ) D(\sum_{i=1}^{n}a_iX_i)=\sum_{i=1}^{n}a_i^2D(X_i) D(∑i=1naiXi)=∑i=1nai2D(Xi), D ( ∑ i = 1 n g i ( X i ) ) = ∑ i = 1 n D ( g i ( X i ) ) D(\sum_{i=1}^{n}g_i(X_i))=\sum_{i=1}^{n}D(g_i(X_i)) D(∑i=1ngi(Xi))=∑i=1nD(gi(Xi))
⑦ X ∗ = X − E X D X X^*=\frac{X-EX}{\sqrt{DX}} X∗=DXX−EX 是 X X X 的标准化随机变量, E X ∗ = 0 EX^*=0 EX∗=0, D X ∗ = 1 DX^*=1 DX∗=1
⑧ 设随机变量 X X X 的期望和方差均存在,且 D X = 0 DX=0 DX=0,则 P { X = E X } = 1 P\{X=EX\}=1 P{X=EX}=1
13、协方差、协方差矩阵和相关系数 C o v Cov Cov、 Σ \Sigma Σ 和 ρ \rho ρ
① C o v ( X , Y ) = E [ ( X − E X ) ( Y − E Y ) ] = E ( X Y ) − E X ⋅ E Y Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX\cdot EY Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−EX⋅EY
② C o v ( X , Y ) = C o v ( Y , X ) Cov(X,Y)=Cov(Y,X) Cov(X,Y)=Cov(Y,X), C o v ( X , X ) = D X Cov(X,X)=DX Cov(X,X)=DX, C o v ( X , c ) = 0 Cov(X,c)=0 Cov(X,c)=0,其中 c c c 为常数
③ C o v ( ∑ i = 1 n a i X i , Y ) = ∑ i = 1 n a i C o v ( X i , Y ) Cov(\sum_{i=1}^{n}a_iX_i,Y)=\sum_{i=1}^{n}a_iCov(X_i,Y) Cov(∑i=1naiXi,Y)=∑i=1naiCov(Xi,Y)
④ C o v ( a X , b Y ) = a b C o v ( X , Y ) Cov(aX,bY)=abCov(X,Y) Cov(aX,bY)=abCov(X,Y)
⑤ 设 X = ( X 1 , ⋯ , X n ) T X=(X_1,\cdots,X_n)^T X=(X1,⋯,Xn)T 为 n n n 维随机变量,若 D X i DX_i DXi 存在,则 Σ = ( C o v ( X i , X j ) ) n × n \Sigma=(Cov(X_i,X_j))_{n\times n} Σ=(Cov(Xi,Xj))n×n 为协方差矩阵
⑥ 二维情况的协方差矩阵: Σ = [ C o v ( X , X ) C o v ( X , Y ) C o v ( Y , X ) C o v ( Y , Y ) ] \Sigma=\begin{bmatrix} Cov(X,X) & Cov(X,Y) \\ Cov(Y,X) & Cov(Y,Y) \\ \end{bmatrix} Σ=[Cov(X,X)Cov(Y,X)Cov(X,Y)Cov(Y,Y)]
⑦ 相关系数 ρ = C o v ( X , Y ) D X D Y \rho=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}} ρ=DXDYCov(X,Y), ρ = 0 ⇔ \rho=0\Leftrightarrow ρ=0⇔ X X X 与 Y Y Y 不相关
⑧ 若随机变量 ξ = a X + b \xi=aX+b ξ=aX+b, η = c Y + d \eta=cY+d η=cY+d,则 ρ ξ η = a c ∣ a c ∣ ρ X Y \rho_{\xi\eta}=\frac{ac}{\mid ac\mid}\rho_{XY} ρξη=∣ac∣acρXY
⑨ ∣ ρ X Y ∣ = 1 ⇔ ∃ \mid \rho_{XY}\mid=1\Leftrightarrow \exists ∣ρXY∣=1⇔∃ 常数 a , b a,b a,b 使得 P { Y = a X + b } = 1 P\{Y=aX+b\}=1 P{Y=aX+b}=1,其中: a = { D Y D X , if ρ X Y = 1 − D Y D X , if ρ X Y = − 1 , b = E Y − a E X a= \begin{cases} \sqrt{\frac{DY}{DX}}, & \text {if $\rho_{XY}=1$} \\ -\sqrt{\frac{DY}{DX}}, & \text{if $\rho_{XY}=-1$} \end{cases},b=EY-aEX a=⎩⎨⎧DXDY,−DXDY,if ρXY=1if ρXY=−1,b=EY−aEX
14、矩
① X X X 的 k k k 阶(原点)矩: E ( X k ) = ∫ − ∞ + ∞ x k f ( x ) d x E(X^k)=\int_{-\infty}^{+\infty}x^kf(x)dx E(Xk)=∫−∞+∞xkf(x)dx
② X X X 的 k k k 阶中心矩: E ( ( X − E X ) k ) E((X-EX)^k) E((X−EX)k)
③ 若 X ∼ N ( μ , σ 2 ) X\thicksim N(\mu,\sigma^2) X∼N(μ,σ2):
k k k 为奇数时: E ( X − E X ) k = 0 E(X-EX)^k=0 E(X−EX)k=0
k k k 为偶数时: E ( X − E X ) k = σ k ⋅ ( k − 1 ) ⋅ ( k − 3 ) ⋅ ⋯ ⋅ 3 ⋅ 1 E(X-EX)^k=\sigma^k\cdot(k-1)\cdot(k-3)\cdot\cdots\cdot3\cdot1 E(X−EX)k=σk⋅(k−1)⋅(k−3)⋅⋯⋅3⋅1
15、不等式
① C a u c h y − S c h w a r z Cauchy-Schwarz Cauchy−Schwarz 不等式:
∣ E ( X Y ) ∣ ≤ ( E X 2 ) 1 / 2 ⋅ ( E Y 2 ) 1 / 2 \mid E(XY)\mid\leq(EX^2)^{1/2}\cdot(EY^2)^{1/2} ∣E(XY)∣≤(EX2)1/2⋅(EY2)1/2 ( E ∣ X + Y ∣ 2 ) 1 / 2 ≤ ( E X 2 ) 1 / 2 + ( E Y 2 ) 1 / 2 (E\mid X+Y\mid^2)^{1/2}\leq(EX^2)^{1/2}+(EY^2)^{1/2} (E∣X+Y∣2)1/2≤(EX2)1/2+(EY2)1/2 ∣ C o v ( X , Y ) ∣ ≤ D X ⋅ D Y \mid Cov(X,Y)\mid\leq\sqrt{DX}\cdot\sqrt{DY} ∣Cov(X,Y)∣≤DX⋅DY ② M a r k o v Markov Markov 不等式:设随机变量 X X X 存在 E ∣ X ∣ k E\mid X\mid^k E∣X∣k ,其中 k > 0 k>0 k>0,则对任意 ϵ > 0 \epsilon>0 ϵ>0 有: P { ∣ X ∣ ≥ ϵ } ≤ E ∣ X ∣ k ϵ k P\{\mid X\mid\geq\epsilon\}\leq\frac{E\mid X\mid^k}{\epsilon^k} P{∣X∣≥ϵ}≤ϵkE∣X∣k P { ∣ X − E X ∣ ≥ ϵ } ≤ E ∣ X − E X ∣ k ϵ k P\{\mid X-EX\mid\geq\epsilon\}\leq\frac{E\mid X-EX\mid^k}{\epsilon^k} P{∣X−EX∣≥ϵ}≤ϵkE∣X−EX∣k ③ C h e b y s h e v Chebyshev Chebyshev 不等式:设随机变量 X X X 存在 E X EX EX 和 D X DX DX,则对任意 ϵ > 0 \epsilon>0 ϵ>0 有: P { ∣ X − E X ∣ ≥ ϵ } ≤ D X ϵ 2 P\{\mid X-EX\mid\geq\epsilon\}\leq\frac{DX}{\epsilon^2} P{∣X−EX∣≥ϵ}≤ϵ2DX
16、依概率收敛与大数定律
① 设随机变量 X X X 与随机变量序列 { X n } \{X_n\} {Xn} ( n = 1 , 2 , ⋯ ) (n=1,2,\cdots) (n=1,2,⋯) ,若对任意 ϵ > 0 \epsilon>0 ϵ>0 有: lim n → ∞ P { ∣ X n − X ∣ ≥ ϵ } = 0 或 lim n → ∞ P { ∣ X n − X ∣ < ϵ } = 1 \lim_{n \to \infty}P\{\mid X_n-X\mid\geq\epsilon\}=0或\lim_{n \to \infty}P\{\mid X_n-X\mid<\epsilon\}=1 n→∞limP{∣Xn−X∣≥ϵ}=0或n→∞limP{∣Xn−X∣<ϵ}=1 则称 { X n } \{X_n\} {Xn} 依概率收敛于 X X X ,记为: lim n → ∞ X n = X ( P ) 或 X n ⟶ P X ( n → ∞ ) \lim_{n \to \infty}X_n=X(P)或X_n \stackrel{P}{\longrightarrow}X(n\rightarrow\infty) n→∞limXn=X(P)或Xn⟶PX(n→∞) ② C h e b y s h e v Chebyshev Chebyshev 大数定律:
设 { X i } \{X_i\} {Xi} ( i = 1 , 2 , ⋯ , n , ⋯ ) (i=1,2,\cdots,n,\cdots) (i=1,2,⋯,n,⋯) 是相互独立的随机变量序列, D X i DX_i DXi 存在且有公共上界: D X i ≤ C DX_i\leq C DXi≤C
令 Y n = 1 n ∑ i = 1 n X i Y_n=\frac{1}{n}\sum_{i=1}^{n}X_i Yn=n1∑i=1nXi ,则 D Y n = 0 ( n → ∞ ) DY_n=0(n\rightarrow\infty) DYn=0(n→∞)
对任意 ϵ > 0 \epsilon>0 ϵ>0 有: P { ∣ Y n − E Y n ∣ < ϵ } = 1 ( n → ∞ ) P\{\mid Y_n-EY_n\mid<\epsilon\}=1(n\rightarrow\infty) P{∣Yn−EYn∣<ϵ}=1(n→∞)
③ B e r n o u l l i Bernoulli Bernoulli 大数定律:
设 μ n \mu_n μn 是 n n n 重伯努利试验中事件 A A A 发生的次数,每次试验中 A A A 发生的概率为 p p p ,则 μ n n ⟶ P p ( n → ∞ ) \frac{\mu_n}{n} \stackrel{P}{\longrightarrow}p(n\rightarrow\infty) nμn⟶Pp(n→∞)
即对任意 ϵ > 0 \epsilon>0 ϵ>0 有: P { ∣ μ n n − p ∣ < ϵ } = 1 ( n → ∞ ) P\{\mid \frac{\mu_n}{n}-p\mid<\epsilon\}=1(n\rightarrow\infty) P{∣nμn−p∣<ϵ}=1(n→∞)
④ K h i n c h i n Khinchin Khinchin 大数定律:
设随机变量序列 X 1 , X 2 , ⋯ , X n , ⋯ X_1,X_2,\cdots,X_n,\cdots X1,X2,⋯,Xn,⋯ 独立同分布,且存在有限的数学期望 E X i = μ EX_i=\mu EXi=μ ,则 1 n ∑ i = 1 n X i ⟶ P μ ( n → ∞ ) \frac{1}{n}\sum_{i=1}^{n}X_i \stackrel{P}{\longrightarrow}\mu(n\rightarrow\infty) n1∑i=1nXi⟶Pμ(n→∞)
即对任意 ϵ > 0 \epsilon>0 ϵ>0 有: P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ϵ } = 1 ( n → ∞ ) P\{\mid \frac{1}{n}\sum_{i=1}^{n}X_i-\mu\mid<\epsilon\}=1(n\rightarrow\infty) P{∣n1∑i=1nXi−μ∣<ϵ}=1(n→∞)
17、中心极限定理
① L i n d b e r g − L e v i Lindberg-Levi Lindberg−Levi 定理:
即独立同分布中心极限定理,设 { X i } \{X_i\} {Xi} ( i = 1 , 2 , ⋯ , n , ⋯ ) (i=1,2,\cdots,n,\cdots) (i=1,2,⋯,n,⋯) 是独立同分布的随机变量序列,若 E X i = μ EX_i=\mu EXi=μ, D X i = σ 2 > 0 DX_i=\sigma^2>0 DXi=σ2>0
记 Y n = ∑ i = 1 n X i Y_n=\sum_{i=1}^{n}X_i Yn=∑i=1nXi,标准化 Y n Y_n Yn 为 Y n ∗ Y_n^* Yn∗,则:
P { Y n ∗ ≤ x } ( n → ∞ ) = ϕ ( x ) P\{Y_n^*\leq x\}(n\rightarrow\infty)=\phi(x) P{Yn∗≤x}(n→∞)=ϕ(x),即近似有 ∑ i = 1 n X i ∼ N ( n μ , n σ 2 ) ( n → ∞ ) \sum_{i=1}^{n}X_i\thicksim N(n\mu,n\sigma^2)(n\rightarrow\infty) ∑i=1nXi∼N(nμ,nσ2)(n→∞)
② D e M o i v r e − L a p l a c e De Moivre-Laplace DeMoivre−Laplace 定理:
即二项分布以正态分布为其极限的分布定理,设 Y n ∼ B ( n , p ) Y_n\thicksim B(n,p) Yn∼B(n,p) ( n ≥ 1 ) (n \geq 1) (n≥1) ,则对任意实数 x x x 有: lim n → ∞ P { Y n − n p n p ( 1 − p ) ≤ x } = ϕ ( x ) = 1 2 π ∫ − ∞ x e − t 2 2 d t \lim_{n \to \infty}P\{\frac{Y_n-np}{\sqrt{np(1-p)}}\leq x\}=\phi(x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^xe^{-\frac{t^2}{2}}dt n→∞limP{np(1−p)Yn−np≤x}=ϕ(x)=2π1∫−∞xe−2t2dt ③ 二项分布概率计算方法:
若 n n n 不太大 ( n ≤ 10 ) (n\leq 10) (n≤10): P { X = k } = C n k p k ( 1 − p ) n − k P\{X=k\}=C_n^kp^k(1-p)^{n-k} P{X=k}=Cnkpk(1−p)n−k
若 n n n 较大 p p p 较小: λ = n p \lambda=np λ=np, P { X = k } ≈ λ k k ! e − λ P\{X=k\}\approx\frac{\lambda^k}{k!}e^{-\lambda} P{X=k}≈k!λke−λ
若 n n n 较大 p p p 不太大: P { a < X < b } = ϕ ( b − n p n p ( 1 − p ) ) − ϕ ( a − n p n p ( 1 − p ) ) P\{a