【知识存储】用于深度学习研究的 ☆ 概率论和数理统计☆ 基础理论知识，用时查阅，灵活运用，很基础很重要

随机事件和概率

1.事件的关系与运算

• (1) 子事件：$A\subset B$，若$A$发生，则$B$发生。

• (2) 相等事件：$A=B$，即$A\subset B$，且$B\subset A$ 。

• (3) 和事件：$A\bigcup B$（或$A+B$），$A$与$B$中至少有一个发生。

• (4) 差事件：$A-B$，$A$发生但$B$不发生。

• (5) 积事件：$A\bigcap B$（或$AB$），$A$与$B$同时发生。

• (6) 互斥事件（互不相容）：$A\bigcap B$=$\varnothing$。

• (7) 互逆事件（对立事件）：$A\bigcap B=\varnothing ,A\bigcup B=\Omega ,A=\bar{B},B=\bar{A}$

2.运算律

• (1) 交换律：$A\bigcup B=B\bigcup A,A\bigcap B=B\bigcap A$

• (2) 结合律：$(A\bigcup B)\bigcup C=A\bigcup (B\bigcup C)$

• (3) 分配律：$(A\bigcap B)\bigcap C=A\bigcap (B\bigcap C)$

3.德$\cdot$摩根律

• $\overline{A\bigcup B}=\bar{A}\bigcap \bar{B}$ $\overline{A\bigcap B}=\bar{A}\bigcup \bar{B}$

4.完全事件组

• $A_1{A}_2\cdots An$ 两两互斥，且和事件为必然事件，即 $A_i\bigcap A_j=\varnothing ,i\ne j,{\bigcup }_{i=1}^n=\Omega$

5.概率的基本公式

• (1)条件概率: $P(B|A)=\frac{P(AB)}{P(A)}$,表示 $A$ 发生的条件下， $B$ 发生的概率。

• (2)全概率公式：$P(A)=\sum _{i=1}^{n}P(A|B_i)P(B_i),B_i{B}_j=\varnothing ,i\ne j,\underset{i=1}{\bigcup ^n}{B}_i=\Omega$

• (3) Bayes公式：$P(B_j|A)=\frac{P(A|B_j)P(B_j)}{\sum _{i=1}^{n}P(A|B_i)P(B_i)},j=1,2,\cdots ,n$注：上述公式中事件$B_i$的个数可为可列个。

• (4)乘法公式：$P(A_1{A}_2)=P(A_1)P(A_2|A_1)=P(A_2)P(A_1|A_2)$;$P(A_1{A}_2\cdots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)\cdots P(A_n|A_1{A}_2\cdots A_{n-1})$

6.事件的独立性

• (1)$A$ 与 $B$ 相互独立$\iff P(AB)=P(A)P(B)$,

• (2)$A$，$B$，$C$两两独立

  • $\iff P(AB)=P(A)P(B)$;$P(BC)=P(B)P(C)$ ;$P(AC)=P(A)P(C)$;

• (3)$A$，$B$，$C$相互独立

  • $\iff P(AB)=P(A)P(B)$; $P(BC)=P(B)P(C)$ ;$P(AC)=P(A)P(C)$ ; $P(ABC)=P(A)P(B)P(C)$

7.独立重复试验

• 将某试验独立重复 $n$ 次，若每次实验中事件A发生的概率为$p$，则 $n$ 次试验中 $A$ 发生 $k$ 次的概率为：$P(X=k)=C_n^k{p}^k{(1-p)}^{n-k}$

8.重要公式与结论

• $(1)P(\bar{A})=1-P(A)$

• $(2)P(A\bigcup B)=P(A)+P(B)-P(AB)$ ; $P(A\bigcup B\bigcup C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(AC)+P(ABC)$

• $(3)P(A-B)=P(A)-P(AB)$

• $(4)P(A\bar{B})=P(A)-P(AB),P(A)=P(AB)+P(A\bar{B}),$; $P(A\bigcup B)=P(A)+P(\bar{A}B)=P(AB)+P(A\bar{B})+P(\bar{A}B)$

• (5)条件概率$P(\cdot |B)$满足概率的所有性质， 例如：. $P({\bar{A}}_1|B)=1-P(A_1|B)$ ;$P(A_1\bigcup A_2|B)=P(A_1|B)+P(A_2|B)-P(A_1{A}_2|B)$ ;$P(A_1{A}_2|B)=P(A_1|B)P(A_2|A_{1}B)$

• (6)若$A_1,A_2,\cdots ,A_n$相互独立，则 $P(\bigcap _{i=1}^n{A}_i)=\prod _{i=1}^{n}P(A_i),$ $P(\bigcup _{i=1}^n{A}_i)=\prod _{i=1}^n(1-P(A_i))$

• (7)互斥、互逆与独立性之间的关系：

  • $A$与$B$互逆$\Rightarrow$ $A$与$B$互斥，但反之不成立，$A$与$B$互斥（或互逆）且均非零概率事件 $\Rightarrow$ $A$ 与 $B$ 不独立.

• (8)若 $A_1,A_2,\cdots ,A_m,B_1,B_2,\cdots ,B_n$ 相互独立，则 $f(A_1,A_2,\cdots ,A_m)$ 与 $g(B_1,B_2,\cdots ,B_n)$ 也相互独立，其中 $f(\cdot ),g(\cdot )$ 分别表示对相应事件做任意事件运算后所得的事件，另外，概率为1（或0）的事件与任何事件相互独立.

随机变量及其概率分布

1.随机变量及概率分布

• 取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机变量，概率分布通常指分布函数或分布律。

2.分布函数的概念与性质

• 定义： $F(x)=P(X\le x),-\infty <x<+\infty$,性质如下：

  • (1)$0\le F(x)\le 1$

  • (2) $F(x)$单调不减

  • (3) 右连续$F(x+0)=F(x)$

  • (4) $F(-\infty )=0,F(+\infty )=1$

3.离散型随机变量的概率分布

• $P(X=x_i)=p_i,i=1,2,\cdots ,n,\cdots p_i\ge 0,{\sum }_{i=1}^{\infty }{p}_i=1$

4.连续型随机变量的概率密度

• 概率密度$f(x)$;非负可积，且:

  • (1)$f(x)\ge 0,$

  • (2)${\int }_{-\infty }^{+\infty }f(x)dx=1$

  • (3)$x$为$f(x)$的连续点，则:$f(x)=F^{\prime }(x)$分布函数$F(x)={\int }_{-\infty }^{x}f(t)dt$

5.常见分布

• (1) 0-1分布:$P(X=k)=p^k{(1-p)}^{1-k},k=0,1$

• (2) 二项分布:$B(n,p)$： $P(X=k)=C_n^k{p}^k{(1-p)}^{n-k},k=0,1,\cdots ,n$

• (3) Poisson分布:$p(\lambda )$： $P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },\lambda >0,k=0,1,2\cdots$

• (4) 均匀分布$U(a,b)$：$f(x)=\{\begin{array}{cc}& \frac{1}{b-a},a<x<b\\ & 0,\end{array}$

• (5) 正态分布:$N(\mu ,{\sigma }^2):$ $\phi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(x-\mu )}^2}{2{\sigma }^2}},\sigma >0,\infty <x<+\infty$

• (6)指数分布:$E(\lambda ):f(x)=\{\begin{array}{cc}& \lambda e^{-\lambda x},x>0,\lambda >0\\ & 0,\end{array}$

• (7)几何分布:$G(p):P(X=k)={(1-p)}^{k-1}p,0<p<1,k=1,2,\cdots .$

• (8)超几何分布: $H(N,M,n):P(X=k)=\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n},k=0,1,\cdots ,min(n,M)$

6.随机变量函数的概率分布

• (1)离散型：$P(X=x_1)=p_i,Y=g(X)$；则: $P(Y=y_j)={\sum }_{g(x_i)=y_i}^{}P(X=x_i)$

• (2)连续型：$X\stackrel{~}{}{f}_X(x),Y=g(x)$；则:$F_y(y)=P(Y\le y)=P(g(X)\le y)={\int }_{g(x)\le y}^{}{f}_x(x)dx$， $f_Y(y)=F_Y^{\prime }(y)$

7.重要公式与结论

• (1) $X\sim N(0,1)\Rightarrow \phi (0)=\frac{1}{\sqrt{2\pi }},\Phi (0)=\frac{1}{2},$ $\Phi (-a)=P(X\le -a)=1-\Phi (a)$

• (2) $X\sim N\left(\mu ,{\sigma }^2\right)\Rightarrow \frac{X-\mu }{\sigma }\sim N\left(0,1\right),P(X\le a)=\Phi (\frac{a-\mu }{\sigma })$

• (3) $X\sim E(\lambda )\Rightarrow P(X>s+t|X>s)=P(X>t)$

• (4) $X\sim G(p)\Rightarrow P(X=m+k|X>m)=P(X=k)$

• (5) 离散型随机变量的分布函数为阶梯间断函数；连续型随机变量的分布函数为连续函数，但不一定为处处可导函数。

• (6) 存在既非离散也非连续型随机变量。

多维随机变量及其分布

1.二维随机变量及其联合分布

• 由两个随机变量构成的随机向量$(X,Y)$， 联合分布为$F(x,y)=P(X\le x,Y\le y)$

2.二维离散型随机变量的分布

• (1) 联合概率分布律 $P\{X=x_i,Y=y_j\}=p_{ij};i,j=1,2,\cdots$

• (2) 边缘分布律 $p_{i\cdot }={\sum }_{j=1}^{\infty }{p}_{ij},i=1,2,\cdots$ $p_{\cdot j}={\sum }_i^{\infty }{p}_{ij},j=1,2,\cdots$

• (3) 条件分布律 $P\{X=x_i|Y=y_j\}=\frac{p_{ij}}{p_{\cdot j}}$；$P\{Y=y_j|X=x_i\}=\frac{p_{ij}}{p_{i\cdot }}$

3. 二维连续性随机变量的密度

• (1) 联合概率密度$f(x,y):$。

  • $f(x,y)\ge 0$

  • ${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)dxdy=1$；

• (2) 分布函数：$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv$；

• (3) 边缘概率密度： $f_X\left(x\right)={\int }_{-\infty }^{+\infty }f\left(x,y\right)dy$ $f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$；

• (4) 条件概率密度：$f_{X|Y}\left(x|y\right)=\frac{f\left(x,y\right)}{f_Y\left(y\right)}$ $f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$

4.常见二维随机变量的联合分布

• (1) 二维均匀分布：$(x,y)\sim U(D)$ ,$f(x,y)=\{\begin{array}{l}\frac{1}{S(D)},(x,y)\in D\\ 0,其他\end{array}$

• (2) 二维正态分布：$(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$,$(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$，$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}.\exp \left\{\frac{-1}{2(1-{\rho }^2)}[\frac{{(x-{\mu }_1)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{{(y-{\mu }_2)}^2}{{\sigma }_2^2}]\right\}$

5.随机变量的独立性和相关性

• $X$和$Y$的相互独立:$\iff F\left(x,y\right)=F_X\left(x\right)F_Y\left(y\right)$:

  • $\iff p_{ij}=p_{i\cdot }\cdot p_{\cdot j}$（离散型）

  • $\iff f\left(x,y\right)=f_X\left(x\right)f_Y\left(y\right)$（连续型）

• $X$和$Y$的相关性：

  • 相关系数${\rho }_{XY}=0$时，称$X$和$Y$不相关，否则称$X$和$Y$相关

6.两个随机变量简单函数的概率分布

• 离散型： $P\left(X=x_i,Y=y_i\right)=p_{ij},Z=g\left(X,Y\right)$ 则：$P(Z=z_k)=P\left\{g\left(X,Y\right)=z_k\right\}={\sum }_{g\left(x_i,y_i\right)=z_k}^{}P\left(X=x_i,Y=y_j\right)$

• 连续型： $\left(X,Y\right)\sim f\left(x,y\right),Z=g\left(X,Y\right)$，则：$F_z\left(z\right)=P\left\{g\left(X,Y\right)\le z\right\}={\iint }_{g(x,y)\le z}^{}f(x,y)dxdy$，$f_z(z)=F_z^{\prime }(z)$

7.重要公式与结论

• (1) 边缘密度公式： $f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$,$f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$；

• (2) $P\left\{\left(X,Y\right)\in D\right\}={\iint }_D^{}f\left(x,y\right)dxdy$；

• (3) 若$(X,Y)$服从二维正态分布$N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$，则有：

  • $X\sim N\left({\mu }_1,{\sigma }_1^2\right),Y\sim N({\mu }_2,{\sigma }_2^2).$

  • $X$与$Y$相互独立$\iff \rho =0$，即$X$与$Y$不相关。

  • $C_{1}X+C_{2}Y\sim N(C_1{\mu }_1+C_2{\mu }_2,C_1^2{\sigma }_1^2+C_2^2{\sigma }_2^2+2C_1{C}_2{\sigma }_1{\sigma }_2\rho )$

  • $X$关于$Y=y$的条件分布为： $N({\mu }_1+\rho \frac{{\sigma }_1}{{\sigma }_2}(y-{\mu }_2),{\sigma }_1^2(1-{\rho }^2))$

  • $Y$关于$X=x$的条件分布为： $N({\mu }_2+\rho \frac{{\sigma }_2}{{\sigma }_1}(x-{\mu }_1),{\sigma }_2^2(1-{\rho }^2))$

• (4) 若$X$与$Y$独立，且分别服从$N({\mu }_1,{\sigma }_1^2),N({\mu }_1,{\sigma }_2^2)$,则：$\left(X,Y\right)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,0)$,$C_{1}X+C_{2}Y\stackrel{~}{}N(C_1{\mu }_1+C_2{\mu }_2,C_1^2{\sigma }_1^2{C}_2^2{\sigma }_2^2).$

• (5) 若$X$与$Y$相互独立，$f\left(x\right)$和$g\left(x\right)$为连续函数， 则$f\left(X\right)$和$g(Y)$也相互独立。

随机变量的数字特征

1.数学期望

• 离散型：$P\left\{X=x_i\right\}=p_i,E(X)={\sum }_i^{}{x}_i{p}_i$；

• 连续型： $X\sim f(x),E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$，性质如下：

  • (1) $E(C)=C,E[E(X)]=E(X)$；

  • (2) $E(C_{1}X+C_{2}Y)=C_{1}E(X)+C_{2}E(Y)$；

  • (3) 若$X$和$Y$独立，则$E(XY)=E(X)E(Y)$ ；

  • (4)${\left[E(XY)\right]}^2\le E(X^2)E(Y^2)$

2.方差：$D(X)=E{\left[X-E(X)\right]}^2=E(X^2)-{\left[E(X)\right]}^2$

3.标准差：$\sqrt{D(X)}$，

4.离散型：$D(X)={\sum }_i^{}{\left[x_i-E(X)\right]}^2{p}_i$

5.连续型：$D(X)={{\int }_{-\infty }^{+\infty }\left[x-E(X)\right]}^{2}f(x)dx$，性质如下：

• (1)$D(C)=0,D[E(X)]=0,D[D(X)]=0$

• (2) $X$与$Y$相互独立，则$D(X\pm Y)=D(X)+D(Y)$

• (3)$D\left(C_{1}X+C_2\right)=C_1^{2}D\left(X\right)$

• (4) 一般有 $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)=D(X)+D(Y)\pm 2\rho \sqrt{D(X)}\sqrt{D(Y)}$

• (5)$D\left(X\right)<E{\left(X-C\right)}^2,C\ne E\left(X\right)$

• (6)$D(X)=0\iff P\left\{X=C\right\}=1$

6.随机变量函数的数学期望

• (1) 对于函数$Y=g(x)$：

  • $X$为离散型：$P\{X=x_i\}=p_i,E(Y)={\sum }_i^{}g(x_i)p_i$；

  • $X$为连续型：$X\sim f(x),E(Y)={\int }_{-\infty }^{+\infty }g(x)f(x)dx$；

• (2) $Z=g(X,Y)$;$\left(X,Y\right)\sim P\{X=x_i,Y=y_j\}=p_{ij}$; $E(Z)={\sum }_i^{}{\sum }_j^{}g(x_i,y_j)p_{ij}$ $\left(X,Y\right)\sim f(x,y)$;$E(Z)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$

7.协方差

• $Cov(X,Y)=E\left[(X-E(X)(Y-E(Y))\right]$

8.相关系数

• ${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$,$k$阶原点矩 $E(X^k)$;$k$阶中心矩 $E\left\{{[X-E(X)]}^k\right\}$：性质如下：

  • (1)$Cov(X,Y)=Cov(Y,X)$；

  • (2)$Cov(aX,bY)=abCov(Y,X)$；

  • (3)$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$；

  • (4)$\left|\rho \left(X,Y\right)\right|\le 1$；

  • (5) $\rho \left(X,Y\right)=1\iff P\left(Y=aX+b\right)=1$ ，其中$a>0$，$\rho \left(X,Y\right)=-1\iff P\left(Y=aX+b\right)=1$，其中$a<0$

9.重要公式与结论

• (1)$D(X)=E(X^2)-E^2(X)$

• (2)$Cov(X,Y)=E(XY)-E(X)E(Y)$

• (3) $\left|\rho \left(X,Y\right)\right|\le 1,$且 $\rho \left(X,Y\right)=1\iff P\left(Y=aX+b\right)=1$，其中$a>0$，$\rho \left(X,Y\right)=-1\iff P\left(Y=aX+b\right)=1$，其中$a<0$

• (4) 下面5个条件互为充要条件：$\rho (X,Y)=0$ $\iff Cov(X,Y)=0$ $\iff E(X,Y)=E(X)E(Y)$ $\iff D(X+Y)=D(X)+D(Y)$ ，

  • $\iff D(X-Y)=D(X)+D(Y)$

• 注：$X$与$Y$独立为上述5个条件中任何一个成立的充分条件，但非必要条件。

数理统计的基本概念

1.基本概念

• 总体：研究对象的全体，它是一个随机变量，用$X$表示。

• 个体：组成总体的每个基本元素。

• 简单随机样本：来自总体$X$的$n$个相互独立且与总体同分布的随机变量$X_1,X_2\cdots ,X_n$，称为容量为$n$的简单随机样本，简称样本。

• 统计量：设$X_1,X_2\cdots ,X_n,$是来自总体$X$的一个样本，$g(X_1,X_2\cdots ,X_n)$）是样本的连续函数，且$g()$中不含任何未知参数，则称$g(X_1,X_2\cdots ,X_n)$为统计量。

• 样本均值：$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$

• 样本方差：$S^2=\frac{1}{n-1}{\sum }_{i=1}^n{(X_i-\overline{X})}^2$

• 样本矩：样本$k$阶原点矩：$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k,k=1,2,\cdots$

• 样本$k$阶中心矩：$B_k=\frac{1}{n}{\sum }_{i=1}^n{(X_i-\overline{X})}^k,k=1,2,\cdots$

2.分布

• ${\chi }^2$分布：${\chi }^2=X_1^2+X_2^2+\cdots +X_n^2\sim {\chi }^2(n)$，其中$X_1,X_2\cdots ,X_n,$相互独立，且同服从$N(0,1)$

• $t$分布：$T=\frac{X}{\sqrt{Y/n}}\sim t(n)$ ，其中$X\sim N\left(0,1\right),Y\sim {\chi }^2(n),$且$X$，$Y$ 相互独立。

• $F$分布：$F=\frac{X/n_1}{Y/n_2}\sim F(n_1,n_2)$，其中$X\sim {\chi }^2\left(n_1\right),Y\sim {\chi }^2(n_2),$且$X$，$Y$相互独立。

• 分位数：若$P(X\le x_{\alpha })=\alpha ,$则称$x_{\alpha }$为$X$的$\alpha$分位数

3.正态总体的常用样本分布

• 设$X_1,X_2\cdots ,X_n$为来自正态总体$N(\mu ,{\sigma }^2)$的样本，$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i,S^2=\frac{1}{n-1}{\sum }_{i=1}^n{(X_i-\overline{X})}^2,$则：

  • $\overline{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right)$或者$\frac{\overline{X}-\mu }{\frac{\sigma }{\sqrt{n}}}\sim N(0,1)$；

  • $\frac{(n-1)S^2}{{\sigma }^2}=\frac{1}{{\sigma }^2}{\sum }_{i=1}^n{(X_i-\overline{X})}^2\sim {\chi }^2(n-1)$；

  • $\frac{1}{{\sigma }^2}{\sum }_{i=1}^n{(X_i-\mu )}^2\sim {\chi }^2(n)$

  • $\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$

4.重要公式与结论

• (1) 对于${\chi }^2\sim {\chi }^2(n)$，有$E({\chi }^2(n))=n,D({\chi }^2(n))=2n;$

• (2) 对于$T\sim t(n)$，有$E(T)=0,D(T)=\frac{n}{n-2}(n>2)$；

• (3) 对于$F\stackrel{~}{}F(m,n)$，有 $\frac{1}{F}\sim F(n,m),F_{a/2}(m,n)=\frac{1}{F_{1-a/2}(n,m)};$

• (4) 对于任意总体$X$，有 $E(\overline{X})=E(X),E(S^2)=D(X),D(\overline{X})=\frac{D(X)}{n}$

## 数据科学需要一定的数学基础，但仅仅做应用的话，如果时间不多，不用学太深，了解基本公式即可，遇到问题再查吧。

## 上面是常见的一些数学基础概念，建议大家收藏后再仔细阅读，遇到不懂的概念可以直接在这里查~

## 来源于AIStudio内容整理：必备数学知识（概率论和数理统计部分）