概率论与数理统计基础知识整理

基本概率公式

• 补集公式
  $P(\bar{A})=1-P(A)$
• 加法公式
  $P(A+B)=P(A)+P(B)-P(AB)$
• 减法公式
  $P(A-B)=P(A)-P(AB)=P(A\bar{B})$
• 条件概率
  $P(B\mid A)=\frac{P(AB)}{P(A)}$
• 乘法公式
  $P(AB)=P(A)\cdot P(B\mid A)$
  $P(AB)=P(B)\cdot P(A\mid B)$
• 全概率公式
  $P(B)={\sum }_{i=1}^{n}P\left(A_i\right)\cdot P\left(B\mid A_i\right)$
• 贝叶斯公式
  $P\left(A_j\mid B\right)=\frac{P\left(A_{j}B\right)}{P(B)}=\frac{P\left(A_j\right)P\left(B\mid A_j\right)}{{\sum }_{i=1}^{n}P\left(A_i\right)\cdot P\left(B\mid A_i\right)}$
• 相互独立
  $P(AB)=P(A)\cdot P(B)$

  如果随机变量$X$，$Y$相互独立，那么$g(X)$，$g(Y)$也相互独立

一维随机变量的分布

分布函数的应用

  $F(a-0)$是$F(X)$在$a$处的左极限。

$P\{X⩽a\}=F(a)$
$P\{X<a\}=F(a-0)$
$P\{X=a\}=F(a)-F(a-0)$
$F(x)=P\{X⩽x\}={\sum }_{x_i⩽x}P\left\{X=x_i\right\}$
$F(x)=P\{X⩽x\}={\int }_{-\infty }^{x}f(t)dt(x\in R)$
$P\{a<X<b\}=P\{a⩽X<b\}=P\{a<X⩽b\}=P\{a⩽X⩽b\}={\int }_a^{b}f(t)dt=F(b)-F(a)$

离散型分布

伯努利分布

  0-1 分布，（比如掷硬币，射箭中与不中）。

$\begin{array}{rl}X& \sim B(1,p)\\ P\{X=k\}& =p^k(1-p{)}^{1-k},(k=0,1)\\ EX& =p\\ DX& =p(1-p)\end{array}$

二项分布

  多次同分布试验（比如多次掷骰子，掷硬币）。

$\begin{array}{rl}X& \sim B(n,p)\\ P\{X=k\}& =C_n^k{p}^k(1-p{)}^{n-k},(k=0,1,\cdots ,n)\\ EX& =np\\ DX& =np(1-p)\end{array}$

泊松分布

  质点流量（比如一段时间内买东西的顾客数量 k 的概率）。

$\begin{array}{rl}X& \sim P(\lambda )\\ P\{X=k\}& =\frac{{\lambda }^k}{k!}{e}^{-\lambda }\\ EX& =\lambda \\ DX& =\lambda \end{array}$

几何分布

  首中即停止，与几何无关，比如一直投篮知道投中为止，投篮次数 k的概率。

$\begin{array}{rl}X& \sim G(p)\\ P\{X=k\}& =(1-p{)}^{k-1}p\\ EX& =\frac{1}{p}\\ DX& =\frac{1-p}{p^2}\end{array}$

超几何分布

  总共有 $N$ 个球，其中有 $M$个是红色的，是从中不放回地取$n$个球，其中有 $k$ 个是红球的概率。

$\begin{array}{rl}X& \sim H(n,N,M)\\ P\{X=k\}& =\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n},(k⩽\min \{M,n\})\\ EX& =n\frac{M}{N}\\ DX& =n\frac{M}{N}\cdot \left(1-\frac{M}{N}\right)\cdot \frac{N-n}{N-1}\end{array}$

连续型分布

均匀分布

$\begin{array}{rl}X& \sim U(a,b)\\ f(x)& =\{\begin{array}{l}\frac{1}{b-a},a<x<b\\ 0,x=\text{ other }\end{array}\\ F(x)& =\{\begin{array}{l}0,x<a\\ \frac{x-a}{b-a},a⩽x<b\\ 1,x⩾0\end{array}\\ EX& =\frac{b+a}{2}\\ DX& =\frac{(b-a{)}^2}{12}\end{array}$

指数分布

  质点间隔时间（与泊松分布相对，比如买东西的两个顾客之间连续的时间间隔）。

$\begin{array}{rl}X& \sim E(\lambda )\\ f(x)& =\{\begin{array}{l}\lambda e^{-\lambda x},x>0\\ 0,x⩽0\end{array}\end{array}$
$\begin{array}{rl}F(x)& =\{\begin{array}{l}1-e^{-\lambda x},x>0\\ 0,x⩽0\\ (\lambda >0)\end{array}\\ EX& =\frac{1}{\lambda }\\ DX& =\frac{1}{{\lambda }^2}\end{array}$

正态分布

  世间万物的终极法则，中心极限定理的归宿。

\begin{aligned}
X & \sim N\left(\mu, \sigma^{2}\right) \
f(x) &=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{1}{2} \frac{(x-\mu)^{2}}{\sigma{2}}} \
E X &=\mu \
D X &=\sigma^{2} \
F(x) &=P{X \leqslant x}=\Phi\left(\frac{x-\mu}{\sigma}\right) \
1 &=F(\mu-x)+F(\mu+x) \
P{a \leqslant X \leqslant b} &=\Phi\left(\frac{b-\mu}{\sigma}\right)-\Phi\left(\frac{a-\mu}{\sigma}\right) \
a X+b & \sim N\left(a \mu+b, a^{2} \sigma^{2}\right)
\end{aligned}

标准正态分布

$\begin{array}{rl}X& \sim N(0,1)\\ f(x)& =\frac{1}{\sqrt{2\pi }}{e}^{-\frac{1}{2}{x}^2}\\ \Phi (0)& =\frac{1}{2}\\ \Phi (-x)& =1-\Phi (x)\\ EX& =0\\ DX& =1\end{array}$

多维随机变量的分布

联合分布函数

$F(x,y)=P\{X⩽x,Y⩽y\}={\sum }_{x_i⩽x}{\sum }_{y_j⩽y}{p}_{ij}$

边缘分布

• 离散情况：

$p_{i.}=P\left\{X=X_i\right\}={\sum }_{j=1}^{n}P\left\{X=x_i,Y=y_j\right\}={\sum }_{j=i}^{\infty }{p}_{ij}(i=1,2,\cdots )$
$p_{.j}=P\left\{Y=Y_j\right\}={\sum }_{i=1}^{n}P\left\{X=x_i,Y=y_j\right\}={\sum }_{i=i}^{\infty }{p}_{ij}(i=1,2,\cdots )$

• 连续情况：
    如果 $X$ 是连续随机变量，其概率密度：

$f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$

概率分布函数与概率密度

$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv$

${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)dxdy=1$

$\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=f(x,y)$

边缘分布函数

$F_x(x)=F(x,+\infty )={\int }_{-\infty }^x\left[{\int }_{-\infty }^{+\infty }f(u,v)dv\right]du$

条件概率密度

设 $(X,Y)\sim f(x,y)$ 边缘概率密度 $f_X(x)>0$
$f_{Y\mid X}(y\mid x)=\frac{f(x,y)}{f_X(x)}$

二维均匀分布

$f(x,y)=\{\begin{array}{l}\frac{1}{S_D},(x,y)\in D\\ 0,\text{ other }\end{array}$

二维正态分布

$(X,Y)\sim N\left({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho \right)$
$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp \left\{-\frac{1}{2\left(1-{\rho }^2\right)}\left[{\left(\frac{x-{\mu }_1}{{\sigma }_1}\right)}^2-2\rho \left(\frac{x-{\mu }_1}{{\sigma }_1}\right)\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)+{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2\right]\right\}$

随机变量函数的分布 (卷积公式)

\begin{tabular}{c}

1. $X+Y$ 分布 \
   $f_Z(z)={\int }_{-\infty }^{+\infty }f(x,z-x)dx={\int }_{-\infty }^{+\infty }f(z-y,y)dy$
   $\stackrel{\text{ 独立 }}{=}{\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(z-x)dx={\int }_{-\infty }^{+\infty }{f}_X(z-y)f_Y(y)dy$

2. $X-Y$ 分布
   $f_1(z)={\int }_{-\infty }^{+\infty }f(x,x-z)dx={\int }_{-\infty }^{+\infty }f(y+z,y)dy$
   $\stackrel{\text{ 独立 }}{=}{\int }_{-\infty }^{+\infty }{f}_X(y+z)f_Y(y)dy$

3. $XY$ 分布
   $f_Z(z)={\int }_{-\infty }^{+\infty }\frac{1}{|x|}f\left(x,\frac{z}{x}\right)dx={\int }_{-\infty }^{+\infty }\frac{1}{|y|}f\left(\frac{z}{y},y\right)dy$
   $\stackrel{\text{ 独立 }}{=}{\int }_{-\infty }^{+\infty }\frac{1}{|x|}{f}_X(x)f_Y\left(\frac{z}{x}\right)dx={\int }_{-\infty }^{+\infty }\frac{1}{|y|}{f}_X\left(\frac{z}{y}\right)f_Y(y)dy$

4. $\frac{X}{Y}$ 分布
   $f_Z(z)={\int }_{-\infty }^{+\infty }|y|f(yz,y)dy$
   $\stackrel{\text{ 独立 }}{=}{\int }_{-\infty }^{+\infty }|y|f_X(yz)f_Y(y)dy$

5. $\max \{X,Y\}$ 分布
   $F_{\max }(z)=P\{\max \{X,Y\}⩽z\}$
   $=P\{X⩽z,Y⩽z\}$
   $=F(z,z)$
   $\stackrel{\text{ 独立 }}{=}{F}_X(z)F_Y(z)$

6. $\min \{X,Y\}$ 分布
   $F_{\min }(z)=P\{\min \{X,Y\}⩽z\}$
   $=P\{\{X⩽z\}\cup \{Y⩽z\}\}$
   $=P\{X⩽z\}+P\{Y⩽z\}-P\{X⩽z,Y⩽z\}$
   $=F_X(z)+F_Y(z)-F(z,z)$
   $\stackrel{\text{ 独立 }}{=}{F}_X(z)+F_Y(z)-F_X(z)F_Y(z)$
   $=1-\left[1-F_X(z)\right]\left[1-F_Y(z)\right]$

常见分布的可加性

$X\sim B(n,p),Y\sim B(m,p)\Rightarrow X+Y\sim B(n+m,p)$
$X\sim P\left({\lambda }_1\right),Y\sim P\left({\lambda }_2\right)\Rightarrow X+Y\sim P\left({\lambda }_1+{\lambda }_2\right)$
$X\sim N\left({\mu }_1,{\sigma }_1^2\right),Y\sim N\left({\mu }_2,{\sigma }_2^2\right)\Rightarrow X+Y\sim N\left({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2\right)$
$X\sim {\chi }^2(n),Y\sim {\chi }^2(m)\Rightarrow X+Y\sim {\chi }^2(n+m)$

随机变量的数字特征

一维随机变量的数字特征

• 期望

$EX={\sum }_{i=1}^{\infty }{x}_i{p}_i$
$EX={\int }_{-\infty }^{+\infty }xf(x)dx$

$\begin{array}{rl}E\left(\sum _{i=1}^n{a}_i{X}_i\right)& =\sum _{i=1}^n{a}_{i}E{X}_i\\ Ec& =c\\ E(aX+c)& =aEX+c\\ E(X\pm Y)& =EX\pm EY\\ E(XY)& \stackrel{\text{ 独立 }}{=}EXEY\end{array}$

• 方差

$\begin{array}{rl}DX& =\mathrm{Var}(X)=E(X-EX{)}^2=E\left(X^2\right)-(EX{)}^2\\ D(aX+b)& =a^{2}DX\\ D(X\pm Y)& =DX+DY\pm 2\mathrm{Cov}(X,Y)\\ E\left(X^2\right)& =DX+(EX{)}^2\\ X^{\ast }& =\frac{X-EX}{\sqrt{DX}}\\ DX& =E(X-EX{)}^2⩽E(X-c{)}^2\end{array}$

如果 $X,Y$ 独立:
$$\begin{array}{rl}D(aX+bY)& =a^{2}DX+b^{2}DY\\ D(XY)& =DX\cdot DY+DX(EY{)}^2+DY(EX{)}^2⩾DX\cdot DY\end{array}$$

多维随机变量的数字特征

$\begin{array}{rl}\mathrm{Cov}(X,Y)& =E((X-EX)(Y-EY))=E(XY)-EXEY\\ {\rho }_{XY}& =\frac{\mathrm{Cov}(X,Y)}{\sqrt{DX}\sqrt{DY}}\end{array}$

$E(XY)=\{\begin{array}{l}{\sum }_i{\sum }_j{x}_i{y}_{j}P\left\{X=x_i,Y=y_j\right\}\text{ 离散型 }\\ {\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xyf(x,y)dxdy\text{ 连 续型 }\end{array}$

• 对称性

$\begin{array}{rl}\mathrm{Cov}(X,Y)& =\mathrm{Cov}(Y,X)\\ {\rho }_{XY}& ={\rho }_{YX}\\ \mathrm{Cov}(X,X)& =DX\\ {\rho }_{XX}& =1\end{array}$

• 线性性

$$\begin{array}{rl}\mathrm{Cov}(X,c)& =0\\ \mathrm{Cov}(aX+b,Y)& =a\mathrm{Cov}(X,Y)\\ \mathrm{Cov}\left(X_1+X_2,Y\right)& =\mathrm{Cov}\left(X_1,Y\right)+\mathrm{Cov}\left(X_2,Y\right)\end{array}$$

• 相关系数有界性

$\left|{\rho }_{XY}\right|⩽1$
如果 $Y=aX+b$ 则:
$${\rho }_{XY}=\{\begin{array}{l}1,a>0\\ -1,a<0\end{array}$$

大数定律与中心极限定理

切比雪夫不等式

  如果随机变量 $X$ 的方差 $DX$ 存在, 则对任意 $\epsilon >0$ 有:
$P\{|X-EX|⩾\epsilon \}⩽\frac{DX}{{\epsilon }^2}$
$P\{|X-EX|<\epsilon \}⩾1-\frac{DX}{{\epsilon }^2}$

切比雪夫大数定律

  假设 $\left\{X_n\right\}(n=1,2,\cdots )$ 是相互独立的随机变量序列, 如果方差 $D{X}_k(k⩾1)$ 存在且一致有上界, 即存在 常数 $C$ 使 $D{X}_k⩽C$ 对一切 $k⩾1$ 均成立, 则 $\left\{X_n\right\}$ 服从大数定律:
$\frac{1}{n}{\sum }_{i=1}^n{X}_i\stackrel{P}{\to }\frac{1}{n}{\sum }_{i=1}^{n}E{X}_i$

伯努利大数定律

  假设 ${\mu }_n$ 是 $n$ 重伯努利试验中事件 $A$ 发生的次数，在每次试验中事件 $A$ 发生的概率为 $p(0<p<1)$, 则 $\frac{{\mu }_n}{n}\stackrel{P}{\to }p,$ 即对任意 $\epsilon >0$ 有:
${\lim }_{n\to \infty }P\left\{\left|\frac{{\mu }_n}{n}-p\right|<\epsilon \right\}=1$

辛钦大数定律

  假设 $\left\{X_n\right\}$ 是独立同分布的随机变量序列, 如果 $E{X}_n=\mu$ 存在, 则 $\frac{1}{n}{\sum }_{i=i}^n{X}_i\stackrel{P}{\to }\mu ,$ 即对任意 $\epsilon >0$ 有:
${\lim }_{n\to \infty }P\left\{\left|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\mu \right|<\epsilon \right\}=1$

列维-林德伯格定理

  假设 $\left\{X_n\right\}$ 是独立同分布的随机变量序列, 如果 $E{X}_n=\mu ,D{X}_n={\sigma }^2>0(n⩾0)$ 存在, 则 $\left\{X_n\right\}$ 服从 中心极限定理, 即对任意的实数 $x$ 有:
${\lim }_{n\to \infty }P\left\{\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }⩽x\right\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt=\Phi (x)$

棣莫弗-拉普拉斯定理

  假设随机变量 $Y_n\sim B(n,p)(0<p<1,n⩾1),$ 则对任意实数 $x,$ 有:
${\lim }_{n\to \infty }\left\{\frac{Y_n-np}{\sqrt{np(1-p)}}⩽x\right\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt=\Phi (x)$

数理统计与分布

样本统计量

• 样本均值

$\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$

• 样本方差

$S^2=\frac{1}{n-1}{\sum }_{i=1}^n{\left(X_i-\bar{X}\right)}^2=\frac{1}{n-1}\left({\sum }_{i=1}^n{X}_i^2-n{\bar{X}}^2\right)$

• 样本标准差

$S=\sqrt{\frac{1}{n-1}{\sum }_{i=1}^n{\left(X_i-\bar{X}\right)}^2}$

• 样本 $k$ 阶原点矩

$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k(k=1,2,\cdots )$

• 样本 $k$ 阶中心矩

$B_k=\frac{1}{n}{\sum }_{i=1}^n{\left(X_i-\bar{X}\right)}^k(k=1,2,\cdots )$

顺序统计量 (次序统计量)

  将样本 $X_1,X_2,\cdots ,X_n$ 的 $n$ 个观测量按其取值从大到小的顺序排列得:
$X_{(1)}⩽X_{(2)}⩽\cdots ⩽X_{(n)}$

  随机变量 $X_{(k)}(k=1,2,\cdots ,n)$ 称作 第k顺序统计量, 其中 $X_{(1)}$ 是最小观测量, 而 $X_{(n)}$ 是最大观测量。

$X_{(1)}=\min \left\{X_1,X_2,\cdots ,X_n\right\}\to F_{(1)}(x)=1-[1-F(x){]}^n$

$X_{(n)}=\max \left\{X_1,X_2,\cdots ,X_n\right\}\to F_{(n)}(x)=[F(x){]}^n$

常用统计量的性质

$\begin{array}{rl}E{X}_i& =\mu \\ D{X}_i& ={\sigma }^2\\ E\bar{X}& =EX=\mu \\ D\bar{X}& =\frac{1}{n}DX=\frac{{\sigma }^2}{n}\\ E\left(S^2\right)& =DX={\sigma }^2\end{array}$

三大分布

卡方分布

  若随机变量 $X_1,X_2,\cdots ,X_n$ 相互独立，且都服从标准正态分布，则随机变量
$$X=\sum _{i=1}^n{X}_i^2$$
  服从自由度为 $n$ 的 ${\chi }^2$ 分布, 记为 $X\sim {\chi }^2(n),$ 特别地, $X_i\sim {\chi }^2(1)$ 。
对给定的 $\alpha (0<\alpha <1)$ 称满足:
$$P\left\{{\chi }^2>{\chi }_{\alpha }^2(n)\right\}={\int }_{{\chi }_{\alpha }^2(n)}^{+\infty }f(x)dx=\alpha$$
的 ${\chi }_{\alpha }^2(n)$ 为 ${\chi }^2(n)$ 分布的 上\alpha分位点。

  若 $X_1\sim {\chi }^2\left(n_1\right),X_2\sim {\chi }^2\left(n_2\right),X_1$ 与 $X_2$ 相互独立, 则 $X_1+X_2\sim {\chi }^2\left(n_1+n_2\right)$

  若 $X\sim {\chi }^2(n),$ 则 $EX=n,DX=2n$

t分布

  设随机变量 $X\sim N(0,1),Y\sim {\chi }^2(n),X$ 与 $Y$ 相互独立, 则随机变量:
$t=\frac{X}{\sqrt{Y/n}}$

服从自由度为 $n$ 的 t分布, 记为 $t\sim t(n)$

• t分布的性质

$P\left\{t>-t_{\alpha }(n)\right\}=P\left\{t>t_{1-\alpha }(n)\right\}$

F分布

  设随机变量 $X\sim {\chi }^2\left(n_1\right),Y\sim {\chi }^2\left(n_2\right),X$ 与 $Y$ 相互独立, 则随机变量：
$f=\frac{X/n_1}{Y/n_2}$

服从自由度为 $n_1,n_2$ 的队分布, 记为 $F\sim F\left(n_1,n_2\right)$

• F分布的性质

$X\sim F\left(n_1,n_2\right)\Rightarrow \frac{1}{X}\sim F\left(n_2,n_1\right)$
$F_{1-\alpha }\left(n_1,n_2\right)=\frac{1}{F_{\alpha }\left(n_2,n_1\right)}$

正态总体条件

  设 $X_1,X_2,\cdots ,X_n$ 是取自正态总体 $N\left(\mu ,{\sigma }^2\right)$ 的一个样本, $\bar{X},S^2$ 分别是样本的均值和方差, 则:
$\bar{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right)$

$\frac{\bar{X}-\mu }{\frac{\sigma }{\sqrt{n}}}=\frac{\sqrt{n}(\bar{X}-\mu )}{\sigma }\sim N(0,1)$

$\frac{1}{{\sigma }^2}{\sum }_{i=1}^n{\left(X_i-\mu \right)}^2\sim {\chi }^2(n)$

$\frac{(n-1)S^2}{{\sigma }^2}={\sum }_{i=1}^n{\left(\frac{X_i-\bar{X}}{\sigma }\right)}^2\sim {\chi }^2(n-1)$

  $\bar{X}$ 与 $S^2$ 相互独立:

$\frac{\sqrt{n}(\bar{X}-\mu )}{S}\sim t(n-1)$

$\frac{n(\bar{X}-\mu {)}^2}{S^2}\sim F(1,n-1)$

  设 $X_1,X_2,\cdots ,X_m$ 和 $Y_1,Y_2,\cdots ,Y_n$ 来自两个正态总体 $X\sim N\left({\mu }_1,{\sigma }_1^2\right),Y\sim N\left({\mu }_2,{\sigma }_2^2\right)$ 且相互独立，$\bar{X},\bar{Y},S_X^2,S_Y^2$ 相互独立 。

$\bar{X}-\bar{Y}\sim N\left({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}\right)$

$\frac{(\bar{X}-\bar{Y})-\left({\mu }_1-{\mu }_2\right)}{\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}}\sim N(0,1)$

$\frac{{\sum }_{i=1}^m{\left(X_i-{\mu }_1\right)}^2/m{\sigma }_1^2}{{\sum }_{i=1}^n{\left(Y_i-{\mu }_2\right)}^2/n{\sigma }_2^2}\sim F(m,n)$

$\frac{S_X^2/{\sigma }_1^2}{S_Y^2/{\sigma }_2^2}=\frac{{\sum }_{i=1}^m{\left(X_i-\bar{X}\right)}^2/(m-1){\sigma }_1^2}{{\sum }_{i=1}^n{\left(Y_i-\bar{Y}\right)}^2/(n-1){\sigma }_2^2}\sim F(m-1,n-1)$

参数估计

矩估计

  令样本矩 $=$ 总体矩, 写出 $\theta$ 表达式。
  将样本均值, 近似等于总体均值, 进而利用样本均值来代替总体期望, 然后利用该期望求得其他未知参数。

极大似然估计

  写出似然函数:
$$L(\theta )=L\left(x_1,x_2,\cdots ,x_n;\theta \right)=\prod _{i=1}^{n}f\left(x_i;\theta \right)$$
  可能的话, 对 $\theta$ 求导, 导数赋值为0;
  求处L函数最大值时, $\theta$ 的代数式。

正态分布关于 $\mu$ 和 ${\sigma }^2$ 的矩估计和 极大似然估计相等 $\hat{\mu }=\bar{X},{\hat{\sigma }}^2=\frac{{\sum }_{i=1}^n{\left(X_i-\bar{X}\right)}^2}{n}$
指数分布 关于 $\lambda$ 的 矩估计 和 极大似然估计 相等 $\hat{\lambda }=1/\bar{X}$
二项分布 关于 $p$ 的 矩估计 和 极大似然估计 相等 $\hat{p}=\bar{X}/n$
泊松分布 关于 $\lambda$ 的 矩估计和 极大似然估计 相等 $\hat{\lambda }=\bar{X}$

估计量的评价标准

• 无偏性
  若参数 $\theta$ 的估计量 $\hat{\theta }=\hat{\theta }\left(X_1,X_2,\cdots ,X_n\right)$ 对一切 $n$ 及 $\theta \in \Theta$ 有 $E(\hat{\theta })=\theta ,$ 则称 $\hat{\theta }$ 为 $\theta$ 的 无偏估计 量, 否则为 有偏估计量。

• 有效性
  $\begin{array}{rl}& \text{ 设 }{\hat{\theta }}_1={\hat{\theta }}_1\left(X_1,X_2,\cdots ,X_n\right)\text{ 与 }\widehat{{\theta }_2}=\widehat{{\theta }_2}\left(X_1,X_2,\cdots ,X_n\right)\text{ 都是 }\theta \text{ 的无偏估计量, 如果 }D\left(\widehat{{\theta }_1}\right)<D\left(\widehat{{\theta }_2}\right)\text{ , }\\ & \text{ 则称 }{\hat{\theta }}_1\text{ 比 }\widehat{{\theta }_2}\text{ 有效。。 }\end{array}$

• 一致性
  $\begin{array}{rl}& \text{ 设 }\hat{\theta }=\hat{\theta }\left(X_1,X_2,\cdots ,X_n\right)\text{ 为末知参数 }\theta \text{ 的估计量, 如果对任意 }\epsilon >0\text{ 有 }\\ & \underset{n\to \infty }{\lim }P\{|\hat{\theta }-\theta |<\epsilon \}=1\\ & \text{ 即 }\hat{\theta }\stackrel{P}{\to }\theta (n\to \infty ),\text{ 则称 }\hat{\theta }\text{ 为 }\theta \text{ 的一致估计量。 }\end{array}$

参数的区间估计

  设 $\theta$ 是总体 $X$ 的一个未知参数, 对于给定 $\alpha (0<\alpha <1),$ 如果由样本 $X_1,X_2,\cdots ,X_n$ 确定的统计量 ${\hat{\theta }}_1={\hat{\theta }}_1\left(X_1,X_2,\cdots ,X_n\right),{\hat{\theta }}_2={\hat{\theta }}_2\left(X_1,X_2,\cdots ,X_n\right)$ 使
$$P\left\{{\hat{\theta }}_1\left(X_1,X_2,\cdots ,X_n\right)<\theta <{\hat{\theta }}_2\left(X_1,X_2,\cdots ,X_n\right)\right\}=1-\alpha$$
  则称随机区间 $\left({\hat{\theta }}_1,\widehat{{\theta }_2}\right)$ 是 $\theta$ 置信度为 $1-\alpha$ 的 置信区间。
  ${\hat{\theta }}_1$ 和 ${\hat{\theta }}_2$ 分别称为 $\theta$ 的置信度为 $1-\alpha$ 的双侧置信区间的 置信下限 和 置信上限。
  $1-\alpha$ 称为 置信度或 置信水平, $\alpha$ 称为 显著性水平或 误判风险。

假设检验

• $H_0$ 原假设, 包含等于, 一般保护原假设, 需要有充分的证据才能拒绝原假设。
• $H_1$ 备择假设。
• 第一类错误：原假设为真时，拒绝（本来应该不拒绝)。
• 第二类错误：原假设为假时，不拒绝（本来应该拒绝）。

  第一类错误和第二类错误是此消彼长的关系；另外这里用 不拒绝 比 接受 更加准确，接受是一种不得已的接受。

  原假设是在一次试验中有 绝对优势 出现的事件，而备择假设在一次试验中不易发生(或几乎不可能发生)的事件。因此，在进行单侧检验时，最好把原假设取为预想结果的反面，即把希望证明的命题放在备择假设上。

  将可能犯的严重错误看作第一类错误，因为犯第一类错误的概率可以通过 $\alpha$ 的大小来控制。犯第二类错误的概率是无法控制的。

  如审判犯人时，可能会犯有罪判成无罪 或者 无罪判成有罪 的错误，相比较而言，无罪判成有罪 的错误更严重，因为一般需要有充分的证据才能判一个人有罪。

${\chi }^2$ 检验

$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$ 可以在不知道总体均值 $\mu$ 的情况下, 来假设总体方差 ${\sigma }^2$

T 检验

$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$ 可以在不知道总体方差 ${\sigma }^2$ 的情况下, 来假设总体的均值 $\mu$

F 检验
$$\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1-1,n_2$$