概率论知识总结

[编辑中，未完]

基本概念

随机试验

• 可以在相同条件下重复进行
• 每次实验的可能结果不止一个，并且能事先证明实验的所有可能
• 进行一次实验之前不能确定哪一个结果会出现

样本空间

将随机试验 $E$ 的所有可能结果组成的集合称为 $E$ 的 样本空间，记为 $S$
样本空间中的元素，即 $E$ 的每个结果，称为 样本点

随机事件

称试验 $E$ 的样本空间 $S$ 的子集为 $E$ 的 随机事件，简称 事件
每次试验，iff 这一子集中的一个样本点出现时，称事件发生
有一个样本点组成的单点集，称基本事件
样本空间 $S$ 包含所有样本点，每次试验中总发生，称必然事件
空集 $\varnothing$ 不包含任何样本点，每次试验都不发生，称不可能事件

事件运算

若 $A\subset B$，称 事件B包含事件A，A发生必导致B发生
若 $A\subset B,B\subset A$，即$A=B$，称 相等
若 $A\cup B=\{x|x\in Aorx\in B\}$,称 和事件
若 $A\cap B=\{x|x\in Aandx\in B\}$,称 积事件，也记 $AB$
若 $A-B=\{x|x\in Aandx\notin B\}$ 称为差事件，A发生B不发生
若 $A\cap B=\varnothing$，称 互斥 ，且$A\cup B=S$，AB互为 逆事件，又称 对立事件

• 满足定律
  交换律，结合律，分配率
  德摩根定律(De Morgan’s laws) : $\overline{A\cup B}=\overline{A}\cap \overline{B}$ ; $\overline{A\cap B}=\overline{A}\cup \overline{B}$

频率

n次实验中，事件发生次数 $n_A$，称 频数，$\frac{n_A}{n}$称 频率

概率

对 $E$ 的每一件事 $A$ 赋予一个实数，记为 $P(A)$，称为事件A的 概率
满足：非负性；规范性（必然事件 $S$,$P(S)=1$）；可列可加性（若 $A_i{A}_j=\varnothing$，有 $P(\bigcup A_i)=\sum P(A_i)$）

性质

1. $P(\varnothing )=0$
2. （有限可加性）可列可加性
3. $P(B-A)=P(B)-P(A);P(B)\ge P(A)$
4. $P(A)\le 1$
5. （逆事件）$P(\overline{A})=1-P(A)$
6. （加法公式）$P(A\cup B)=P(A)+P(B)-P(AB)$

等可能（古典）

$S$ 包含有限元素，每个事件可能性相同，称等可能概型（古典概型）(Equally Likely Outcomes Model)

条件概型

在事件 $A$ 发生的条件下事件 $B$ 发生 ，称 条件概率(Conditional Probability)，$P(B|A)=\frac{P(AB)}{P(A)}$ （A已发生，B多大可能发生）
可得 $P(AB)=P(B|A)P(A)$ （乘法公式）

全概率公式

$P(A)=P(A|B)P(B)+P(A|\overline{B})P(\overline{B})$
$P(A)=\sum P(A|B_i)P(B_i)$（把每个在不同情况下目标事件发生的概率加起来就是目标事件总的发生概率）(Total Probability)

贝叶斯

$P(B|A)=\frac{P(AB)}{A}=\frac{P(A|B)P(B)}{P(A|B)P(B)+p(A|\overline{B})P(\overline{B})}$

$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum P(B_j)P(A|B_j)}$ （已知结果，问导致这个结果的第 $i$ 原因的可能性是多少）(Bayes’ Theorem)
$P(B)$为以往数据已知的 先验概率，$P(B|A)$为根据修正后的 后验概率

独立

$P(AB)=P(A)P(B)$，称 相互独立(Independents)，相互独立 与 互不相容不能同时成立

1. $P(B|A)=P(B)$，AB相互独立
2. 若AB独立，则$A-\overline{B},\overline{A}-B,\overline{A}-\overline{B}$也相互独立
   一般的，任意 $n$ 个事件的积事件等于各事件概率之积，称相互独立

随机变量

• PDF (Probability Density Function) 概率密度函数 也称为连续概率分布 ，记作 $f(x)$ ，有 $\displaystyle f(x)\geq 0~&\int f(x)=1 $
• CDF (Cumulative Distribution Function) 累积分布函数: 记作$F_X(x)=P(X\le x)={\int }_{-\infty }^{+\infty }{f}_X(t)dt$
• PMF (Probability Mass Function) 概率质量函数 也称为离散概率分布
• PF (Probability Function) 分布律

离散型随机变量

可取值或可列无限多个，称 离散型随机变量(Discrete Random Variable)

(0-1)分布

随机变量 $X$ 只取0或1 , 分布律为$P\{X=k\}=p^k(1-p{)}^{(1-k)}$

伯努利分布

$E$ 只有两种结果：$A,\overline{A}$，称 $E$ 为 伯努利试验(Bernoulli)，将 $E$ 独立重复进行 $n$ 次，称 重伯努利试验

二项分布

若 $E$ 为 $n$ 重伯努利试验，每次成功概率为 $p$ ， $X$ 代表成功次数，则 $X$ 的PF称 二项分布(Binomal Distribution)，记 $X\backsim B(n,p)$
pmf为：$P(X=k)=C_n^k{p}^k(1-p{)}^{(n-k)}$
伯努利分布是二项分布在 $n=1$ 时的特例

泊松分布

$P\{X=k\}=\frac{{\lambda }^k{e}^{-\lambda }}{k!},\lambda >0$ 称 泊松分布(Poisson Distribution)，记作 $X\sim P(x)$，$\lambda$ 是单位时间内随机事件的平均发生次数
泊松分布适合于描述单位时间内随机事件发生的次数
泊松分布的 期望 和 方差 均为 $\lambda$

超几何分布

从有限 $N$ 个物件（其中包含 $M$ 个指定种类的物件）中抽出 $n$ 个物件，成功抽出该指定种类的物件的次数（不放回），称 超几何分布(Hypergeometic Distribution)，记 $X\sim H(N,M,n)$
随机抽取 $n$ 件产品抽查，发现 $k$ 件中不合格的概率为 $P(X=k)=\frac{C_M^k{C}_{N-M}^{m-k}}{C_N^m}$
数学期望为 $EX=\frac{nM}{N}$

连续随机变量

对于 $X$ 的分布函数 $F(x)$，存在非负可积函数 $f(x)$ ，则称 $X$ 为 连续随机变量(Continuous Random Variable)

均匀分布

Uniform Distribution PDF:
$$f(x)=\{\begin{array}{llc}& \frac{1}{b-a}& a<x<b\\ & 0& otherwise\end{array}$$
记作$X\sim U(a,b)$
THe CDF is
$$F(x)={\int }_{-\infty }^{x}f(t)dt=\{\begin{array}{ll}0& x<a\\ \frac{x-a}{b-a}& a\le x\le b\\ 1& x>b\end{array}$$

指数分布

Exponential distribution PDF:
$$f(x)=\{\begin{array}{llc}& \frac{1}{\theta }{e}^{-\frac{x}{\theta }}& x>0\\ & 0& otherwise\end{array}$$
当 $\theta >0$ 是常数.记作$X\sim E(\theta )$
The CDF is:
$$F(x)=\{\begin{array}{ll}1-e^{-\frac{x}{\theta }}& x>0\\ 0& x>b\end{array}$$
对于 $s,t>0$,有 $P(X>s+t|X>s)=P(X>t)$ .称 无记忆性(Memoryless property)

正态分布

Normal Distribution PDF:
$$f(x)=\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
当 $-\infty <\mu <+\infty ,\sigma >0$ 是常数.记作$X\sim N(\mu ,{\sigma }^2)$
第一参数 $\mu$ 是服从正态分布的随机变量的均值，描述位置参数，描述正态分布的集中趋势位置
第二个参数 ${\sigma }^2$ 是此随机变量的方差，描述离散程度，越大越分散越扁平
图像关于 $x=\mu$ 对称,有 $h>0$,$P(\mu -h<X\le \mu )=P(\mu <x\le \mu +h)$
当 $x=\mu$ 有最大值 $f(\mu )=\frac{1}{\sqrt{2\pi \sigma }}$
$\sigma$ 越小图形约尖
当 $\mu =0,\sigma =1$ 时，为 标准正态分布(standard normal distribution)

• 通过线性变换,将一般正态分布变换为标准正态分布 $Z=\frac{X-\mu }{\sigma }\sim N(0,1)$

对于标准正态随机变量，若$z_{\alpha }$ 满足 $P(X>z_{\alpha })=\alpha (0<\alpha <1)$ ，称 $\alpha$ 分位点

多维随机变量

若 $(X,Y)$ 是二维随机变量，对于 $F(X,Y)=P\{(X\le x)\cap (Y\le y)\}$ 称$XY$的 联合分布函数(Joint Distribution Function)，称 $P(X=x_i,Y=y_i)=P_{ij}$ 为 联合分布律
存在可积函数有 $F(x,y)=\int \int f(x,y)dxdy$，则称$(X,Y)$ 是 连续型二维随机变量，$f(x,y)$ 称 联合密度函数

边缘分布

有二维随机变量 $(X,Y)$ ， $X$ $Y$ 各自有分布函数，分别记作$F_X(x),F_Y(y)$，称 边缘分布函数(Marginal Distribution)，称 $f_X(x),f_Y(y)$ 为 边缘密度函数()
令 $(y\to \infty )$，$F_X(x)=P(X\le x)=P(X\le x,Y<\infty )=F(x,\infty )$，同理 $F_Y(y)=F(\infty ,y)$

• $F_X(x)={\int }_{-\infty }^x[{\int }_{-\infty }^{+\infty }f(x,y)dy]dx$
• $F_Y(y)={\int }_{-\infty }^y[{\int }_{-\infty }^{+\infty }f(x,y)dx]dy$
• $f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$
• $f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$

条件分布

对于固定的 $j$ ，$P(X=x_i|Y=y_j)=\frac{P(X=x_i,Y=y_j)}{P(Y=y_j)}=\frac{p_{ij}}{p_j}$ 为在 $Y=y_j$ 条件下 $X$ 的条件分布律
对于固定的 $y$ ，$f_Y(y)>0$ ，则称 $\frac{f(x,y)}{f_Y(y)}$ 为 $Y=y$ 条件下 $X$ 的条件概率密度，记为 $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$ ，称 ${\int }_{-\infty }^x{f}_{X|Y}(x|y)dx={\int }_{-\infty }^x\frac{f(x,y)}{f_Y(y)}$ 为 $Y=y$ 条件下 $X$ 的条件分布函数

• 若有 $F(x,y)=F_X(x)F_Y(y)$ ，即 $P(X\le x,Y\le y)=P(X\le x)P(Y\le y)$则相互独立

两个随机变量的函数分布

• $Z=X+Y$

The PDF is $f_{X+Y}(z)=f_Z(z)={\int }_{-\infty }^{+\infty }f(x,z-x)dx={\int }_{-\infty }^{+\infty }f(z-y,x)dy$
The CDF is $F_Z(z)=P(Z\le z)={\iint }_{x+y\le z}f(x,y)dxdy$

• $Z=\frac{X}{Y}$
• $Z=XY$
• $M=\max \{X,Y\}\&N=\min \{X,Y\}$

数字特征

期望

设 离散 随机变量 $X$ 的分布律为 $P(X=x_k)=p_k$ ，若级数 $\sum x_k{p}_k$ 绝对收敛，称其和为 $X$ 的 数学期望(expectation)，记 $E(X)$
设 连续 随机变量 $X$ 的PDF为 $f(x)$，若积分 $\int xf(x)dx$ 绝对收敛，则为数学期望。

• (0-1)分布期望：
• 二项分布期望：
• 泊松分布期望：
  满足性质：
• $EC=C$
• $E(CX)=CE(X)$
• $E(X+Y)=EX+EY$
• KaTeX parse error: Undefined control sequence: \* at position 9: E(XY)=EX\̲*̲EY 当相互独立

方差

称 $E\{[X-E(X){]}^2\}$ 为 $X$ 的方差，记为 $D(X)$ 或 $Var(X)$。
对于 离散 变量，有 $D(X)=\sum [x_k-E(X{)}^2]p_k$ ，对于 连续 变量 $D(X)=\int [x-E(X){]}^{2}f(x)$
公式： $D(X)=E(X^2)-[E(X){]}^2$
有 $E(X)=\mu ,D(X)={\sigma }^2$，记 $X^{\ast }=\frac{X-\mu }{\sigma }$为 标准化变量

• ？？？

满足性质：

• $D(C)=0$
• $D(CX)=C^{2}D(X),D(X+C)=D(X)$
• $D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(E-E(Y))\}$，当相互独立有 $D(X+Y)=D(X)+D(Y)$
• $P(X=E(X))=1$

引入 $\sqrt{D(X)}$ 记为 $\sigma (X)$，称为 标准差 或均方差

协方差

定义 $Cov(X,Y)=E([X-E(X)][Y-E(Y)])$ 为 协方差(Covariance)
易得 $Cov(X,Y)=Cov(Y,X),Cov(X,X)=D(X)$ ，展开定义有 $Cov(X,Y)=E(XY)-E(X)E(Y)$
有性质：

• $Cov(aX,bY)=abCov(X,Y)$
• $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

相关系数

${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$ 称 相关系数(Correlation Coefficient)
有 $|{\rho }_{XY}|<1$ ，$P(Y=a+bX)=1$
（引入 均方误差 $e=E[(Y-(a+bX){)}^2]=(1-{\rho }_{XY}^2)D(Y)$）
当 $|{\rho }_{XY}|$ 较大时，$e$ 较小，$X,Y$ 线性关系较紧密，线性相关程度较大，当 $|{\rho }_{X,Y}|=0$，称 不相关

协方差矩阵

若 $E(X^k)$ 存在，称 $k$ 阶原点矩，简称 k阶矩
若 $E(X^k{Y}^l)$存在，称 $k+l$ 阶混合矩
若 $E([X-E(X){]}^k[Y-E(Y){]}^l)$ 存在，称 $k+l$ 阶混合中心矩
显然期望为一阶原点矩，方差是二阶中心矩，协方差是二阶混合中心矩
若 $c_{ij}=Cov(X_i,X_j)=E([X_i-E(X_i)][X_j-E(X_j)])$ 存在，则 $\mathbf{C}$ 称协方差矩阵

大数定理 $\&$ 中心极限

简单而言，大数定律讲的是样本均值收敛到总体均值（就是期望），而中心极限定理告诉我们，当样本量足够大时，样本均值的分布慢慢变成正态分布
设 $X_i$ 相互独立

切比雪夫大数定律

若存在常数 $C$ 使得 $D(X_k)\le C$ 则对于任意小的正数 $ϵ$ ，满足
$$\underset{n\to \infty }{\lim }P\{|\frac{1}{n}\sum x_k-\frac{1}{n}\sum E{x}_k|<ϵ\}=1$$
数学意义：算数平均值依概率收敛于数学期望；随着样本容量n的增加，样本平均数将接近于总体平均数。

伯努利大数定律

设 $f_A$ 是 $n$ 次重伯努利试验中事件发生次数，$p$ 是发生概率，对于任意小的正数 $ϵ$ ，满足
$$\underset{n\to \infty }{\lim }P\{|\frac{f_A}{n}-p|<ϵ\}=1or0$$
数学意义：频率依概率收敛于统计概率

辛钦大数定

律服从同一分布，且具有数学期望 $E(X_k)=\mu$ ，作前 $n$ 个变量的算术平均 $\frac{1}{n}\sum X_k$ ，
$$\underset{n\to \infty }{\lim }P\{|\frac{1}{n}\sum X_k-\mu |<ϵ\}=1$$
数学意义：算数平均值稳定于数学期望的确切解释

马尔可夫不等式

设 $X$ 为一非负随机变量，则 $P(X\ge a)\le \frac{EX}{a}$，称 马尔可夫不等式(Markov inequality)

切比雪夫不等式

存在 $ϵ$，s.t. $P(|X-\mu |\ge ϵ)\le \frac{{\sigma }^2}{{ϵ}^2}$，称 切比雪夫不等式(chebyshev’s inequality)

独立同分布的$\text{Levi-Lindeberg}$中心极限定理

设随机变量相互独立且具有数学期望 $E(x_k)=\mu ,D(X_k)={\sigma }^2$ 则随机变量之和 $\sum X_k$的标准化变量
$$Y_n=\frac{\sum X_k-E(\sum X_k)}{\sqrt{D(\sum X_k)}}=\frac{\sum X_k-n\mu }{\sqrt{n}\sigma }$$
的PDF $F_n(x)$对于任意 $x$ 满足
$$\underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P\{\frac{\sum X_k-n\mu }{\sqrt{n}\sigma }\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt$$
当 $n$ 足够大的时候，可以把任何一个期望方差存在的分布，搞成一个正态分布

$\text{De Moivre-Laplace}$定理

De Moivre-Laplace 定理其实就是 Levi-Lindeberg 的特殊情况。
设 ${\eta }_n\sim B(n,p)$ ，有
$$\underset{n\to \infty }{\lim }P\{\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)$$
实际就是在把一个二项分布，尝试转为正态分布去研究；正态分布是二项分布的极限分布。

抽样分布

随机样本

总体：实验全部可能的观察值
个体：每一个可能的观察值
容量：总体中所包含的个体数
有限/无限总体：容量有限/无限
$Def:$ 设 $X$ 是具有分布函数 $F$ 的随机变量，若 $X_i$ 是具有相同 $F$ ，相互独立的随机变量，则称 $X_i$ 为从 $F$ （或总体 $F$ ，或总体 $X$）得到的容量为 $n$ 的简单随机样本，简称样本，观察值 $x_i$ 称 样本值，又称为 $X$ 的 $n$ 个 独立的观察值
由定义得：若 $X_i$ 为 $F$ 的一个样本，则相互独立。所以PDF为 $\prod F(x_i)$ ，CDF为 $\prod f(x_i)$

直方图和箱线图

略

抽样分布

设 $X_i$ 是一个样本，$g(X_i)$ 是 $X_i$ 的一个函数，则称 $g(X_i)$ 是一个 统一量

	定义	观察值
样本平均值	$\overline{X}=\frac{1}{n}\sum X_i$	$\overline{x}=\frac{1}{n}\sum x_i$
样本方差	$S^2=\frac{1}{n-1}\sum (X_i-\overline{X}{)}^2=\frac{1}{n-1}(\sum \ast X_i-n\overline{X}{)}^2$	$s^2=\frac{1}{n-1}\sum (x_i-\overline{x}{)}^2=\frac{1}{n-1}(\sum x_i^2-n{\overline{x}}^2)$
样本标准差	$S=\sqrt{S^2}$	$s=\sqrt{s^2}$
样本 $k$ 阶（原点）矩：	$A_k=\frac{1}{n}\sum X_i^k$	$a_k=\frac{1}{n}\sum x_i^k$
样本 $k$ 阶中心矩	$B_k=\frac{1}{n}\sum (X_i-\overline{X}{)}^k$	$b_k=\frac{1}{n}\sum (x_i-\overline{x}{)}^k$

定义 经验分布函数 ，用$S(x)$ 表示 $X_i$ 中不大于 $x$ 的随机变量个数。经验分布函数 $F_n=\frac{1}{n}S(x)$

${\chi }^2$ 分布

设 $X_i$ 是来自总体 $N(0,1)$ 的样本，则称统计量 ${\chi }^2=\sum X_i^2$ 服从自由度为 $n$ 的 ${\chi }^2$分布，记作 ${\chi }^2\sim {\chi }^2(n)$，自由度 指包含独立变量个数，PDF为
$$f(x)=\{\begin{array}{llc}& \frac{1}{2^{n/2}\Gamma (n/2)}{y}^{n/2-1}{e}^{-\frac{-y}{2}}& y>0\\ & 0& otherwise\end{array}$$

• 可加性
  设${\chi }_1^2\sim {\chi }^2(n),{\chi }_2^2\sim {\chi }^2(n)$，并且相互独立，则有 ${\chi }_1^2+{\chi }_2^2\sim {\chi }^2(n_1+n_2)$
• 数学期望和方差
  $E({\chi }^2)=n,D({\chi }^2)=2n$
• 分位点
  ？？？

$t$ 分布

设 $X\sim N(0,1),Y\sim {\chi }^2(n)$，且相互独立，则称 $t=\frac{X}{\sqrt{Y/n}}$ 服从自由度为 $n$ 的t分布，记作 $t\sim t(n)$又称 学生氏(Student)分布，PDF为
$$h(t)=\frac{\Gamma [(n+1)/2]}{\sqrt{\pi n}\Gamma (n/2)}(1+\frac{t^2}{n}{)}^{-(n+1)/2}$$

• 分位点

$F$ 分布

设 $U\sim {\chi }^2(n_1),V\sim {\chi }^2(n_2)$且相互独立，则称 $F=\frac{U/n_1}{V/n_2}$ 服从自由度为 $(n_1,n_2)$的 $F$ 分布，记作 $F\sim F(n_1,n_2)$，PDF为
$$\psi (x)=\{\begin{array}{llc}& \frac{\Gamma [(n_1+n_2)/2](n_1/n_2{)}^{n_1/2}{y}^{(n_1/2)-1}}{\Gamma (n_1/2)\Gamma (n_2/2)[1+(n_{1}y/n_2){]}^{(n_1+n_2)/2}}& y>0\\ & 0& otherwise\end{array}$$
可知，若 $F\sim F(n_1,n_2)$，则 $\frac{1}{F}\sim F(n_2,n_1)$

• 分位点

样本方差的分布

正态总体的样本均值

设 $X_i$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本，$\overline{X}$ 是样本均值，$S^2$ 是样本方差。则

• $\overline{X}\sim N(\mu ,{\sigma }^2/n)$
• $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$，$\overline{X}$ 与 $S^2$ 相互独立
• $\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$

设 $X_i$ 和 $Y_i$ 是来自正态总体的相互独立的样本。则

• $\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$
• 当 ${\sigma }_1^2={\sigma }_2^2={\sigma }^2$ 时，$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$，其中 $S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$

参数估计

点估计

借助于总体的一个样本来估计总体未知参数的值的问题称为参数的点估计问题。设总体的分布函数 $f(x;\theta )$ 的形式为已知，$\theta$ 为待估参数。构造一个适当的统计量$\hat{\theta }(X_i)$ ，用他的观察值 $\hat{\theta }(x_i)$，作为未知参数 $\theta$ 的估计值，称 $\hat{\theta }(X_i)$ 为 估计量，称 $\hat{\theta }(x_i)$为 估计值

矩估计法

简单的讲，这个原理认为样本的n阶中心钜和n阶原点矩和总体的n阶中心钜和n阶原点矩相同，当然这是一个近似。
设总体的 $k$ 阶原点矩存在，是基于 ${\theta }_i$ 的函数，基于样本矩 $A_t=\frac{1}{n}\sum X_i^l$ 依概率收敛于相应的总体矩 ${\mu }_l$ ，样本矩的连续函数依概率收敛于相应的总体矩的连续函数，于是就用样本矩作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。称为 矩估计方法
设
$$\{\begin{array}{ll}& {\mu }_1={\mu }_1({\theta }_1...{\theta }_k),\\ & ⋮\\ & {\mu }_k={\mu }_k({\theta }_1...{\theta }_k)\end{array}$$
可以从中解出 ${\theta }_k$得到
$$\{\begin{array}{ll}& {\theta }_1={\theta }_1({\mu }_1...{\mu }_k),\\ & ⋮\\ & {\theta }_k={\theta }_k({\mu }_1...{\mu }_k)\end{array}$$
以 $A_i$ 分别替代上式 $\mu$，就以 $\widehat{{\theta }_i}={\theta }_i(A_1...A_i)$ 分别作 ${\theta }_i$ 的估计量，称 矩估计量

最大似然估计

最大似然估计可以说是应用非常广泛的一种参数估计的方法。它的原理也很简单：利用已知的样本，找出最有可能生成该样本的参数。
？？？

估计量的评选标准

无偏性

若估计量 $\hat{\theta }=\hat{\theta }(X_i)$ 的期望 $E(\hat{\theta })$ 存在，且对于任意 $\theta \in \Theta$ 有 $E(\hat{\theta })=\theta$ ，则称 $\hat{\Theta }$ 是 $\Theta$ 的 无偏估计量

置信区间

区间估计

正态总体均值与方差的区间估计

单个总体

两个总体

(0-1)分布参数区间估计

单侧置信区间

检验假设

正态总体均值检验假设

单个总体

两个总体(t检验)

基于成对数据(t检验)

正态总体方差检验假设

单个总体

两个总体

分布拟合检验

单个分布

分布族的 ${\chi }^2$ 拟合检验

秩和检验

$p$ 值法