概率论与统计(四) 参数估计（点估计、区间估计）

1.基础知识

1.1中心极限定理

X1,X2,…Xn是一系列独立同分布的随机变量，当n足够大时$X_1+X_2+...+X_n$近似满足正态分布
推广结论：当样本数量足够大时（>30），样本均值近似服从正态分布，且期望值等于总体均值

1.2正态分布中的样本均值与方差

若X1,X2,…Xn来自同一正态分布的样本，样本均值的期望等于总体均值，样本方差的期望等于总体方差除以样本量
$\bar{X}\sim N(\mu ,{\sigma }^2/n)$
$(n-1)S^2/{\sigma }^2\sim \chi ²(n-1)$
$\sqrt{n}(\bar{X}-\mu )/S\sim t_{n-1}$

2.点估计

借助于总体的一个样本来估计总体未知参数的值的问题称为参数的点估计问题

2.1矩估计

$E[X^k]$称为随机变量X的k阶原点矩
$E[(X-E[X]{)}^k]$称为随机变量X的k阶中心矩
一阶原点矩为样本期望，二阶中心矩为样本方差
通过建立矩的方程来估计参数

2.2最大似然估计

似然函数：$L(\theta |x)=p(x|\theta )$
似然函数与概率密度函数的区别是已知量不同，似然函数已知x，概率密度函数已知$\theta$
求参数$\theta$的过程就是求似然函数最大值，而事件独立时，通常似然函数可以转化为每个事件概率的乘积，为了求似然函数最大值，可以转化为对数似然函数的最大值求解参数
$max\{logf(x_1,x_2,...x_n|\theta )\}$

2.3贝叶斯估计

$P(\theta |D)=\frac{P(D|\theta )P(\theta )}{P(D)}$
在估计参数$\theta$时，先假设先验分布$P(\theta )$，再通过样本调整先验分布，计算出合理的参数$\theta$

3.单总体区间估计

区间估计：最优估计±边际误差
最优估计=无偏点估计
边际误差=系数*估计标准误差
系数与所选定的置信区间有关
置信区间的物理意义：在一定的置信水平下（99%，95%，90%），我们所估计的参数（样本比例、样本均值、样本方差）会落在所求区间内
置信区间是通过从总体中多次抽样，当样本数足够大时，每系列样本可求出一个置信区间，这一系列置信区间有置信度的概率包括所求参数

3.1单总体比例估计

构造统计量，$Z=\frac{p-\pi }{\sqrt{p(1-p)/n}}$，Z服从标准正态分布
双侧置信区间：$(\hat{p}-z_{\alpha /2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}},\hat{p}+z_{\alpha /2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}})$
单侧置信区间：$(\hat{p}-z_{\alpha }\sqrt{\frac{\hat{p}(1-\hat{p})}{n}},\infty )$与$(-\infty ,\hat{p}+z_{\alpha }\sqrt{\frac{\hat{p}(1-\hat{p})}{n}})$

3.2单总体均值估计

若总体正态，则不论大样本小样本均可进行下述估计，若总体非正态，根据中心极限定理，当样本数>30时，近似服从正态分布，可进行下述估计
总体方差已知：
构造统计量，$Z=\frac{\bar{x}-\mu }{\sigma /\sqrt{n}}$，Z服从标准正态分布
双侧置信区间为$(\bar{x}-z_{\alpha /2}\frac{\sigma }{\sqrt{n}},\bar{x}+z_{\alpha /2}\frac{\sigma }{\sqrt{n}})$
单侧置信区间为$(\bar{x}-z_{\alpha }\sigma /\sqrt{n},\infty )$和$(-\infty ,\bar{x}+z_{\alpha }\sigma /\sqrt{n})$
总体方差未知：
构造统计量，$t=\frac{\bar{x}-\mu }{S/\sqrt{n}}$，t服从自由度n-1的t分布（若样本量较大，可直接近似为正态分布）
双侧置信区间为$(\bar{x}-t_{\alpha /2}\frac{S}{\sqrt{n}},\bar{X}+t_{\alpha /2}\frac{S}{\sqrt{n}})$
单侧置信区间为$(\bar{x}-t_{\alpha }S/\sqrt{n},\infty )$和$(-\infty ,\bar{x}+t_{\alpha }S/\sqrt{n})$

3.3单总体方差估计

总体服从正态分布时可进行方差估计
构造统计量，$K=\frac{(n-1)S^2}{{\sigma }^2}$，服从自由度为n-1的卡方分布
双侧置信区间为$(\frac{(n-1)S^2}{\chi {²}_{\alpha /2}},(\frac{(n-1)S^2}{\chi {²}_{1-\alpha /2}})$
单侧置信区间为$(\frac{(n-1)S^2}{\chi {²}_{\alpha }},\infty )$和$(-\infty ,\frac{(n-1)S^2}{\chi {²}_{1-\alpha }})$

4.两独立总体区间估计

4.1比率差的区间估计

大样本时可以进行下述估计
构造统计量$Z=\frac{p_1-p_2}{\sqrt{p_1(1-p_1)/n_1+p_2(1-p_2)/n_2}}$，Z服从标准正态分布
置信区间为$(p_1-p_2-Z_{\alpha /2}\sqrt{p_1(1-p_1)/n_1+p_2(1-p_2)/n_2},p_1-p_2+Z_{\alpha /2}\sqrt{p_1(1-p_1)/n_1+p_2(1-p_2)/n_2})$

4.2均值差的区间估计

大样本根据中心极限定理，样本分布服从正态分布，可进行下述估计，小样本，若总体服从正态分布，也可以进行下述估计
总体方差已知：
构造统计量$Z=\frac{({\bar{x}}_1-{\bar{x}}_2)-({\bar{\mu }}_1-{\bar{\mu }}_2)}{\sqrt{{\sigma }_1^2/n_1+{\sigma }_2^2/n_2}}$，Z服从标准正态分布
置信区间为$(({\bar{x}}_1-{\bar{x}}_2)-z_{\alpha /2}\sqrt{{\sigma }_1^2/n_1^2+{\sigma }_2^2/n_2^2},({\bar{x}}_1-{\bar{x}}_2)+z_{\alpha /2}\sqrt{{\sigma }_1^2/n_1^2+{\sigma }_2^2/n_2^2})$
大样本，总体方差未知：
构造统计量$Z=\frac{({\bar{x}}_1-{\bar{x}}_2)-({\bar{\mu }}_1-{\bar{\mu }}_2)}{\sqrt{S_1^2/n_1+S_2^2/n_2}}$，Z服从标准正态分布
置信区间为$(({\bar{x}}_1-{\bar{x}}_2)-z_{\alpha /2}\sqrt{S_1^2/n_1^2+S_2^2/n_2^2},({\bar{x}}_1-{\bar{x}}_2)+z_{\alpha /2}\sqrt{S_1^2/n_1^2+S_2^2/n_2^2})$
小样本，总体方差未知：
总体方差相等时：
$S_p^2=\frac{(n_1-1)S_1^2-(n_2-1)S_2^2}{n_1+n_2-2}$
构造统计量$t=\frac{({\bar{x}}_1-{\bar{x}}_2)-({\bar{\mu }}_1-{\bar{\mu }}_2)}{\sqrt{S_1^2/n_1+S_2^2/n_2}}$，t服从自由度为n1+n2-2的t分布
置信区间为$(({\bar{x}}_1-{\bar{x}}_2)-t_{\alpha /2}(n_1+n_2-2)S_p\sqrt{1/n_1+1/n_2},({\bar{x}}_1-{\bar{x}}_2)+t_{\alpha /2}(n_1+n_2-2)S_p\sqrt{1/n_1+1/n_2})$

总体方差不等时：
$v=\frac{(s_1^2/n_1+s_2^2/n_2{)}^2}{\frac{(s_1^2/n_1{)}^2}{n_1-1}+\frac{(s_2^2/n_2{)}^2}{n_2-1}}$
构造统计量$t=\frac{({\bar{x}}_1-{\bar{x}}_2)-({\bar{\mu }}_1-{\bar{\mu }}_2)}{\sqrt{S_1^2/n_1+S_2^2/n_2}}$，t服从自由度为v的t分布
置信区间为$(({\bar{x}}_1-{\bar{x}}_2)-t_{\alpha /2}(v)\sqrt{S_1^2/n_1^2+S_2^2/n_2^2},({\bar{x}}_1-{\bar{x}}_2)+t_{\alpha /2}(v)\sqrt{S_1^2/n_1^2+S_2^2/n_2^2})$

4.3方差比的区间估计

构造统计量$F=\frac{S_1^2}{S_2^2}\frac{{\sigma }_2^2}{{\sigma }_1^2}$，服从F(n1-1,n2-1)的F分布
置信区间为$(\frac{{\sigma }_1^2/{\sigma }_2^2}{F_{\alpha /2}},\frac{{\sigma }_1^2/{\sigma }_2^2}{F_{1-\alpha /2}})$