数理统计复习笔记三——点估计介绍了若干点估计的方法和准则,本文介绍区间估计。
区间估计是介于估计和检验之间的内容,且区间估计与检验紧密相连,因此有的也把区间估计看作是检验的一种。
设 X 1 , ⋯ , X n X_1, \cdots, X_n X1,⋯,Xn为来自分布族 F = { f ( x , θ ) , θ ∈ Θ } \mathcal F=\{f(x,\theta), \theta\in\Theta\} F={f(x,θ),θ∈Θ}的样本, θ \theta θ为一维未知参数。如果 θ ^ L ( X ) \hat\theta_L(\bm X) θ^L(X), θ ^ U ( X ) \hat\theta_U(\bm X) θ^U(X)为两个统计量,且 θ ^ L ( X ) ≤ θ ^ U ( X ) \hat\theta_L(\bm X)\le \hat\theta_U(\bm X) θ^L(X)≤θ^U(X),则称随机区间 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L(X),θ^U(X)]为 θ \theta θ的一个区间估计。
既然是估计,就应该有一个好坏的衡量指标。
当参数的真值为 θ \theta θ时,随机区间 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L(X),θ^U(X)]包含 θ \theta θ的概率 P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\} Pθ{[θ^L(X)≤θ≤θ^U(X)]}就称为置信水平或置信度。
对于一个区间估计来说,肯定希望置信水平或置信度越大越好。由于这个置信水平依赖于参数真值,故我们自然希望对于参数空间 Θ \Theta Θ中的每一个 θ \theta θ,其置信水平都很大。
设随机区间 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L(X),θ^U(X)]为 θ \theta θ的一个区间估计,则称 inf θ ∈ Θ P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } \inf_{\theta\in\Theta}P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\} θ∈ΘinfPθ{[θ^L(X)≤θ≤θ^U(X)]}为该区间估计的置信系数。
- 区间估计有时要用开区间或半开半闭区间,但从置信水平的角度看,这几种区间估计没有本质的区别
- 在计算某区间估计的置信水平时,我们应该知道 θ ^ L ( X ) \hat\theta_L(\bm X) θ^L(X), θ ^ U ( X ) \hat\theta_U(\bm X) θ^U(X)的联合分布。如果不知道其联合分布,则很难求得其置信系数,这就是构造置信区间的技巧所在
设 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L(X),θ^U(X)]是参数 θ \theta θ的一个区间估计,如果对给定的 α ∈ ( 0 , 1 ) \alpha\in(0, 1) α∈(0,1),有 P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } ≥ 1 − α , ∀ θ ∈ Θ (2) P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\}\ge1-\alpha , \forall\theta\in\Theta\tag{2} Pθ{[θ^L(X)≤θ≤θ^U(X)]}≥1−α,∀θ∈Θ(2)
则称 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L(X),θ^U(X)]为 θ \theta θ的置信水平为 1 − α 1-\alpha 1−α的置信区间, θ ^ L ( X ) \hat\theta_L(\bm X) θ^L(X), θ ^ U ( X ) \hat\theta_U(\bm X) θ^U(X)分别称为置信下限和置信上限。
实际中也称满足 P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } = 1 − α P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\}=1-\alpha Pθ{[θ^L(X)≤θ≤θ^U(X)]}=1−α的区间估计为置信区间
详见杂记——贝叶斯可信区间与频率置信区间的区别
有时人们感兴趣的指标是望大或望小指标(指标越大/小越好)。
设 θ ^ L ( X ) \hat\theta_L(\bm X) θ^L(X), θ ^ U ( X ) \hat\theta_U(\bm X) θ^U(X)为两个统计量,对给定的 α ∈ ( 0 , 1 ) \alpha\in(0, 1) α∈(0,1),有 P θ { θ ^ L ( X ) ≤ θ } ≥ 1 − α , ∀ θ ∈ Θ (3) P_\theta\{\hat\theta_L(\bm X)\le\theta\}\ge1-\alpha, \forall\theta\in\Theta\tag{3} Pθ{θ^L(X)≤θ}≥1−α,∀θ∈Θ(3)
P θ { θ ^ U ( X ) ≥ θ } ≥ 1 − α , ∀ θ ∈ Θ (4) P_\theta\{\hat\theta_U(\bm X)\ge\theta\}\ge1-\alpha, \forall\theta\in\Theta\tag{4} Pθ{θ^U(X)≥θ}≥1−α,∀θ∈Θ(4)
则分别称 θ ^ L ( X ) \hat\theta_L(\bm X) θ^L(X)与 θ ^ U ( X ) \hat\theta_U(\bm X) θ^U(X)为 θ \theta θ的置信水平为 1 − α 1-\alpha 1−α的单侧置信下限和单侧置信上限。
与双侧置信限的关系:
设 θ ^ L ( X ) \hat\theta_L(\bm X) θ^L(X)与 θ ^ U ( X ) \hat\theta_U(\bm X) θ^U(X)为 θ \theta θ的置信水平为 1 − α 1 1-\alpha_1 1−α1和 1 − α 2 1-\alpha_2 1−α2的单侧置信下限和单侧置信上限,且 θ ^ L ( X ) ≤ θ ^ U ( X ) \hat\theta_L(\bm X)\le \hat\theta_U(\bm X) θ^L(X)≤θ^U(X),则 [ θ ^ L ( X ) , θ ^ U ( X ) ] [\hat\theta_L(\bm X), \hat\theta_U(\bm X)] [θ^L(X),θ^U(X)]是 θ \theta θ的置信水平为 1 − ( α 1 + α 2 ) 1-(\alpha_1+\alpha_2) 1−(α1+α2)的置信区间。
设 X 1 , ⋯ , X n X_1, \cdots, X_n X1,⋯,Xn为来自分布族 F = { f ( x , θ ) , θ ∈ Θ ⊆ R k } \mathcal F=\{f(x,\theta), \theta\in\Theta\subseteq\bm R^k\} F={f(x,θ),θ∈Θ⊆Rk}的样本, θ = ( θ 1 , ⋯ , θ k ) T \theta=(\theta_1,\cdots,\theta_k)^T θ=(θ1,⋯,θk)T,如果统计量 S ( X ) S(\bm X) S(X)满足
求取参数的置信区间的方法有很多,本文主要介绍最常用的枢轴量法,尤其是对于连续型分布族。
记 Φ ( x ) \Phi(x) Φ(x)和 ϕ ( x ) \phi(x) ϕ(x)分别表示标准正态分布 N ( 0 , 1 ) N(0, 1) N(0,1)的 C D F CDF CDF和 P D F PDF PDF,且用满足方程 Φ ( u α ) = 1 − α (5) \Phi(u_\alpha)=1-\alpha\tag{5} Φ(uα)=1−α(5)的 u α u_\alpha uα表示标准正态分布的上侧 α \alpha α分位数,如下图
类似的,用 χ α 2 ( n ) \chi_\alpha^2(n) χα2(n), t α ( n ) t_\alpha(n) tα(n), F α ( m , n ) F_\alpha(m, n) Fα(m,n)表示 χ 2 ( n ) \chi^2(n) χ2(n), t ( n ) t(n) t(n), F ( m , n ) F(m, n) F(m,n)的上侧 α \alpha α分位数。
第2步寻找枢轴量最关键
例子:
设 X 1 , ⋯ , X n X_1, \cdots, X_n X1,⋯,Xn为来自正态总体 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2)的 I I D IID IID样本, μ , σ 2 \mu, \sigma^2 μ,σ2均未知,试求 μ \mu μ的置信水平为 1 − α 1-\alpha 1−α的置信区间。
枢轴量法更适用于连续性随机变量,对于离散型随机变量,并不容易操作,其原因在于给定的 α \alpha α,一般不存在确切的分位点。
例子:
设 X 1 , ⋯ , X n X_1,\cdots,X_n X1,⋯,Xn为来自伯努利分布 b ( 1 , p ) b(1,p) b(1,p)的 I I D IID IID样本,试求 p p p的置信水平为 1 − α 1-\alpha 1−α的置信区间。
关键还是找枢轴量。
我们知道 1 n ∑ i = 1 n X i \frac{1}{n}\sum\limits_{i=1}^nX_i n1i=1∑nXi是 p p p的一个很好的估计,那么枢轴量应该与 T n = ∑ i = 1 n X i T_n=\sum\limits_{i=1}^nX_i Tn=i=1∑nXi有关。而 T n ∼ B ( n , p ) T_n\sim B(n, p) Tn∼B(n,p),其分布与 p p p有关,所以不能直接把 T n T_n Tn作为枢轴量。
但由中心极限定理可知,当 n → ∞ n\to\infty n→∞时, T n − n p n p ( 1 − p ) ∼ N ( 0 , 1 ) (7) \frac{T_n-np}{\sqrt{np(1-p)}}\sim N(0, 1)\tag{7} np(1−p)Tn−np∼N(0,1)(7) 即当 n n n充分大时,我们有 P { T n − n p n p ( 1 − p ) < x } = Φ ( x ) (8) P\{\frac{T_n-np}{\sqrt{np(1-p)}}\lt x\}=\Phi(x)\tag8 P{np(1−p)Tn−np<x}=Φ(x)(8) 且与 p p p无关,所以可将 T n − n p n p ( 1 − p ) \frac{T_n-np}{\sqrt{np(1-p)}} np(1−p)Tn−np当作枢轴量。
所以当 n n n充分大时,有 P { − u α / 2 ≤ T n − n p n p ( 1 − p ) ≤ u α / 2 } (9) P\{-u_{\alpha/2}\le\frac{T_n-np}{\sqrt{np(1-p)}}\le u_{\alpha/2}\}\tag9 P{−uα/2≤np(1−p)Tn−np≤uα/2}(9)
再进行化简即可
当 n n n充分大时,上述方法求得的置信区间非常接近水平为 1 − α 1-\alpha 1−α的置信区间。在实际中,当 n ≥ 30 n\ge30 n≥30时,就可以认为是充分大了。
由上述例子可知,对于离散型的随机变量,我们可以通过中心极限定理转化为正态分布来求解置信区间。
X 1 , ⋯ , X n X_1,\cdots,X_n X1,⋯,Xn为来自正态分布 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)的 I I D IID IID样本
参数情况 | 枢轴量 | 置信区间 |
---|---|---|
σ 2 \sigma^2 σ2已知,估计 μ \mu μ | n ( X ‾ − μ ) / σ ∼ N ( 0 , 1 ) \sqrt n(\overline X-\mu)/\sigma\sim N(0,1) n(X−μ)/σ∼N(0,1) | [ X ‾ − u α / 2 σ n , X ‾ + u α / 2 σ n ] [\overline X-u_{\alpha/2}\frac{\sigma}{\sqrt n}, \overline X+u_{\alpha/2}\frac{\sigma}{\sqrt n}] [X−uα/2nσ,X+uα/2nσ] |
σ 2 \sigma^2 σ2未知,估计 μ \mu μ | n ( X ‾ − μ ) / S n ∼ t ( n − 1 ) \sqrt n(\overline X-\mu)/S_n\sim t(n-1) n(X−μ)/Sn∼t(n−1) | [ X ‾ − t α / 2 ( n − 1 ) S n n , X ‾ + t α / 2 ( n − 1 ) S n n ] [\overline X-t_{\alpha/2}(n-1)\frac{S_n}{\sqrt n}, \overline X+t_{\alpha/2}(n-1)\frac{S_n}{\sqrt n}] [X−tα/2(n−1)nSn,X+tα/2(n−1)nSn] |
μ \mu μ已知,估计 σ 2 \sigma^2 σ2 | ∑ i = 1 n ( X i − μ ) 2 / σ 2 ∼ χ 2 ( n ) \sum\limits_{i=1}^n(X_i-\mu)^2/\sigma^2\sim \chi^2(n) i=1∑n(Xi−μ)2/σ2∼χ2(n) | [ ∑ i = 1 n ( X i − μ ) 2 χ α / 2 ( n ) 2 , ∑ i = 1 n ( X i − μ ) 2 χ 1 − α / 2 ( n ) 2 ] [\frac{\sum\limits_{i=1}^n(X_i-\mu)^2}{\chi^2_{\alpha/2(n)}},\frac{\sum\limits_{i=1}^n(X_i-\mu)^2}{\chi^2_{1-\alpha/2(n)}}] [χα/2(n)2i=1∑n(Xi−μ)2,χ1−α/2(n)2i=1∑n(Xi−μ)2] |
μ \mu μ未知,估计 σ 2 \sigma^2 σ2 | ( n − 1 ) S n 2 / σ 2 ∼ χ 2 ( n − 1 ) (n-1)S_n^2/\sigma^2\sim\chi^2(n-1) (n−1)Sn2/σ2∼χ2(n−1) | [ ( n − 1 ) S n 2 χ α / 2 ( n − 1 ) 2 , ( n − 1 ) S n 2 χ 1 − α / 2 ( n − 1 ) 2 ] [\frac{(n-1)S_n^2}{\chi^2_{\alpha/2(n-1)}},\frac{(n-1)S_n^2}{\chi^2_{1-\alpha/2(n-1)}}] [χα/2(n−1)2(n−1)Sn2,χ1−α/2(n−1)2(n−1)Sn2] |
设 X 1 , ⋯ , X m X_1,\cdots,X_m X1,⋯,Xm和 Y 1 , ⋯ , Y n Y_1,\cdots,Y_n Y1,⋯,Yn分别为来自正态总体 N ( μ 1 , σ 1 2 ) N(\mu_1,\sigma^2_1) N(μ1,σ12)和 N ( μ 2 , σ 2 2 ) N(\mu_2,\sigma^2_2) N(μ2,σ22)的样本,且全样本独立,其中 μ 1 , μ 2 , σ 1 2 , σ 2 2 \mu_1,\mu_2,\sigma^2_1,\sigma^2_2 μ1,μ2,σ12,σ22为参数。样本均值为 X ‾ = 1 m ∑ i = 1 m X i \overline X=\frac{1}{m}\sum\limits_{i=1}^mX_i X=m1i=1∑mXi, Y ‾ = 1 n ∑ i = 1 n Y i \overline Y=\frac{1}{n}\sum\limits_{i=1}^nY_i Y=n1i=1∑nYi,样本方差为 S 1 m 2 = 1 m − 1 ∑ i = 1 m ( X i − X ‾ ) 2 S_{1m}^2=\frac{1}{m-1}\sum\limits_{i=1}^m(X_i-\overline X)^2 S1m2=m−11i=1∑m(Xi−X)2, S 2 n 2 = 1 n − 1 ∑ i = 1 n ( Y i − Y ‾ ) 2 S_{2n}^2=\frac{1}{n-1}\sum\limits_{i=1}^n(Y_i-\overline Y)^2 S2n2=n−11i=1∑n(Yi−Y)2
由数理统计复习笔记一——统计中常用的抽样分布(卡方分布,t分布,F分布)可知 T = m n ( m + n − 2 ) m + n ( Y ˉ − X ˉ ) − δ ( m − 1 ) S 1 m 2 + ( n − 1 ) S 2 n 2 ∼ t ( m + n − 2 ) (10) T=\sqrt{\frac{mn(m+n-2)}{m+n}}\frac{(\bar Y-\bar X)-\delta}{\sqrt{(m-1)S^2_{1m}+(n-1)S^2_{2n}}}\sim t(m+n-2)\tag{10} T=m+nmn(m+n−2)(m−1)S1m2+(n−1)S2n2(Yˉ−Xˉ)−δ∼t(m+n−2)(10)
所以可令其为枢轴量,进而可得 δ \delta δ的置信水平为 1 − α 1-\alpha 1−α的置信区间为 [ Y ‾ − X ‾ ∓ t α / 2 ( m + n − 2 ) ] m + n m n ( m + n − 2 ) ( m − 1 ) S 1 m 2 + ( n − 1 ) S 2 n 2 (11) [\overline Y-\overline X\mp t_{\alpha/2}(m+n-2)]\sqrt{\frac{m+n}{mn(m+n-2)}}\sqrt{(m-1)S^2_{1m}+(n-1)S^2_{2n}}\tag{11} [Y−X∓tα/2(m+n−2)]mn(m+n−2)m+n(m−1)S1m2+(n−1)S2n2(11)
因为 T = m n ( m + n − 2 ) m θ + n ( Y ˉ − X ˉ ) − δ ( m − 1 ) S 1 m 2 + ( n − 1 ) S 2 n 2 / θ ∼ t ( m + n − 2 ) (12) T=\sqrt{\frac{mn(m+n-2)}{m\theta+n}}\frac{(\bar Y-\bar X)-\delta}{\sqrt{(m-1)S^2_{1m}+(n-1)S^2_{2n}/\theta}}\sim t(m+n-2)\tag{12} T=mθ+nmn(m+n−2)(m−1)S1m2+(n−1)S2n2/θ(Yˉ−Xˉ)−δ∼t(m+n−2)(12)
所以可令其为枢轴量,进而可得 δ \delta δ的置信水平为 1 − α 1-\alpha 1−α的置信区间为 [ Y ‾ − X ‾ ∓ t α / 2 ( m + n − 2 ) ] m θ + n m n ( m + n − 2 ) ( m − 1 ) S 1 m 2 + ( n − 1 ) S 2 n 2 / θ (13) [\overline Y-\overline X\mp t_{\alpha/2}(m+n-2)]\sqrt{\frac{m\theta+n}{mn(m+n-2)}}\sqrt{(m-1)S^2_{1m}+(n-1)S^2_{2n}/\theta}\tag{13} [Y−X∓tα/2(m+n−2)]mn(m+n−2)mθ+n(m−1)S1m2+(n−1)S2n2/θ(13)
此时 Z i = Y i − X i ∼ N ( δ , σ 1 2 + σ 2 2 ) Z_i=Y_i-X_i\sim N(\delta, \sigma^2_1+\sigma^2_2) Zi=Yi−Xi∼N(δ,σ12+σ22), i = 1 , ⋯ , n i=1,\cdots,n i=1,⋯,n且相互独立,于是可知 Z ‾ ∼ N ( δ , ( σ 1 2 + σ 2 2 ) / n ) \overline Z\sim N(\delta, (\sigma^2_1+\sigma^2_2)/n) Z∼N(δ,(σ12+σ22)/n), ∑ i = 1 n ( Z i − Z ‾ ) 2 / ( σ 1 2 + σ 2 2 ) ∼ χ 2 ( n − 1 ) \sum\limits_{i=1}^n(Z_i-\overline Z)^2/(\sigma^2_1+\sigma^2_2)\sim\chi^2(n-1) i=1∑n(Zi−Z)2/(σ12+σ22)∼χ2(n−1),所以有 n ( n − 1 ) ( Z ‾ − δ ) ∑ i = 1 n ( Z i − Z ‾ ) 2 ∼ t ( n − 1 ) (14) \frac{\sqrt{n(n-1)}(\overline Z-\delta)}{\sqrt{\sum\limits_{i=1}^n(Z_i-\overline Z)^2}}\sim t(n-1)\tag{14} i=1∑n(Zi−Z)2n(n−1)(Z−δ)∼t(n−1)(14)
所以可得 δ \delta δ的置信水平为 1 − α 1-\alpha 1−α的置信区间为 [ Z ‾ ∓ t α / 2 ( n − 1 ) ∑ i = 1 n ( Z i − Z ‾ ) 2 n ( n − 1 ) ] (15) [\overline Z\mp t_{\alpha/2}(n-1)\frac{\sqrt{\sum\limits_{i=1}^n(Z_i-\overline Z)^2}}{\sqrt{n(n-1)}}]\tag{15} [Z∓tα/2(n−1)n(n−1)i=1∑n(Zi−Z)2](15)
因为 S 1 m 2 → σ 1 2 S_{1m}^2\to\sigma^2_1 S1m2→σ12, S 2 n 2 → σ 2 2 S_{2n}^2\to\sigma^2_2 S2n2→σ22,且 Y ‾ − X ‾ ∼ N ( δ , σ 1 2 / m + σ 2 2 / n ) \overline Y-\overline X\sim N(\delta, \sigma^2_1/m+ \sigma^2_2/n) Y−X∼N(δ,σ12/m+σ22/n),所以 T ˇ = Y ‾ − X ‾ − δ S 1 m 2 / m + S 2 n 2 / n ∼ N ( 0 , 1 ) (16) \check T=\frac{\overline Y-\overline X-\delta}{\sqrt{S_{1m}^2/m+S_{2n}^2/n}}\sim N(0,1)\tag{16} Tˇ=S1m2/m+S2n2/nY−X−δ∼N(0,1)(16)
所以可得 δ \delta δ的置信水平为 1 − α 1-\alpha 1−α的置信区间为 [ Y ‾ − X ‾ ∓ u α / 2 S 1 m 2 / m + S 2 n 2 / n ] [\overline Y-\overline X\mp u_{\alpha/2}\sqrt{S_{1m}^2/m+S_{2n}^2/n}] [Y−X∓uα/2S1m2/m+S2n2/n]
因为 ( m − 1 ) S 1 m 2 / σ 1 2 ∼ χ 2 ( m − 1 ) (m-1)S_{1m}^2/\sigma^2_1\sim\chi^2(m-1) (m−1)S1m2/σ12∼χ2(m−1), ( n − 1 ) S 2 n 2 / σ 2 2 ∼ χ 2 ( n − 1 ) (n-1)S_{2n}^2/\sigma^2_2\sim\chi^2(n-1) (n−1)S2n2/σ22∼χ2(n−1),且二者是独立的,于是 F = S 1 m 2 / σ 1 2 S 2 n 2 / σ 2 2 ∼ F ( m − 1 , n − 1 ) (17) F=\frac{S_{1m}^2/\sigma^2_1}{S_{2n}^2/\sigma^2_2}\sim F(m-1,n-1)\tag{17} F=S2n2/σ22S1m2/σ12∼F(m−1,n−1)(17)
可以作为枢轴量,并且 P { F 1 − α / 2 ( m − 1 , n − 1 ) ≤ S 1 m 2 / σ 1 2 S 2 n 2 / σ 2 2 ≤ F α / 2 ( m − 1 , n − 1 ) } (18) P\{F_{1-\alpha/2}(m-1,n-1)\le\frac{S_{1m}^2/\sigma^2_1}{S_{2n}^2/\sigma^2_2}\le F_{\alpha/2}(m-1,n-1)\}\tag{18} P{F1−α/2(m−1,n−1)≤S2n2/σ22S1m2/σ12≤Fα/2(m−1,n−1)}(18)
进而可得置信区间为 [ S 1 m 2 / S 2 n 2 F α / 2 ( m − 1 , n − 1 ) , S 1 m 2 / S 2 n 2 F 1 − α / 2 ( m − 1 , n − 1 ) ] (19) [\frac{S_{1m}^2/S_{2n}^2}{F_{\alpha/2}(m-1,n-1)}, \frac{S_{1m}^2/S_{2n}^2}{F_{1-\alpha/2}(m-1,n-1)}]\tag{19} [Fα/2(m−1,n−1)S1m2/S2n2,F1−α/2(m−1,n−1)S1m2/S2n2](19)