光华统计2023
解析
一、(15分) 设 X ∼ N ( 0 , 1 ) X\sim N(0,1) X∼N(0,1), 求 E [ X 3 ∣ X ≥ 0 ] E[X^3|X\ge 0] E[X3∣X≥0].
Solution: 根据条件期望定义, 有
E [ X 3 ∣ X ≥ 0 ] = E ( X 3 I { X ≥ 0 } ) P ( X ≥ 0 ) = 2 E ( X 3 I { X ≥ 0 } ) = 2 ∫ 0 + ∞ 1 2 π x 3 e − x 2 2 d x = 4 2 π ∫ 0 + ∞ ( x 2 2 ) e − ( x 2 2 ) x d x = 4 2 π ∫ 0 + ∞ u e − u d u = 4 2 π . \begin{aligned} E\left[ X^3|X\ge 0 \right] &=\frac{E\left( X^3I_{\left\{ X\ge 0 \right\}} \right)}{P\left( X\ge 0 \right)}=2E\left( X^3I_{\left\{ X\ge 0 \right\}} \right) =2\int_0^{+\infty}{\frac{1}{\sqrt{2\pi}}x^3e^{-\frac{x^2}{2}}dx}\\ &=\frac{4}{\sqrt{2\pi}}\int_0^{+\infty}{\left( \frac{x^2}{2} \right) e^{-\left( \frac{x^2}{2} \right)}xdx}=\frac{4}{\sqrt{2\pi}}\int_0^{+\infty}{ue^{-u}du}=\frac{4}{\sqrt{2\pi}}.\\ \end{aligned} E[X3∣X≥0]=P(X≥0)E(X3I{X≥0})=2E(X3I{X≥0})=2∫0+∞2π1x3e−2x2dx=2π4∫0+∞(2x2)e−(2x2)xdx=2π4∫0+∞ue−udu=2π4.
二、(20 分) 某品牌商发起调查, 调查购买某商品的比率 p p p. 现在他准备调查 n n n 个顾客( n n n较大), 如果购买了该商品则纪录为 x i = 1 x_i=1 xi=1, 否则 x i = 0 x_i=0 xi=0.
(1)(8分) 给定置信水平 90 % 90\% 90%, 给出 p p p 的置信区间.
(2)(12分) 保持置信水平 90 % 90\% 90%不变, 如果希望置信区间无论如何不超过 1 % 1\% 1%, 问需要多少样本量?
Solution: (1) 显然 x 1 , ⋯ , x n x_1,\cdots,x_n x1,⋯,xn 独立同服从 B ( 1 , p ) B(1,p) B(1,p), 期望为 p p p, 方差为 p ( 1 − p ) p(1-p) p(1−p), 根据中心极限定理, 有
x ˉ ∼ A N ( p , p ( 1 − p ) n ) , \bar{x} \sim AN\left(p, \frac{p(1-p)}{n}\right), xˉ∼AN(p,np(1−p)),
因此有 n x ˉ − p p ( 1 − p ) ∼ A N ( 0 , 1 ) \sqrt{n}\frac{\bar{x}-p}{\sqrt{p\left( 1-p \right)}}\sim AN\left( 0,1 \right) np(1−p)xˉ−p∼AN(0,1) 可以作为枢轴量, 但分母中 p p p 未知比较麻烦, 我们考虑 n x ˉ − p x ˉ ( 1 − x ˉ ) ∼ A N ( 0 , 1 ) \sqrt{n}\frac{\bar{x}-p}{\sqrt{\bar{x} \left( 1-\bar{x} \right)}}\sim AN\left( 0,1 \right) nxˉ(1−xˉ)xˉ−p∼AN(0,1). 考虑到 z 0.95 = 1.645 z_{0.95} = 1.645 z0.95=1.645, 因此有置信区间为
p ∈ [ x ˉ − 1.645 x ˉ ( 1 − x ˉ ) n , x ˉ + 1.645 x ˉ ( 1 − x ˉ ) n ] . p \in \left[ \bar{x}-1.645\frac{\sqrt{\bar{x}\left( 1-\bar{x} \right)}}{\sqrt{n}},\bar{x}+1.645\frac{\sqrt{\bar{x}\left( 1-\bar{x} \right)}}{\sqrt{n}} \right] . p∈[xˉ−1.645nxˉ(1−xˉ),xˉ+1.645nxˉ(1−xˉ)].
(2) 置信区间长度为 3.29 x ˉ ( 1 − x ˉ ) n 3.29\frac{\sqrt{\bar{x}\left( 1-\bar{x} \right)}}{\sqrt{n}} 3.29nxˉ(1−xˉ), 令其 ≤ 0.01 \le 0.01 ≤0.01, 有
n ≥ ( 3.29 0.01 ) 2 x ˉ ( 1 − x ˉ ) , n\ge \left( \frac{3.29}{0.01} \right)^2 \bar{x}\left( 1-\bar{x} \right), n≥(0.013.29)2xˉ(1−xˉ),
我们想要使得它恒成立, 在不知道 x ˉ \bar{x} xˉ 是多少的情况下, 就必须让 n n n 大于等于右侧的最大值, 利用 x ˉ ( 1 − x ˉ ) ≤ 1 4 \bar{x}(1-\bar{x})\le \frac{1}{4} xˉ(1−xˉ)≤41, 得
n ≥ 1 4 ⋅ ( 3.29 0.01 ) 2 = 27060.3. n\ge \frac{1}{4}\cdot \left( \frac{3.29}{0.01} \right) ^2=27060.3. n≥41⋅(0.013.29)2=27060.3.
因此至少要调查27061个人.
三、(20 分) 设有两组独立样本: x 1 , ⋯ , x n x_1,\cdots,x_n x1,⋯,xn 来自 N ( μ 1 , σ 1 2 ) N(\mu_1,\sigma_1^2) N(μ1,σ12), y 1 , ⋯ , y m y_1,\cdots,y_m y1,⋯,ym 来自 N ( μ 2 , σ 2 2 ) N(\mu_2,\sigma_2^2) N(μ2,σ22). 现 σ 1 , σ 2 \sigma_1,\sigma_2 σ1,σ2 已知, μ 1 , μ 2 \mu_1,\mu_2 μ1,μ2 未知, 两组之间样本也独立, 记 θ = μ 1 − μ 2 \theta = \mu_1-\mu_2 θ=μ1−μ2.
(1)(5 分) 求 θ \theta θ 的最大似然估计 θ ^ \hat{\theta} θ^.
(2)(5 分) 若 N = n + m N=n+m N=n+m 是固定的, 想使 θ ^ \hat{\theta} θ^ 的均方误差最小, 如何设定 n n n 和 m m m?
(3)(5 分) 延续第 (2) 问, 考虑假设检验问题
H 0 : θ = 0 v s H 1 : θ ≠ 0 H_0: \theta=0\quad \mathrm{vs} \quad H_1: \theta \neq 0 H0:θ=0vsH1:θ=0
给出显著性水平为 α \alpha α 时的拒绝域.
Solution: (1) 根据正态MLE结论, μ ^ 1 = x ˉ \hat{\mu}_1=\bar{x} μ^1=xˉ, μ ^ 2 = y ˉ \hat{\mu}_2 = \bar{y} μ^2=yˉ, 由MLE不变性, 得 θ ^ = x ˉ − y ˉ \hat{\theta}=\bar{x}-\bar{y} θ^=xˉ−yˉ, 它是正态的线性组合, 分布是
θ ^ ∼ N ( θ , σ 1 2 n + σ 2 2 m ) . \hat{\theta}\sim N\left( \theta ,\frac{\sigma _{1}^{2}}{n}+\frac{\sigma _{2}^{2}}{m} \right) . θ^∼N(θ,nσ12+mσ22).
(2) 根据 (1), 即在 N = n + m N=n+m N=n+m 给定时, 求
m s e ( θ ^ ) = V a r ( θ ^ ) = σ 1 2 n + σ 2 2 m \mathrm{mse}\left( \hat{\theta} \right) =Var\left( \hat{\theta} \right) =\frac{\sigma _{1}^{2}}{n}+\frac{\sigma _{2}^{2}}{m} mse(θ^)=Var(θ^)=nσ12+mσ22
的最小值. 这是二元条件极值问题, 可以用拉格朗日乘数法, 但我们可以考虑柯西-施瓦茨不等式, 即
( n + m ) ( σ 1 2 n + σ 2 2 m ) ≥ ( n ⋅ σ 1 n + m ⋅ σ 2 m ) 2 = ( σ 1 + σ 2 ) 2 , \left( n+m \right) \left( \frac{\sigma _{1}^{2}}{n}+\frac{\sigma _{2}^{2}}{m} \right) \ge \left( \sqrt{n}\cdot \frac{\sigma _1}{\sqrt{n}}+\sqrt{m}\cdot \frac{\sigma _2}{\sqrt{m}} \right) ^2=\left( \sigma _1+\sigma _2 \right) ^2, (n+m)(nσ12+mσ22)≥(n⋅nσ1+m⋅mσ2)2=(σ1+σ2)2,
当且仅当 σ 1 n n = σ 2 m m \frac{\frac{\sigma _1}{\sqrt{n}}}{\sqrt{n}}=\frac{\frac{\sigma _2}{\sqrt{m}}}{\sqrt{m}} nnσ1=mmσ2 时取等, 即 n : m = σ 1 : σ 2 n:m=\sigma_1:\sigma_2 n:m=σ1:σ2.
故当我们取 n = σ 1 N σ 1 + σ 2 n=\frac{\sigma_1 N}{\sigma_1+\sigma_2} n=σ1+σ2σ1N, m = σ 2 N σ 1 + σ 2 m=\frac{\sigma_2 N}{\sigma_1+\sigma_2} m=σ1+σ2σ2N 时, mse 最小, 为 ( σ 1 + σ 2 ) 2 N \frac{(\sigma_1+\sigma_2)^2}{N} N(σ1+σ2)2.
【注】: 柯西-施瓦茨不等式指的是
( a 1 2 + a 2 2 + ⋯ + a n 2 ) ( b 1 2 + b 2 2 + ⋯ + b n 2 ) ≥ ( a 1 b 1 + a 2 b 2 + ⋯ a n b n ) 2 , \left( a_{1}^{2}+a_{2}^{2}+\cdots +a_{n}^{2} \right) \left( b_{1}^{2}+b_{2}^{2}+\cdots +b_{n}^{2} \right) \ge \left( a_1b_1+a_2b_2+\cdots a_nb_n \right) ^2, (a12+a22+⋯+an2)(b12+b22+⋯+bn2)≥(a1b1+a2b2+⋯anbn)2,
当且仅当 a 1 b 1 = a 2 b 2 = ⋯ = a n b n \frac{a_1}{b_1}=\frac{a_2}{b_2}=\cdots =\frac{a_n}{b_n} b1a1=b2a2=⋯=bnan 时等号成立.
(3) 检验统计量是
z = θ ^ ( σ 1 + σ 2 ) 2 N = N θ ^ σ 1 + σ 2 , z=\frac{\hat{\theta}}{\sqrt{\frac{\left( \sigma _1+\sigma _2 \right) ^2}{N}}}=\sqrt{N}\frac{\hat{\theta}}{\sigma _1+\sigma _2}, z=N(σ1+σ2)2θ^=Nσ1+σ2θ^,
其分布在 H 0 H_0 H0 成立时为 N ( 0 , 1 ) N(0,1) N(0,1). 如果 ∣ z ∣ |z| ∣z∣ 较大, 说明 θ \theta θ 很可能不为0, 故拒绝域是
W = { ∣ z ∣ > z 1 − α 2 } = { ∣ θ ^ ∣ > σ 1 + σ 2 N z 1 − α 2 } . W=\left\{ \left| z \right|>z_{1-\frac{\alpha}{2}} \right\} =\left\{ \left| \hat{\theta} \right|>\frac{\sigma _1+\sigma _2}{\sqrt{N}}z_{1-\frac{\alpha}{2}} \right\} . W={∣z∣>z1−2α}={ θ^ >Nσ1+σ2z1−2α}.
四、(20分) 设有线性模型
Y = X β + ε , Y= X \beta + \varepsilon, Y=Xβ+ε,
其中 Y n × 1 Y_{n\times1} Yn×1 是被解释变量, X n × p X_{n\times p} Xn×p是秩为 p p p 的解释变量, β p × 1 \beta_{p\times 1} βp×1 是待估参数, ε n × 1 \varepsilon_{n\times 1} εn×1 是误差项, 满足 E ( ε ∣ X ) = 0 E(\varepsilon|X)=0 E(ε∣X)=0, V a r ( ε ∣ X ) = V ( X ) Var(\varepsilon|X)=V(X) Var(ε∣X)=V(X), 其中 V ( X ) V(X) V(X) 正定.
(1)(5分) 求最小二乘估计 β ^ \hat{\beta} β^ 的方差. (假设 X X X给定)
(2)(10分) 把 X β X\beta Xβ 分块为
X β = ( X 1 , X 2 ) ( β 1 β 2 ) = X 1 β 1 + X 2 β 2 , X\beta =\left( X_1,X_2 \right) \left( \begin{array}{c} \beta _1\\ \beta _2\\ \end{array} \right) =X_1\beta _1+X_2\beta _2, Xβ=(X1,X2)(β1β2)=X1β1+X2β2,
试求 β 2 \beta_2 β2的 最小二乘估计 β ^ 2 \hat{\beta}_2 β^2.
(3)(5分) 设 V ( X ) = I n V(X)=I_n V(X)=In 单位矩阵, 求 V a r ( β ^ 2 ) Var(\hat{\beta}_2) Var(β^2). (假设 X X X给定)
Solution: (1) 根据最小二乘解, 有 β ^ = ( X T X ) − 1 X T Y \hat{\beta}=\left( X^TX \right) ^{-1}X^TY β^=(XTX)−1XTY, 故有
V a r ( β ^ ) = ( ( X T X ) − 1 X T ) V a r ( Y ) ( ( X T X ) − 1 X T ) T = ( X T X ) − 1 X T V ( X ) X ( X T X ) − 1 . \begin{aligned} Var\left( \hat{\beta} \right) &=\left( \left( X^TX \right) ^{-1}X^T \right) Var\left( Y \right) \left( \left( X^TX \right) ^{-1}X^T \right) ^T\\ &=\left( X^TX \right) ^{-1}X^TV\left( X \right) X\left( X^TX \right) ^{-1}.\\ \end{aligned} Var(β^)=((XTX)−1XT)Var(Y)((XTX)−1XT)T=(XTX)−1XTV(X)X(XTX)−1.
(2) 根据题意, 有
( β ^ 1 β ^ 2 ) = ( X 1 T X 1 X 1 T X 2 X 2 T X 1 X 2 T X 2 ) − 1 ( X 1 T Y X 2 T Y ) , \left( \begin{array}{c} \hat{\beta}_1\\ \hat{\beta}_2\\ \end{array} \right) =\left( \begin{matrix} X_{1}^{T}X_1& X_{1}^{T}X_2\\ X_{2}^{T}X_1& X_{2}^{T}X_2\\ \end{matrix} \right) ^{-1}\left( \begin{array}{c} X_{1}^{T}Y\\ X_{2}^{T}Y\\ \end{array} \right) , (β^1β^2)=(X1TX1X2TX1X1TX2X2TX2)−1(X1TYX2TY),
记两个矩阵:
P X 1 = X 1 ( X 1 T X 1 ) − 1 X 1 T , M X 1 = I n − P X 1 , P_{X_1}=X_1\left( X_{1}^{T}X_1 \right) ^{-1}X_{1}^{T},\quad M_{X_1}=I_n-P_{X_1}, PX1=X1(X1TX1)−1X1T,MX1=In−PX1,
其中 P X 1 P_{X_1} PX1 是投影到 X 1 X_1 X1张成空间中的投影矩阵, M X 1 M_{X_1} MX1 是则是投影到与 X 1 X_1 X1 垂直的空间的投影矩阵, 可以理解为消去了 X 1 X_1 X1 的影响. 根据分块矩阵求逆公式(见文末[注]), 有
( X T X ) − 1 = ( ⋯ ⋯ − ( X 2 T M X 1 X 2 ) − 1 X 2 T X 1 ( X 1 T X 1 ) − 1 ( X 2 T M X 1 X 2 ) − 1 ) , \left( X^TX \right) ^{-1}=\left( \begin{matrix} \cdots& \cdots\\ -\left( X_{2}^{T}M_{X_1}X_2 \right) ^{-1}X_{2}^{T}X_1\left( X_{1}^{T}X_1 \right) ^{-1}& \left( X_{2}^{T}M_{X_1}X_2 \right) ^{-1}\\ \end{matrix} \right) , (XTX)−1=(⋯−(X2TMX1X2)−1X2TX1(X1TX1)−1⋯(X2TMX1X2)−1),
因此有
β ^ 2 = − ( X 2 T M X 1 X 2 ) − 1 X 2 T X 1 ( X 1 T X ) − 1 X 1 T Y + ( X 2 T M X 1 X 2 ) − 1 X 2 T Y = ( X 2 T M X 1 X 2 ) − 1 X 2 T Y − ( X 2 T M X 1 X 2 ) − 1 X 2 T P X 1 Y = ( X 2 T M X 1 X 2 ) − 1 X 2 T ( I n − P X 1 ) Y = ( X 2 T M X 1 X 2 ) − 1 X 2 T M X 1 Y . \begin{aligned} \hat{\beta}_2&=-\left( X_{2}^{T}M_{X_1}X_2 \right) ^{-1}X_{2}^{T}X_1\left( X_{1}^{T}X \right) ^{-1}X_{1}^{T}Y+\left( X_{2}^{T}M_{X_1}X_2 \right) ^{-1}X_{2}^{T}Y\\ &=\left( X_{2}^{T}M_{X_1}X_2 \right) ^{-1}X_{2}^{T}Y-\left( X_{2}^{T}M_{X_1}X_2 \right) ^{-1}X_{2}^{T}P_{X_1}Y\\ &=\left( X_{2}^{T}M_{X_1}X_2 \right) ^{-1}X_{2}^{T}\left( I_n-P_{X_1} \right) Y=\left( X_{2}^{T}M_{X_1}X_2 \right) ^{-1}X_{2}^{T}M_{X_1}Y.\\ \end{aligned} β^2=−(X2TMX1X2)−1X2TX1(X1TX)−1X1TY+(X2TMX1X2)−1X2TY=(X2TMX1X2)−1X2TY−(X2TMX1X2)−1X2TPX1Y=(X2TMX1X2)−1X2T(In−PX1)Y=(X2TMX1X2)−1X2TMX1Y.
此外, 利用 M X 1 M_{X_1} MX1 是投影矩阵(对称幂等), 即有 M X 1 2 = M X 1 T M X 1 = M X 1 M_{X_1}^2 = M_{X_1}^T M_{X_1}=M_{X_1} MX12=MX1TMX1=MX1, 我们还可将 β ^ 2 \hat{\beta}_2 β^2 写为
β ^ 2 = [ ( M X 1 X 2 ) T ( M X 1 X 2 ) ] − 1 ( M X 1 X 2 ) T Y , \hat{\beta}_2=\left[ \left( M_{X_1}X_2 \right) ^T\left( M_{X_1}X_2 \right) \right] ^{-1}\left( M_{X_1}X_2 \right) ^TY, β^2=[(MX1X2)T(MX1X2)]−1(MX1X2)TY,
记 Z = M X 1 X 2 Z=M_{X_1}X_2 Z=MX1X2, 则恰是用 X 2 X_2 X2 作因变量, X 1 X_1 X1 作自变量得到的回归残差, 此时有
β ^ 2 = ( Z T Z ) − 1 Z T Y , \hat{\beta}_2=\left( Z^TZ \right) ^{-1}Z^TY, β^2=(ZTZ)−1ZTY,
也意味着我们将 X 2 X_2 X2 投影到 X 1 X_1 X1 张成空间的补空间中单独作为变量与 Y Y Y 进行回归得到的最小二乘估计.
(3) 由 β ^ 2 = ( Z T Z ) − 1 Z T Y \hat{\beta}_2=\left( Z^TZ \right) ^{-1}Z^TY β^2=(ZTZ)−1ZTY, 有
V a r ( β ^ 2 ) = ( ( Z T Z ) − 1 Z T ) V a r ( Y ) ( ( Z T Z ) − 1 Z T ) T = ( Z T Z ) − 1 Z T Z ( Z T Z ) − 1 = ( Z T Z ) − 1 = ( X 2 T M X 1 X 2 ) − 1 . \begin{aligned} Var\left( \hat{\beta}_2 \right) &=\left( \left( Z^TZ \right) ^{-1}Z^T \right) Var\left( Y \right) \left( \left( Z^TZ \right) ^{-1}Z^T \right) ^T\\ &=\left( Z^TZ \right) ^{-1}Z^TZ\left( Z^TZ \right) ^{-1}=\left( Z^TZ \right) ^{-1}=\left( X_{2}^{T}M_{X_1}X_2 \right) ^{-1}.\\ \end{aligned} Var(β^2)=((ZTZ)−1ZT)Var(Y)((ZTZ)−1ZT)T=(ZTZ)−1ZTZ(ZTZ)−1=(ZTZ)−1=(X2TMX1X2)−1.
【注】: 设 A m × m A_{m\times m} Am×m, B m × n B_{m\times n} Bm×n, C n × m C_{n\times m} Cn×m, D n × n D_{n\times n} Dn×n, 则分块矩阵 M = ( A B C D ) M=\left( \begin{matrix} A& B\\ C& D\\ \end{matrix} \right) M=(ACBD) 的逆矩阵的求解过程是: 第一步考虑消去 C C C, 有
( I m O − C A − 1 I n ) M = ( A B O D − C A − 1 B ) , \left( \begin{matrix} I_m& O\\ -CA^{-1}& I_n\\ \end{matrix} \right) M=\left( \begin{matrix} A& B\\ O& D-CA^{-1}B\\ \end{matrix} \right) , (Im−CA−1OIn)M=(AOBD−CA−1B),
再考虑消去 B B B, 有
( I m O − C A − 1 I n ) M ( I m − A − 1 B O I n ) = ( A O O D − C A − 1 B ) , \left( \begin{matrix} I_m& O\\ -CA^{-1}& I_n\\ \end{matrix} \right) M\left( \begin{matrix} I_m& -A^{-1}B\\ O& I_n\\ \end{matrix} \right) =\left( \begin{matrix} A& O\\ O& D-CA^{-1}B\\ \end{matrix} \right) , (Im−CA−1OIn)M(ImO−A−1BIn)=(AOOD−CA−1B),
化简并同时求逆矩阵得
M − 1 = ( I m − A − 1 B O I n ) ( A − 1 O O ( D − C A − 1 B ) − 1 ) ( I m O − C A − 1 I n ) = ( A − 1 − A − 1 B ( D − C A − 1 B ) − 1 O ( D − C A − 1 B ) − 1 ) ( I m O − C A − 1 I n ) = ( A − 1 + A − 1 B ( D − C A − 1 B ) − 1 C A − 1 − A − 1 B ( D − C A − 1 B ) − 1 − ( D − C A − 1 B ) − 1 C A − 1 ( D − C A − 1 B ) − 1 ) . \begin{aligned} M^{-1}&=\left( \begin{matrix} I_m& -A^{-1}B\\ O& I_n\\ \end{matrix} \right) \left( \begin{matrix} A^{-1}& O\\ O& \left( D-CA^{-1}B \right) ^{-1}\\ \end{matrix} \right) \left( \begin{matrix} I_m& O\\ -CA^{-1}& I_n\\ \end{matrix} \right)\\ &=\left( \begin{matrix} A^{-1}& -A^{-1}B\left( D-CA^{-1}B \right) ^{-1}\\ O& \left( D-CA^{-1}B \right) ^{-1}\\ \end{matrix} \right) \left( \begin{matrix} I_m& O\\ -CA^{-1}& I_n\\ \end{matrix} \right)\\ &=\left( \begin{matrix} A^{-1}+A^{-1}B\left( D-CA^{-1}B \right) ^{-1}CA^{-1}& -A^{-1}B\left( D-CA^{-1}B \right) ^{-1}\\ -\left( D-CA^{-1}B \right) ^{-1}CA^{-1}& \left( D-CA^{-1}B \right) ^{-1}\\ \end{matrix} \right).\\ \end{aligned} M−1=(ImO−A−1BIn)(A−1OO(D−CA−1B)−1)(Im−CA−1OIn)=(A−1O−A−1B(D−CA−1B)−1(D−CA−1B)−1)(Im−CA−1OIn)=(A−1+A−1B(D−CA−1B)−1CA−1−(D−CA−1B)−1CA−1−A−1B(D−CA−1B)−1(D−CA−1B)−1).