23清华应统

真题

一、(20分) 已知 $X$ 服从 $f(x)=c\frac{e^{-\frac{x}{2}}}{(1+e^{-\frac{x}{2}}{)}^2},-\infty <x<\infty$.

(1) 求 $c$;
(2) 令 $Y=X^3$,求$Y$的密度函数.

二、(20分) 已知 $X$ 的密度函数为 $$f(x;\theta )=\frac{3x^2}{{\theta }^3},0<x<\theta ,$$
其中 $\theta$ 的先验分布是 $U(0,1)$. 求后验分布 $\pi (\theta |X=x)$.

三、(20分) 证明: $T$ 是 $\theta$ 的无偏估计, 则 $T(x)$ 是$\theta$的UMVUE的充要条件是对任意零的无偏估计$U$,都有$E[TU]=0.$

四、(20分) 设 $X_i\sim \mathcal{N}(\mu ,{\sigma }^2)$, $i=1,2,...,n$, 其中 $\sigma$已知. 求如下假设检验问题的UMPT, 若UMPT不存在, 请说明理由.
(1) $H_0:\mu ={\mu }_0\text{v.s.}{H}_1:\mu ={\mu }_1<{\mu }_0$.
(2) $H_0:\mu ={\mu }_0\text{v.s.}{H}_1:\mu \ne {\mu }_0$.

五、(40分) $X_1,X_2,...,X_n\sim \mathcal{P}(\lambda )$, 并且彼此独立.
(1)求$\lambda$的最大似然估计$\widehat{{\lambda }_n}$
(2)判断${\hat{\lambda }}_n+\frac{1}{\sqrt{n}}$是否为$\lambda$的相合估计.
(3)求$\sqrt{n}({\hat{\lambda }}_n-\lambda )$的极限分布.
(4)求$\sqrt{n}({\hat{\lambda }}_n^2-{\lambda }^2)$的极限分布.

六、(30分) 有回归模型
$$y_i=\beta x_i+e_i,1\le i\le n$$
当 $1\le i\le n_1$ 时, $e_i\sim \mathcal{N}(0,{\sigma }_1^2)$, 当 $n_1+1\le i\le n$ 时, $e_i\sim \mathcal{N}(0,{\sigma }_2^2)$.
(1) 求 $\beta$ 的最小二乘估计及其分布.
(2) 求 $\beta$ 的最大似然估计及其分布, 比较其方差与最小二乘估计的方差.
(3) 若 $e_i$ 的分布未知, 但已知其期望方差不变, 求 $\beta$ 的无偏估计, 使其方差不大于 (1) 中估计量的方差.

解析

一、(20分) 已知 $X$ 服从 $f(x)=c\frac{e^{-\frac{x}{2}}}{(1+e^{-\frac{x}{2}}{)}^2},-\infty <x<\infty$.

(1) 求 $c$;
(2) 令 $Y=X^3$,求$Y$的密度函数.

Solution:

(1) 积分得 $${\int }_{-\infty }^{\infty }\frac{e^{-\frac{x}{2}}}{(1+e^{-\frac{x}{2}}{)}^2}=2{\int }_0^{\infty }\frac{dx}{(1+x{)}^2}=2,$$
由密度函数的正则性, $c=\frac{1}{2}$.

(2) 用微分法, $\forall y\in \mathbb{R}$, P ( Y = y ) = P ( X = y 1 3 ) = f ( y 1 3 ) ∣ d d y y 1 3 ∣ = 1 6 y − 2 3 e − y 1 3 2 ( 1 + e − y 1 3 2 ) 2 d y . P(Y=y)=P(X=y^{\frac{1}{3}})=f(y^{\frac{1}{3}})\left| \frac{d}{dy}y^{\frac{1}{3}} \right|=\frac{1}{6}\frac{y^{-\frac{2}{3}}e^{-\frac{y^{\frac{1}{3}}}{2}}}{(1+e^{-\frac{y^{\frac{1}{3}}}{2}})^2}dy. P(Y=y)=P(X=y31​)=f(y31​) ​dyd​y31​ ​=61​(1+e−2y31​​)2y−32​e−2y31​​​dy. 故密度函数是 $$f_Y(y)=\frac{1}{6}\frac{y^{-\frac{2}{3}}{e}^{-\frac{y^{\frac{1}{3}}}{2}}}{(1+e^{-\frac{y^{\frac{1}{3}}}{2}}{)}^2},y\in \mathbb{R}.$$

二、(20分) 已知 $X$ 的密度函数为 $$f(x;\theta )=\frac{3x^2}{{\theta }^3},0<x<\theta ,$$
其中 $\theta$ 的先验分布是 $U(0,1)$. 求后验分布 $\pi (\theta |X=x)$.

Solution: 利用条件分布理论, 有 $$\pi (\theta |X=x)\propto f(x|\theta )\pi (\theta )\propto \frac{1}{{\theta }^3}I\{x<\theta <1\},$$ 由正则性:
$\pi (\theta |X=x)=\frac{2x^2}{(1-x^2){\theta }^3},x<\theta <1.$

三、(20分) 证明: $T$ 是 $\theta$ 的无偏估计, 则 $T(x)$ 是$\theta$的UMVUE的充要条件是对任意零的无偏估计$U$,都有$E[TU]=0.$

Solution: [法一]: 对退化的零无偏估计, 显然 $E[TU]=0$. 而对任一其他无偏估计 $\tilde{T}$ 都可写为
$\tilde{T}=T+U$ 的形式, 其中 $U$ 是某非退化的零的无偏估计. 对每个 $U$, 可作标准化 $V=\frac{U}{\sqrt{Var(U)}}$, 则有 $\tilde{T}=T+\lambda V$, 其中 ${\lambda }^2=Var(U)$.

令 $W(\lambda )=Var(T+\lambda V)$, $T$ 是UMVUE 意味着对任意 $V$, 都有
$W(\lambda )$ 在 $\lambda =0$ 取最小值, 而 $$W(\lambda )=Var(T)+2\lambda Cov(T,V)+{\lambda }^{2}Var(V),$$ 求导有 $$W^{\prime }(\lambda )=2Cov(T,V)+2\lambda ,W^{\prime \prime }(\lambda )=2>0,$$ 对于二阶可导凸函数, 在 $\lambda =0$ 取极小值等价于
$W^{\prime }(0)=0$, 即 $Cov(T,V)=0$, 即 $E[TV]=0$, $E[TU]=0$.

[法二]: (1) 充分性. 若对任意0的无偏估计$U$,均有$Cov(T,U)=0.$任取$\theta$的无偏估计$\hat{T},$令
$\varphi =\hat{T}-T,$则$\varphi$为0的无偏估计, $$Var(\hat{T})=Var(T+\varphi )=Var(T)+Var(\varphi )\ge Var(T)$$ 即任意$\theta$的无偏估计的方差均不小于$T$的方差,
$T$为$\theta$的UMVUE.

(2) 必要性: 若$T$为UMVUE,假设存在$U_0$, s.t. $Cov(T,U_0)\ne 0$, 不妨设$Cov(T,U_0)0$.则对任意$r$, $T+r{U}_0$仍然为$\theta$的无偏估计,而$$Var(T+r{U}_0)=Var(T)+r^{2}Var(U_0)+2rCov(T,U_0),$$ 取$\frac{2Cov(T,U_0)}{Var(U_0)}<r<0$,
则$Var(T+r{U}_0)<Var(T)$, 与假设矛盾. 故对任意0的无偏估计$U$, 均有$Cov(T,U)=0.$

四、(20分) 设 $X_i\sim \mathcal{N}(\mu ,{\sigma }^2)$, $i=1,2,...,n$, 其中 $\sigma$已知. 求如下假设检验问题的UMPT, 若UMPT不存在, 请说明理由.
(1) $H_0:\mu ={\mu }_0\text{v.s.}{H}_1:\mu ={\mu }_1<{\mu }_0$.
(2) $H_0:\mu ={\mu }_0\text{v.s.}{H}_1:\mu \ne {\mu }_0$.

Solution:

(1) 记 $X_1,...,X_n$ 的联合密度函数为$f(x_1,...,x_n|\mu )$. 由N-P引理,拒绝域 $$W=\left\{\frac{f(x_1,...,x_n;{\mu }_1)}{f(x_1,...,x_n;{\mu }_0)}>c\right\}=\left\{\sum _{i=1}^n{X}_i<c_0\right\}$$ 是UMPT.
考虑显著性水平为$\alpha$的情形, 原假设下由于 $\frac{{\sum }_{i=1}^n{X}_i}{n}\sim N({\mu }_0,\frac{{\sigma }^2}{n})$, 因此有 $$W=\left\{\bar{X}<-\sigma z_{1-\alpha }\sqrt{n}+{\mu }_0\right\}.$$

(2) 考虑$\forall {\mu }_1<{\mu }_0,\mu ={\mu }_1$作为备择假设, 由 (1) 可知,落入$W$ 时拒绝原假设在
${\mu }_1$ 有最高的功效. 由N-P引理, 若 $H_0:\mu ={\mu }_0\text{v.s.}{H}_1:\mu \ne {\mu }_0$ 存在UMPT, 则其拒绝域与W仅在一个满足 $${\int }_{A}f(x_1,...,x_n|{\mu }_0)={\int }_{A}f(x_1,...,x_n|{\mu }_1)=0$$ 的A上不同.

易知, $W^{\prime }=\{\bar{X}>\sigma z_{1-\alpha }/\sqrt{n}+{\mu }_0\}$ 为右侧假设时的UMPT,
它在 ${\mu }_1>{\mu }_0$ 时有最高功效.

显然, 如果要在 $\mu \in R$ 上都有最高功效, 那它又要和 $W$ 几乎处处相等, 又要和 $W^{\prime }$ 几乎处处相等, 但 $W$
和 $W^{\prime }$ 并非几乎处处相等, 故这是不可能做到的.

五、(40分) $X_1,X_2,...,X_n\sim \mathcal{P}(\lambda )$, 并且彼此独立.
(1)求$\lambda$的最大似然估计$\widehat{{\lambda }_n}$
(2)判断${\hat{\lambda }}_n+\frac{1}{\sqrt{n}}$是否为$\lambda$的相合估计.
(3)求$\sqrt{n}({\hat{\lambda }}_n-\lambda )$的极限分布.
(4)求$\sqrt{n}({\hat{\lambda }}_n^2-{\lambda }^2)$的极限分布.

Solution:

(1) 似然函数 $$L(\lambda |X_1,...,X_n)=\prod _{i=1}^n\frac{{\lambda }^{X_i}}{X_i!}{e}^{-\lambda }=e^{-n\lambda }\frac{{\lambda }^{{\sum }_{i=1}^n{X}_i}}{{\Pi }_{i=1}^n{X}_i},$$ 令$\frac{\partial lnL}{\partial \lambda }=0$, 得 $${\hat{\lambda }}_n=\frac{1}{n}\sum _{i=1}^n{X}_i=:\bar{X}.$$

(2) 由Kolmogorov强大数律, $\bar{X}\to \mathbb{E}{X}_1=\lambda$, a.s., 故 ${\hat{\lambda }}_n\to \lambda$, a.s… 即 ${\hat{\lambda }}_n$是强相合估计.

(3) 由Lindeberg-Levy中心极限定理,
$$\frac{{\sum }_{i=1}^n{X}_i-n\lambda }{\sqrt{n\lambda }}{\to }_D\mathcal{N}(0,1),$$
即: $$\sqrt{n}({\hat{\lambda }}_n-\lambda ){\to }_D\mathcal{N}(0,\lambda ).$$

(4) 利用 Delta 方法, 令 $g(x)=x^2$, 则有 $g^{\prime }(x)=2x$, 故 $$\sqrt{n}\left({\hat{\lambda }}_n^2-{\lambda }^2\right)\stackrel{D}{}2\lambda \mathcal{N}(0,\lambda )=\mathcal{N}(0,4{\lambda }^3).$$

六、(30分) 有回归模型
$$y_i=\beta x_i+e_i,1\le i\le n$$
当 $1\le i\le n_1$ 时, $e_i\sim \mathcal{N}(0,{\sigma }_1^2)$, 当 $n_1+1\le i\le n$ 时, $e_i\sim \mathcal{N}(0,{\sigma }_2^2)$.
(1) 求 $\beta$ 的最小二乘估计及其分布.
(2) 求 $\beta$ 的最大似然估计及其分布, 比较其方差与最小二乘估计的方差.
(3) 若 $e_i$ 的分布未知, 但已知其期望方差不变, 求 $\beta$ 的无偏估计, 使其方差不大于 (1) 中估计量的方差.

Solution: (1) 残差平方和 $$Q(\beta )=\sum _{i=1}^n(y_i-\beta x_i{)}^2,$$
求导得 $\frac{\partial Q}{\partial \beta }={\sum }_{i=1}^n(-2)x_i(y_i-\beta x_i)=0,$得$\beta$的最小二乘估计 $${\hat{\beta }}_1=\frac{{\sum }_{i=1}^n{x}_i{y}_i}{{\sum }_{i=1}^n{x}_i^2}.$$

(2) 似然函数 $$L\left(\beta \right)={\left(\frac{1}{\sqrt{2\pi {\sigma }_1^2}}\right)}^{n_1}\exp \left\{-\frac{1}{2{\sigma }_1^2}\sum _{i=1}^{n_1}(y_i-\beta x_i{)}^2\right\}{\left(\frac{1}{\sqrt{2\pi {\sigma }_2^2}}\right)}^{n-n_1}\exp \left\{\sum _{i=n_1+1}^n(y_i-\beta x_i{)}^2\right\},$$ 令$\frac{\partial \ln L}{\partial \beta }=0$, 得 $${\hat{\beta }}_2=\frac{{\sigma }_2^2{\sum }_{i=1}^{n_1}{x}_i{y}_i+{\sigma }_1^2{\sum }_{i=n_1+1}^n{x}_i{y}_i}{{\sigma }_2^2{\sum }_{i=1}^{n_1}{x}_i^2+{\sigma }_1^2{\sum }_{i=n_1+1}^n{x}_i^2}.$$ 注意到$y_i\sim \mathcal{N}(x_i\beta ,{\sigma }_1^2),1\le i\le n_1;y_i\sim \mathcal{N}(x_i\beta ,{\sigma }_2^2),n_1+1\le i\le n.$ 由于诸$y_i$彼此独立,
由正态分布的性质可知： $${\hat{\beta }}_2\sim \mathcal{N}\left(\beta ,\frac{{\sigma }_1^2{\sigma }_2^2}{{\sigma }_2^2{\sum }_{i=1}^{n_1}{x}_i^2+{\sigma }_1^2{\sum }_{i=n_1+1}^n{x}_i^2}\right).$$ 而 $$Var({\hat{\beta }}_1)=\frac{1}{{\left({\sum }_{i=1}^n{x}_i^2\right)}^2}\sum _{i=1}^n{x}_i^{2}Var(y_i)=\frac{{\sigma }_1^2{\sum }_{i=1}^{n_1}{x}_i^2+{\sigma }_2^2{\sum }_{i=n_1+1}^n{x}_i^2}{{\left({\sum }_{i=1}^n{x}_i^2\right)}^2}.$$

记$A:={\sum }_{i=1}^{n_1}{x}_i^2,B:={\sum }_{i=n_1+1}^n{x}_i^2.$ 则: $$\frac{Var({\hat{\beta }}_2)}{Var({\hat{\beta }}_1)}=\frac{(A+B{)}^2}{(\frac{A}{{\sigma }_1^2}+\frac{B}{{\sigma }_2^2})({\sigma }_1^{2}A+{\sigma }_2^{2}B)}.$$ 由柯西不等式: $$\left(\frac{A}{{\sigma }_1^2}+\frac{B}{{\sigma }_2^2}\right)\left({\sigma }_1^{2}A+{\sigma }_2^{2}B\right)\ge (A+B{)}^2,$$ 当且仅当${\sigma }_1={\sigma }_2$时,等号成立. 即 $Var({\hat{\beta }}_2)\le Var({\hat{\beta }}_1).$

(3) 仍然可取第二问的估计量, 少了分布条件不影响求期望和方差.